如何新聞雲網頁今日所有新聞
2020/03/18 下午 09:33
Python網路爬蟲討論版
李建勳
觀看數:7
回答數:2
收藏數:1
day021
請問一下,Day021的範例是在ETtoday上面,透過selenium來執行網頁拉到最底下的指令,這個部分能不能跟Day020一樣利用開發者工具,去找到瀏覽器中的Javascript發了哪些請求,再利用Python來模擬一樣的事情?
我有在ETtoday的頁面上面有看到,當使用者把網頁往下拉到最底的時候,瀏覽器會發出如圖中的請求,但是在透過Python去模擬的時候,response的時候會出現錯誤?請問這是什麼原因呢?
回答列表
-
2020/03/18 下午 11:12陳政弘贊同數:1不贊同數:0留言數:0
相同的網址不要用get改用POST,加以下的參數 {'offset': 2, 'tPage': 3, 'tFile': '20200318.xml', 'tOt': 0, 'tSi': 100, 'tAr': 0}
offset 最多到68
tOt,好像是新聞類別
-
2020/03/21 上午 01:39張維元 (WeiYuan)贊同數:1不贊同數:0留言數:0
嗨,建勳
答案是可以的,方法改成 POST,如果有帶資料的話 GET 使用 params 參數、POST 使用 data 參數。
如果這個回答對你有幫助請主動點選「有幫助」的按鈕,也可以追蹤我的GITHUB帳號。若還有問題的話,也歡迎繼續再追問或者把你理解的部分整理上來,我都會提供你 Review 和 Feedback 😃😃😃