如何新聞雲網頁今日所有新聞
2020/03/18 下午 09:33
Python網路爬蟲討論版
李建勳
觀看數：7
回答數：2
收藏數：1
day021
請問一下，Day021的範例是在ETtoday上面，透過selenium來執行網頁拉到最底下的指令，這個部分能不能跟Day020一樣利用開發者工具，去找到瀏覽器中的Javascript發了哪些請求，再利用Python來模擬一樣的事情？
我有在ETtoday的頁面上面有看到，當使用者把網頁往下拉到最底的時候，瀏覽器會發出如圖中的請求，但是在透過Python去模擬的時候，response的時候會出現錯誤?請問這是什麼原因呢?
回答列表
-
2020/03/18 下午 11:12陳政弘贊同數：1不贊同數：0留言數：0
相同的網址不要用get改用POST，加以下的參數 {'offset': 2, 'tPage': 3, 'tFile': '20200318.xml', 'tOt': 0, 'tSi': 100, 'tAr': 0}
offset 最多到68
tOt，好像是新聞類別
-
2020/03/21 上午 01:39張維元 (WeiYuan)贊同數：1不贊同數：0留言數：0
嗨，建勳
答案是可以的，方法改成 POST，如果有帶資料的話 GET 使用 params 參數、POST 使用 data 參數。
如果這個回答對你有幫助請主動點選「有幫助」的按鈕，也可以追蹤我的GITHUB帳號。若還有問題的話，也歡迎繼續再追問或者把你理解的部分整理上來，我都會提供你 Review 和 Feedback 😃😃😃