logo
Loading...

如何新聞雲網頁今日所有新聞 - Cupoy

請問一下,Day021的範例是在ETtoday上面,透過selenium來執行網頁拉到最底下的指令,...

day021

如何新聞雲網頁今日所有新聞

2020/03/18 下午 09:33
Python網路爬蟲討論版
李建勳
觀看數:7
回答數:2
收藏數:1
day021

請問一下,Day021的範例是在ETtoday上面,透過selenium來執行網頁拉到最底下的指令,這個部分能不能跟Day020一樣利用開發者工具,去找到瀏覽器中的Javascript發了哪些請求,再利用Python來模擬一樣的事情?


我有在ETtoday的頁面上面有看到,當使用者把網頁往下拉到最底的時候,瀏覽器會發出如圖中的請求,但是在透過Python去模擬的時候,response的時候會出現錯誤?請問這是什麼原因呢?


回答列表

  • 2020/03/18 下午 11:12
    陳政弘
    贊同數:1
    不贊同數:0
    留言數:0

    相同的網址不要用get改用POST,加以下的參數 {'offset': 2, 'tPage': 3, 'tFile': '20200318.xml', 'tOt': 0, 'tSi': 100, 'tAr': 0}

    offset 最多到68

    tOt,好像是新聞類別

  • 2020/03/21 上午 01:39
    張維元 (WeiYuan)
    贊同數:1
    不贊同數:0
    留言數:0

    嗨,建勳


    答案是可以的,方法改成 POST,如果有帶資料的話 GET 使用 params  參數、POST  使用 data  參數。


    如果這個回答對你有幫助請主動點選「有幫助」的按鈕,也可以追蹤我的GITHUB帳號。若還有問題的話,也歡迎繼續再追問或者把你理解的部分整理上來,我都會提供你 Review 和 Feedback 😃😃😃