使用Ettoday資料為什麼會限制下載資料筆數
2020/01/02 下午 08:51
Python網路爬蟲討論版
Mao San
觀看數:2
回答數:1
收藏數:0
pycrawler
d12
使用ettoday 資料時有個問題就是網站這邊有限制100筆資料 下面的內容則是'滾動模組'
請問遇到這種情況要從哪個方向下手比較好呢?
回答列表
-
2020/01/03 上午 11:50張維元 (WeiYuan)贊同數:2不贊同數:0留言數:0
嗨,因為這個網頁一開始只會「回傳一段時間的新聞」,更多的新聞是透過「往下滑的過程中驅動 JavaScript 動態載入的」。但因為在 Python Request 的套件下,並沒有執行到「往下滑的過程中驅動 JavaScript 動態載入」的行為,只有一開始的「一段時間的新聞」。
至於,如何透過 Python 去取得動態載入的資料,在後面的課程才會有教學哦:)