知乎網站的API資料只顯示五筆
2020/03/02 下午 05:26
Python網路爬蟲討論版
張銘
觀看數:14
回答數:3
收藏數:2
我第一次用默認排序做的結果如下:
另外我在API後面加了 sort_by=created 重新做一次的結果如下:
居然不一樣,我就打開網頁查看,發現共有558個回答
但是使用 requests.get 得到的資料卻只有五筆,請問如何做才能得到全部的資料?
回答列表
-
2020/03/02 下午 09:04Li Yuang贊同數:2不贊同數:0留言數:1
因為這個API有設limit = 5 所以只能呈現5筆資料(順序由上而下),limt最大只能設到20,URL : https://www.zhihu.com/api/v4/questions/55493026/answers?limit=20
設定limit最大的目的主要是為了避免requests大量資料(尤其多人requests時)影響應用程式運作。
至於如何才能拿到所有的資料我也不知道QQ~ 。似乎無法透過API無法抓取所有資料 ?
-
2020/03/02 下午 11:49Cool Shan贊同數:2不贊同數:0留言數:0
我剛剛找到這個github可以參考看看
-
2020/03/03 上午 02:50張維元 (WeiYuan)贊同數:2不贊同數:1留言數:1
嗨,
如同 Li Yuang 和 Cool Shan 所說,只要在 API 加上指定的參數就可以了。不過這邊比較有趣的地方,其實知乎官方並沒有提供 API 的文件,因此這邊其實想要給大家了解到「如果沒有提供文件的話,其實直接 Google 是最快的」。
如果這個回答對你有幫助請主動點選「有幫助」的按鈕,也可以追蹤我的GITHUB帳號。若還有問題的話,也歡迎繼續再追問或者把你理解的部分整理上來,我都會提供你 Review 和 Feedback 😃😃😃