關於某些網站的防爬蟲機制應對方法
2020/03/31 10:43 上午
Python網路爬蟲討論版
賴文修
觀看數:17
回答數:1
收藏數:2
在網路上到處找一些有防爬機制的網站,然後找到這個眾籌網站
https://www.indiegogo.com/projects/astro-slide-5g-transformer#/
發現我就算加上headers中所有項,他回傳的資料都是某個假的頁面,
也就是回傳的資料與瀏覽中的頁面資料不相符,
然後我也發現在「檢視網頁原始碼」時他上面的資料也是不完整的,
唯有在「檢查」時才會看到完整的資料,
請問這一類網站,各位老師有什麼建議或方向去反反爬蟲?或者是需要補足的知識?