關於某些網站的防爬蟲機制應對方法
2020/03/31 10:43 上午
Python網路爬蟲討論版
賴文修
觀看數：17
回答數：1
收藏數：2
在網路上到處找一些有防爬機制的網站，然後找到這個眾籌網站
https://www.indiegogo.com/projects/astro-slide-5g-transformer#/
發現我就算加上headers中所有項，他回傳的資料都是某個假的頁面，
也就是回傳的資料與瀏覽中的頁面資料不相符，
然後我也發現在「檢視網頁原始碼」時他上面的資料也是不完整的，
唯有在「檢查」時才會看到完整的資料，
請問這一類網站，各位老師有什麼建議或方向去反反爬蟲?或者是需要補足的知識?