header使用問題
2020/03/03 上午 00:23
Python網路爬蟲討論版
金美君
觀看數：7
回答數：2
收藏數：0
pycrawler-2
搜了網址發現一進去就會跳出要我們登入的彈出視窗, 所以原本以為是因為這樣而出現錯誤
不太理解為什麼解答那樣寫就可以爬出資訊, 還有那個 headers 是如何出來的
想請教一下~謝謝
回答列表
-
2020/03/03 上午 02:22張晉豪贊同數：2不贊同數：0留言數：0
關於為什麼要加Header可以參考以下的影片12:38處和day06的投影片p7~p14
因為Server通常會檢查發出Request那⽅是否為正常的來源。
所以加上Header是為了讓我們發出的Request像是⼀個正常使⽤者瀏覽網頁的⾏為，
進而能夠收到Response，如：
headers = {'user-agent': 'my-app/0.0.1'}
r = requests.get(url,headers=headers)
response = r.text -
2020/03/03 上午 02:43張維元 (WeiYuan)贊同數：1不贊同數：0留言數：0