scrapy.Request使用問題
2020/02/04 04:08 下午
Python網路爬蟲討論版
HaoZe
觀看數：2
回答數：1
收藏數：1
Hi 老師好
我分別透過以下方式去爬取同一個網站並且都有填入 headers
https://m.wantgoo.com/stock/twstock/stat?type=increase
1.request.get(url)
2.scrapy
方法一可以順利拿到資料，但透過方法二 scrapy 卻是得到 503
Q1: 兩個方法都是透過request.get的方式發送請求並且都有帶入 header，為何結果會不同 ?
scrapy 發送請求的方式有甚麼不一樣嗎 ?
Q2: scrapy.parse有去判斷response.status若不是200會回傳error message，為何在console
內找不到相關的訊息呢 ?
不好意思問題有點雜，麻煩老師解惑謝謝