scrapy.Request使用問題

2020/02/04 下午 04:08

Python網路爬蟲討論版

HaoZe

觀看數：46

回答數：1

收藏數：1

Hi 老師好

我分別透過以下方式去爬取同一個網站並且都有填入 headers

1.request.get(url)

2.scrapy

方法一可以順利拿到資料，但透過方法二 scrapy 卻是得到 503

Q1: 兩個方法都是透過request.get的方式發送請求並且都有帶入 header，為何結果會不同 ?

scrapy 發送請求的方式有甚麼不一樣嗎 ?

Q2: scrapy.parse有去判斷response.status若不是200會回傳error message，為何在console
內找不到相關的訊息呢 ?

不好意思問題有點雜，麻煩老師解惑謝謝