logo
Loading...

scrapy.Request使用問題 - Cupoy

Hi 老師好我分別透過以下方式去爬取同一個網站並且都有填入 headers https://m.wa...

scrapy.Request使用問題

2020/02/04 04:08 下午
Python網路爬蟲討論版
HaoZe
觀看數:2
回答數:1
收藏數:1

Hi 老師好

我分別透過以下方式去爬取同一個網站並且都有填入 headers

 https://m.wantgoo.com/stock/twstock/stat?type=increase

1.request.get(url) 


2.scrapy 


方法一可以順利拿到資料,但透過方法二 scrapy 卻是得到 503

Q1: 兩個方法都是透過request.get的方式發送請求並且都有帶入 header,為何結果會不同 ?

       scrapy 發送請求的方式有甚麼不一樣嗎 ?


Q2: scrapy.parse有去判斷response.status若不是200會回傳error message,為何在console
      內找不到相關的訊息呢 ?


不好意思問題有點雜,麻煩老師解惑謝謝