logo
Loading...

執行scrapy genspider 的規則為何 - Cupoy

執行scrapy genspider [爬蟲目稱] [爬蟲目標網址]這個爬蟲目標網址就是目標網頁嗎?...

pycrawler,pycrawler-d26

執行scrapy genspider 的規則為何

2020/01/20 12:46 AM
Python網路爬蟲論壇
JJLai
觀看數:0
回答數:1
收藏數:3
pycrawler
pycrawler-d26

執行scrapy genspider [爬蟲目稱] [爬蟲目標網址]

這個爬蟲目標網址就是目標網頁嗎?因我照著範例給的網址輸入https://www.ptt.cc/bbs/Gossiping/M.1557928779.A.0C1.html

結果它好像是放在allowed_domains這個變數中

而start_urls卻變成了[https://https://www.ptt.cc/bbs/Gossiping/M.1557928779.A.0C1.html/]

所以它的明確規則是什麼?

第2個問題是講義上提到『scrapy 在背後會呼叫start_requests

可是產生的PTTCrawler.py並沒有自動產生start_requests這個函式,是否有那裡出錯

還是本來就需要自己輸入?