使用SCRAPY的問題

2020/01/04 下午 06:23

Python網路爬蟲討論版

Dan Lee

觀看數：17

回答數：1

收藏數：5

是否能夠有手把手的介紹，或是幾個範例網站，或是範例程式呢?

原來是

1.先安裝scrapy

先pip install scrapy 安裝

2.建一專案目錄

scrapy startproject [myproject]

ex:

scrapy startproject dan_project

3.cd 專案目錄

ex:

cd dan_project

4. 建立爬蟲

scrapy genspider [爬蟲名稱] [爬蟲⽬目標網址]

ex:

5.修改爬蟲

cd dan_project/spiders

修改ptt.py的parse函數

def parse(self, response):

#print(response.text)

res=BeautifulSoup(response.body)

print("*"*80)

for title in res.select('.r-ent'):

print(title.select(".title")[0].select("a"))

print("*"*80)

pass

６．執行爬蟲

回到一開始建立專案目錄下

cd dan_project

執行

scrapy crawl ptt

查看結果或錯誤訊息，前面範例故意印一堆＊方便觀察