使用SCRAPY的問題
2020/01/04 06:23 下午
Python網路爬蟲討論版
Dan Lee
觀看數:14
回答數:1
收藏數:5
是否能夠有手把手的介紹,或是幾個範例網站,或是範例程式呢?
原來是
1.先安裝scrapy
先pip install scrapy 安裝
2.建一專案目錄
scrapy startproject [myproject]
ex:
scrapy startproject dan_project
3.cd 專案目錄
ex:
cd dan_project
4. 建立爬蟲
scrapy genspider [爬蟲名稱] [爬蟲⽬目標網址]
ex:
scrapy genspider ptt https://www.ptt.cc/bbs/movie/index.htm
5.修改爬蟲
cd dan_project/spiders
修改ptt.py的parse函數
def parse(self, response):
#print(response.text)
res=BeautifulSoup(response.body)
print("*"*80)
for title in res.select('.r-ent'):
print(title.select(".title")[0].select("a"))
print("*"*80)
pass
6.執行爬蟲
回到一開始建立專案目錄下
cd dan_project
執行
scrapy crawl ptt
查看結果或錯誤訊息,前面範例故意印一堆*方便觀察