logo
Loading...

使用SCRAPY的問題 - Cupoy

是否能夠有手把手的介紹,或是幾個範例網站,或是範例程式呢? 原來是1.先安裝scrapy先pip i...

使用SCRAPY的問題

2020/01/04 06:23 下午
Python網路爬蟲討論版
Dan Lee
觀看數:14
回答數:1
收藏數:5

是否能夠有手把手的介紹,或是幾個範例網站,或是範例程式呢?


 原來是

1.先安裝scrapy

先pip install scrapy 安裝

2.建一專案目錄

scrapy startproject [myproject]

ex:

scrapy startproject dan_project

3.cd 專案目錄

ex:

cd dan_project

4. 建立爬蟲

scrapy genspider [爬蟲名稱] [爬蟲⽬目標網址]

ex:

scrapy genspider ptt  https://www.ptt.cc/bbs/movie/index.htm

5.修改爬蟲

cd dan_project/spiders

修改ptt.py的parse函數


def parse(self, response):

       #print(response.text)


       res=BeautifulSoup(response.body)

       print("*"*80)

       for title in res.select('.r-ent'):

           print(title.select(".title")[0].select("a"))

       print("*"*80)   

       pass

6.執行爬蟲

回到一開始建立專案目錄下

cd dan_project

執行

scrapy crawl ptt

查看結果或錯誤訊息,前面範例故意印一堆*方便觀察