logo
Loading...

PTT 文章排序問題 - Cupoy

Hi, 老師以下有兩個問題,再跟您請教一下一、時間排序轉換在解答中,您們針對時間的轉換有進行一些說明...

pycrawler,pycrawler-d13

PTT 文章排序問題

2020/03/23 02:07 PM
Python網路爬蟲論壇
許義翔
觀看數:6
回答數:2
收藏數:0
pycrawler
pycrawler-d13

Hi, 老師

以下有兩個問題,再跟您請教一下

一、時間排序轉換

在解答中,您們針對時間的轉換有進行一些說明與介紹,但是在這個範例中,我發現所取得的 List 為空

可否再麻煩請您確認一下

# 我們發現這個時間好像不是正確的,原因是我們前面存到的時間,其實不是正確的格式

# 改成 Gossiping 版,發生錯誤,因為八卦版會跳轉到一個「十八歲的同意驗證頁面」導致錯誤。
# 參考圖片下載時的解法,加上 cookies 繞過驗證(後面課程會再進行補充)

import requests
from bs4 import BeautifulSoup

url = 'https://www.ptt.cc/bbs/Gossiping/index.html'
= requests.get(url, cookies={'over18': '1'})

soup = BeautifulSoup(r.text, "html5lib")

posts = []

for d in soup.find_all(class_="title"):
    try:
        post = {}
        post['標題'] = d.text.replace('\t', '').replace('\n', '')
        
        r = BeautifulSoup(requests.get('https://www.ptt.cc'+d.find('a')['href'], cookies={'over18': '1'}).text, "html5lib")
        post['作者'] = r.find(class_='article-meta-value').text
        post['時間'] = r.find_all(class_='article-meta-value')[-1].text
        post['時間'] = datetime.strptime(post['時間'], "%a %b %d %H:%M:%S %Y")
        # 時間轉換:https://stackoverflow.com/questions/10256093/how-to-convert-ctime-to-datetime-in-python
        
        posts.append(post)
    except:
        continue
print(posts)      
posts = sorted(posts, key= lambda x: x['時間'])
posts[-1]


[]

---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
<ipython-input-13-e95f5211bb72> in <module>
    31 print(posts)
    32 posts = sorted(posts, key= lambda x: x['時間'])
---> 33 posts[-1]

IndexError: list index out of range


PS: 把時間轉換拿走,確認可以正常取得資料

# 我們發現這個時間好像不是正確的,原因是我們前面存到的時間,其實不是正確的格式

# 改成 Gossiping 版,發生錯誤,因為八卦版會跳轉到一個「十八歲的同意驗證頁面」導致錯誤。
# 參考圖片下載時的解法,加上 cookies 繞過驗證(後面課程會再進行補充)


import requests
from bs4 import BeautifulSoup

url = 'https://www.ptt.cc/bbs/Gossiping/index.html'
= requests.get(url, cookies={'over18': '1'})

soup = BeautifulSoup(r.text, "html5lib")

posts = []

for d in soup.find_all(class_="title"):
    try:
        post = {}
        post['標題'] = d.text.replace('\t', '').replace('\n', '')
        
        r = BeautifulSoup(requests.get('https://www.ptt.cc'+d.find('a')['href'], cookies={'over18': '1'}).text, "html5lib")
        post['作者'] = r.find(class_='article-meta-value').text
        post['時間'] = r.find_all(class_='article-meta-value')[-1].text
        # post['時間'] = datetime.strptime(post['時間'], "%a %b %d %H:%M:%S %Y")
        # 時間轉換:https://stackoverflow.com/questions/10256093/how-to-convert-ctime-to-datetime-in-python
        
        posts.append(post)
    except:
        continue
print(posts)      
posts = sorted(posts, key= lambda x: x['時間'])
posts[-1]

[{'標題': '[問卦] 即時通 狀態上掛自己無名是不是很秋?', '作者': 'z72117211 (高橋李依我老婆)', '時間': 'Mon Mar 23 20:35:31 2020'}, {'標題': '[問卦] 正妹是不是想賺很多錢都很容易?', '作者': 'great5566 (陳央)', '時間': 'Mon Mar 23 20:35:43 2020'}, {'標題': '[問卦] 內地真的穩了?', '作者': 'ptt5566fan (5566)', '時間': 'Mon Mar 23 20:36:18 2020'}, {'標題': '[政治] 要怎麼跟迷信姓名學的人合理溝通??', '作者': 'q347 (q347)', '時間': 'Mon Mar 23 20:36:20 2020'}, {'標題': '[新聞] 瑞士單日暴增千例新冠肺炎確診 累積至806', '作者': 'silentknight (清純男)', '時間': 'Mon Mar 23 20:36:32 2020'}, {'標題': '[問卦] 窮養小孩會比不生小孩好嗎?', '作者': 'DavidJam (越小越簡單越好)', '時間': 'Mon Mar 23 20:36:32 2020'}, {'標題': '[問卦] 臺灣如果宣佈退出奧運,影響力多大', '作者': 'lauwei (lauwei)', '時間': 'Mon Mar 23 20:37:15 2020'}, {'標題': '[問卦] 國安基金護盤若是嚴重虧損會如何?', '作者': 'aitt (非主流,有何不可(M))', '時間': 'Mon Mar 23 20:38:12 2020'}, {'標題': 'Re: [問卦] 請問我這樣能買多少片口罩?', '作者': 'sunblues (太陽藍)', '時間': 'Mon Mar 23 20:38:55 2020'}, {'標題': '[問卦] 碇真嗣會選綾波零.明日香.渚薰其中哪個? ', '作者': 'lovesaber (幻想神)', '時間': 'Mon Mar 23 20:39:11 2020'}, {'標題': '[問卦] ☹☹☹☹☹☹☹☹☹☹☹☹☹☹☹☹☹☹', '作者': 'ILoveMegumin (中島小姐家裡的刻印蟲)', '時間': 'Mon Mar 23 20:39:35 2020'}, {'標題': 'Re: [新聞] N號房「趙博士」正面露出!\u3000大學才剛畢', '作者': 'palindromes ()', '時間': 'Mon Mar 23 20:39:48 2020'}, {'標題': '[問卦] 有多少人的下巴有疤痕?', '作者': 'mariewtsai (是狗狗可愛還是貓貓可愛)', '時間': 'Mon Mar 23 20:40:03 2020'}, {'標題': '[問卦]嘔嘔嘔! 肥宅會分泌油脂!?', '作者': 'jp6vu04boy (多多)', '時間': 'Mon Mar 23 20:40:24 2020'}, {'標題': '[問卦] 推薦一些youtube十萬訂閱以下的', '作者': 'PHXNASH13 (永遠的鳳凰NASH)', '時間': 'Mon Mar 23 20:40:34 2020'}, {'標題': '[問卦] 單戀的時間', '作者': 'bread220 (blessing in disguise)', '時間': 'Mon Mar 23 20:41:13 2020'}, {'標題': 'Re: [問卦] 如果中國全力發展半導體?', '作者': 'wnglon (冷麵笑匠)', '時間': 'Mon Mar 23 20:41:15 2020'}, {'標題': 'Re: [問卦] 如果中國全力發展半導體?', '作者': 'nk (除了累還剩下啥...)', '時間': 'Mon Mar 23 20:41:44 2020'}, {'標題': '[協尋] 埔里埔霧公路/七堵俊賢路/高雄博愛同盟路/交大/國一南下42', '作者': 'arsonlolita (板主)', '時間': 'Tue Mar 17 11:28:02 2020'}, {'標題': '[公告] 八卦闆闆規(2020.03.21)', '作者': 'DreamYeh (天使)', '時間': 'Sat Mar 21 00:42:44 2020'}, {'標題': '[公告] 說明[政治]分類使用方式', '作者': 'arsonlolita (板主)', '時間': 'Sat Mar 21 15:03:36 2020'}, {'標題': '[協尋] 家人妹妹失蹤', '作者': 'mirai11 (Mace & Nutmeg)', '時間': 'Sun Mar 22 02:42:57 2020'}, {'標題': '[公告] 三月份置底閒聊文', '作者': 'DreamYeh (天使)', '時間': 'Tue Mar  3 11:34:55 2020'}] 

[14]:


{'標題': '[協尋] 埔里埔霧公路/七堵俊賢路/高雄博愛同盟路/交大/國一南下42',  '作者': 'arsonlolita (板主)',  '時間': 'Tue Mar 17 11:28:02 2020'}

二、PTT 置頂文章判別

另外為上題的衍生問題,PPT 的置頂文章會影響最新文章排序的判別,已經使用了依照時間進行排序,但是仍無法判斷最新發布文章,請問這該如何解決?謝謝!

newPapers = []
for d in soup.find_all(class_='title'):
    try:
        newPaper = {}
        newPaper['標題'] = d.text.replace('\t', ' ').replace('\n', ' ')
        r = BeautifulSoup(requests.get('https://www.ptt.cc'+d.find('a')['href'], cookies={'over18': '1'}).text, 'xml')
        newPaper['作者'] = r.find(class_='article-meta-value').text
        newPaper['時間'] = r.find_all(class_='article-meta-value')[-1].text
        # newPaper['時間'] = datetime.strptime(newPaper['時間'], "%b %d %H:%M:%S %Y")
        # 時間轉換:https://stackoverflow.com/questions/10256093/how-to-convert-ctime-to-datetime-in-python
        newPapers.append(newPaper)
    except:
        continue
newPapers = sorted(newPapers, key=lambda x: x['時間']) 
newPapers
print(newPapers[-1]) 


[{'標題': ' Re: [問卦] 興趣是吃東西的人  是豬嗎? ',
 '作者': 'Dinenger (低能兒)',
 '時間': 'Mon Mar 23 19:39:29 2020'},
{'標題': ' [問卦] 『小玉』算是洗白了嗎? ',
 '作者': 'sasaki3630 (♥伊莉雅の老公 ♥)',
 '時間': 'Mon Mar 23 19:39:30 2020'},
{'標題': ' [爆卦] 鬼島夢想家(32)融資斷頭 ',
 '作者': 'rhino0314 (鬼島夢想家)',
 '時間': 'Mon Mar 23 19:39:52 2020'},
{'標題': ' Re: [政治] 口罩很多盡量買!陳時中:1400萬片口罩2. ',
 '作者': 'rexlin (Some like it hot!!)',
 '時間': 'Mon Mar 23 19:40:09 2020'},
{'標題': ' [問卦] 士\u3000林\u3000板\u3000聚 ',
 '作者': 'wuyiulin (機掰客家人)',
 '時間': 'Mon Mar 23 19:40:18 2020'},
{'標題': ' [問卦] 為何藥局還是一堆人排口罩== ',
 '作者': 'westdoorcard (West)',
 '時間': 'Mon Mar 23 19:40:20 2020'},
{'標題': ' [政治] 中共果然開始有動作了 ',
 '作者': 'dete911 (dete911)',
 '時間': 'Mon Mar 23 19:40:41 2020'},
{'標題': ' Re: [問卦] 熊貓的外送員 很愛騙說他到了? ',
 '作者': 'poeta (鍵盤詩人)',
 '時間': 'Mon Mar 23 19:40:41 2020'},
{'標題': ' [問卦] 哪個居住地一講出來就覺得很有格調? ',
 '作者': 'suileen (我為櫻島麻衣而活)',
 '時間': 'Mon Mar 23 19:40:44 2020'},
{'標題': ' Re: [問卦] +26確診 ',
 '作者': 'Bionut (生物堅果)',
 '時間': 'Mon Mar 23 19:41:19 2020'},
{'標題': ' [新聞] 坦承「隨機開車門想偷東西」 法官判無罪 ',
 '作者': 'Rrrxddd (有噴 鋼鐵LULU粉 RR)',
 '時間': 'Mon Mar 23 19:41:24 2020'},
{'標題': ' Re: [問卦] 預言成真KFK...? ',
 '作者': 'a810086 (眼睛業障重)',
 '時間': 'Mon Mar 23 19:41:28 2020'},
{'標題': ' [問卦] 覺得自己有點症狀 第一步要做甚麼?? ',
 '作者': 'a152508 (a十五二十五零八)',
 '時間': 'Mon Mar 23 19:41:32 2020'},
{'標題': ' [問卦] 臺北市如果封城 實務上要怎麼做? ',
 '作者': 'iphone15 (哀鳳15)',
 '時間': 'Mon Mar 23 19:42:49 2020'},
{'標題': ' [公告] 八卦闆闆規(2020.03.21) ',
 '作者': 'DreamYeh (天使)',
 '時間': 'Sat Mar 21 00:42:44 2020'},
{'標題': ' [公告] 說明[政治]分類使用方式 ',
 '作者': 'arsonlolita (板主)',
 '時間': 'Sat Mar 21 15:03:36 2020'},
{'標題': ' [協尋] 家人妹妹失蹤 ',
 '作者': 'mirai11 (Mace  Nutmeg)',
 '時間': 'Sun Mar 22 02:42:57 2020'},
{'標題': ' [公告] 三月份置底閒聊文 ',
 '作者': 'DreamYeh (天使)',
 '時間': 'Tue Mar  3 11:34:55 2020'},
{'標題': ' [協尋] 埔里埔霧公路/七堵俊賢路/高雄博愛同盟路/交大/國一南下42 ',
 '作者': 'arsonlolita (板主)',
 '時間': 'Tue Mar 17 11:28:02 2020'}]


{'標題': ' [協尋] 埔里埔霧公路/七堵俊賢路/高雄博愛同盟路/交大/國一南下42 ', '作者': 'arsonlolita (板主)', '時間': 'Tue Mar 17 11:28:02 2020'}