MaxRetryError & ConnectionError - Cupoy

2020/06/24 下午 02:32

Python網路爬蟲討論版

Leo Siu

觀看數：9

回答數：2

收藏數：0

pycrawler

pycrawler-d16

請教一下以下的nError怎樣解決? 是否因為連結太頻密?

但是我的關鍵詞只有10個(搜尋字詞為"投資")，而且只運行了2行就錯誤了(如下)

遞迴層[0] - /wiki/%E6%8A%95%E8%B3%87 (投資)
遞迴層[1] - link (/wiki/%E5%AD%98%E6%AC%BE%E4%BF%9D%E9%9A%AA)

MaxRetryError: HTTPSConnectionPool(host='zh.wikipedia.orglink', port=443): Max retries exceeded with url: / (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x000001A46D545550>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'))

During handling of the above exception, another exception occurred:

ConnectionError: HTTPSConnectionPool(host='zh.wikipedia.orglink', port=443): Max retries exceeded with url: / (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x000001EE28DA74A8>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'))

回答列表

• 2020/06/24 下午 03:28
  Jia
  贊同數：0
  不贊同數：0
  留言數：1

  以下是我的猜測：

  
  

  傳給 WikiArticle(key_word_link, key_word, recursive) 的參數第一個是連結、第二個是關鍵字，

  但從你的第二行來看 遞迴層[1] - link (/wiki/%E5%AD%98%E6%AC%BE%E4%BF%9D%E9%9A%AA) ，看起來參數是給反了。

  
  

  檢查看看是哪邊出問題(例如：external_link_dict給值時)。

  
  

  可以在 resp = requests.get(url, headers=headers) 之前，能先把 url 印出來，看看是否是有效的網址。

• 2020/06/25 下午 06:32
  張維元 (WeiYuan)
  贊同數：0
  不贊同數：0
  留言數：0

  看起來的確是 Jia 的建議，參數設定給錯。請問該題還有其他問題嗎？

  
  

  如果這個回答對你有幫助請主動點選「有幫助」的按鈕，也可以追蹤我的GITHUB帳號。若還有問題的話，也歡迎繼續再追問或者把你理解的部分整理上來，我都會提供你 Review 和 Feedback 😃😃😃