logo
Loading...

關於利用 selenium 載入 Ettoday 次數問題 - Cupoy

Hi,老師, 關於用 selenium 爬取 Ettoday 的資訊,我想用 browser 方式向...

關於利用 selenium 載入 Ettoday 次數問題

2020/05/27 03:32 下午
Python網路爬蟲討論版
許義翔
觀看數:22
回答數:2
收藏數:1

Hi,老師, 關於用 selenium 爬取 Ettoday 的資訊,我想用 browser 方式向下讀取 15 次的 Date,我在 for 迴圈設置了15次,但是不知道為什麼每次爬到第十次就會停下來,就不會再執行了?是哪邊出了問題嗎?還是有什麼限制?謝謝!


執行狀況: https://youtu.be/caayuJztv3w

import time
from bs4 import BeautifulSoup
from selenium import webdriver

browser = webdriver.Chrome(executable_path='chromedriver')
browser.get("https://www.ettoday.net/news/news-list.htm")

for i in range(15):
    print(i+1)
    time.sleep(random.randint(2, 5))
    browser.execute_script("window.scrollTo(0, 10000);")

html_source = browser.page_source
soup = BeautifulSoup(html_source, "lxml")

for d in soup.find(class_="part_list_2").find_all('h3'):
    print(d.find(class_="date").text, d.find_all('a')[-1].text)