logo
Loading...

登入的網頁,爬取方式改使用方法一? - Cupoy

您好:在範例中,使用登入的方式就是將cookie與session放置於header中。我使用gith...

pycrawler,pycrawler-d33

登入的網頁,爬取方式改使用方法一?

2020/01/11 上午 01:38
Python網路爬蟲討論版
Shen Bo-Ren
觀看數:7
回答數:1
收藏數:2
pycrawler
pycrawler-d33

您好:

在範例中,使用登入的方式就是將cookie與session放置於header中。

我使用github.com的網站進行登入的嘗試。

不過我發現到,每次使用者登入之後,那個session的值似乎會一直做變動。


所以在我希望每次執行PYTHON程式後,不必因為人工方式去介入變更session值,所以想改採用方法一:先送登入,再送請求

我觀察到網頁的內容中,加上form data內的值:

與 Headers後:

將這些資料進行登入的POST作業:

執行回傳的內容,status_code不為200


而且該回傳的網頁內容也是:

請問還有甚麼需要注意與調整的地方嗎?

回答列表

  • 2020/01/15 下午 05:22
    張維元 (WeiYuan)
    贊同數:1
    不贊同數:0
    留言數:3

    我看到 Github 的登入網址 POST https://github.com/session ,可以試試看這個!