logo
Loading...

如何通過GCP,deploy爬蟲每日更新,把資料也儲存在GCP上? - Cupoy

大家好, 我在本機是用jupyterlab,通過window scheduler每日更新,儲存在本機...

爬蟲,gcp

如何通過GCP,deploy爬蟲每日更新,把資料也儲存在GCP上?

2021/02/23 下午 06:04
專家行家必學 - 使用排程即時自動更新資料
李政澤
觀看數:50
回答數:1
收藏數:0
爬蟲
gcp

大家好, 我在本機是用jupyterlab,通過window scheduler每日更新,儲存在本機的postgress db 現要嘗試deploy在GCP上,各位有任何相關經驗嗎? 現找到的方式是: 1. cloud function :爬蟲 2. cloud SQL:儲存 我理解的方式是否正確? 不知費用如何?還是有免費方式? 謝謝

回答列表

  • 2021/02/25 下午 08:44
    Allen Huang
    贊同數:0
    不贊同數:0
    留言數:0

    您好: 您的方式理論上沒什麼問題, 你的目的應該是量大的資料放在雲上處理跟訓練比較方便吧? 我個人是用aws, 通常起一個EC2 跑一下爬蟲腳本, 透過Lambda function 把數據傳回到S3空間存放, 整個機制我選擇在本機端做trigger, 所以會有一個AWS IoT 身分驗證的服務. 我想GCP應該也是類似~ 至於費用, 每兩三天爬一次 一個月台幣百位數的費用而已