如何解決GPU太小 - Cupoy

想問一下，如果神經網路太深，GPU不夠算的時候該怎麼辦

回答列表

• 2019/07/26 下午 04:34
  張維元 (WeiYuan)
  贊同數：2
  不贊同數：1
  留言數：1

  買比較強的 GPU 嗎？或是直接租雲端服務？類似：https://aws.amazon.com/tw/ec2/instance-types/p3/

• 2019/07/26 下午 11:28
  Jimmy
  贊同數：3
  不贊同數：0
  留言數：2

  Hi 關明!

  
  

  通常來說，在怎麼深的網路，目前的 GPU 應該都能夠至少一次處理數張影像，所以通常是

  1. 你的影像超級大 (1000 x 1000 pixels 以上)

  2. 你一次訓練的 batch  size 太大!

  造成 GPU 的記憶體不夠處理，先試著調整這兩個東西，通常在深的網路應該都還是有辦法訓練的!

• 2019/07/27 下午 11:12
  astronomer
  贊同數：0
  不贊同數：0
  留言數：2

  記得有些 framework (如 pytorch) 可以累積多次 batch 再一次算 backward propagation, 這樣可以解決 GPU 計算太小, 卻又不想降低 batch size

  
  

  就不知道 keras 要怎麼設了