處理大量數據，批次讀取問題 - Cupoy

2019/09/30 下午 03:43

機器學習共學討論版

郭伊婷

觀看數：20

回答數：1

收藏數：0

想請問：

Day98的作業是將Day97的訓練資料讀取方式改寫成 Generator。

卻發現test accuracy有大幅的下降(從0.7352降至0.6181)

為什麼改用Generator會導致test accuracy有巨幅的落差呢？

謝謝解惑～

回答列表

• 2019/10/01 下午 02:09
  Jimmy
  贊同數：1
  不贊同數：0
  留言數：0

  Hi 伊婷!

  
  

  若正確撰寫 Generator 的話，結果與直接讀取資料應該不會有任何的差異才對喔！幾個小細節要注意一下。

  1) 跑完一個 epoch 後要對訓練資料做 shuffle，避免資料次序都一樣

  2) 同一個 epoch 中，每一個 batch 的資料不可以重複出現

  3) 注意一下資料前處理有沒有做 (normalization)

  你也可以把程式碼貼上來，我可以再幫你確認，謝謝