在使用Batch Normalization訓練完成後並將模型儲存，但卻無法計算Batch Normalization所需的 mu 跟 sigma - Cupoy

2019/07/29 下午 10:22

機器學習共學討論版

江慶磊

觀看數：43

回答數：1

收藏數：0

ml100-2

batch normalization

ml100-2-d83

請問當我們使用Batch Normalization訓練完成後並將模型儲存，在對模型

作Testing 時，由於 data 是一筆一筆進來的，將無法計算Batch Normalization所需的 mu 跟 sigma，請問建議怎麼處理，謝謝。

回答列表

• 2019/07/30 上午 01:00
  Seanyu.TW
  贊同數：1
  不贊同數：0
  留言數：0

  Hi,

  在訓練的時候，對於訓練的每個 batch 會使用該 batch 的 average 與 variance，並保留一個 moving_average 與 moving_variance，他是滾動式的每個 batch 更新。在 Inference 時，輸入的資料並不是使用該筆資料或 batch 的 mean/variance 做標準化，而是把剛才提到的 moving_average 與 moving_variance 拿出來使用。