logo
Loading...

在使用Batch Normalization訓練完成後並將模型儲存,但卻無法計算Batch Normalization所需的 mu 跟 sigma - Cupoy

請問當我們使用Batch Normalization訓練完成後並將模型儲存,在對模型作Testing...

ml100-2,batch normalization,ml100-2-d83

在使用Batch Normalization訓練完成後並將模型儲存,但卻無法計算Batch Normalization所需的 mu 跟 sigma

2019/07/29 下午 10:22
機器學習共學討論版
江慶磊
觀看數:43
回答數:1
收藏數:0
ml100-2
batch normalization
ml100-2-d83

請問當我們使用Batch Normalization訓練完成後並將模型儲存,在對模型

作Testing 時,由於 data 是一筆一筆進來的,將無法計算Batch Normalization所需的 mu 跟 sigma,請問建議怎麼處理,謝謝。

回答列表

  • 2019/07/30 上午 01:00
    Seanyu.TW
    贊同數:1
    不贊同數:0
    留言數:0

    Hi,

    在訓練的時候,對於訓練的每個 batch 會使用該 batch 的 average 與 variance,並保留一個 moving_average 與 moving_variance,他是滾動式的每個 batch 更新。在 Inference 時,輸入的資料並不是使用該筆資料或 batch 的 mean/variance 做標準化,而是把剛才提到的 moving_average 與 moving_variance 拿出來使用。