logo
Loading...

batch normalization 問題? - Cupoy

Hi all:我看到講義裡面batch normalization是加在每一層的affine層之後但...

batch normalization 問題?

2019/07/23 10:01 下午
機器學習共學討論版
Benjamin Shao
觀看數:14
回答數:1
收藏數:0

Hi all:

我看到講義裡面batch normalization是加在每一層的affine層之後

但是看到code都是寫在Dense後面而Dense裡面又有activate function

如果把activate function關掉先加上batch normalization的結果又比較好

那想請問公式所說的batch normalization是應該加在哪呢?

還是我對api的了解錯誤了?


另外我想問因為每個batch的平均跟變異數不一樣,

當訓練完成後batch normalization layer的平均是跟變異數取用全部的樣本的嗎?


謝謝