batch normalization 問題?
2019/07/23 10:01 下午
機器學習共學討論版
Benjamin Shao
觀看數：14
回答數：1
收藏數：0
Hi all:
我看到講義裡面batch normalization是加在每一層的affine層之後
但是看到code都是寫在Dense後面而Dense裡面又有activate function
如果把activate function關掉先加上batch normalization的結果又比較好
那想請問公式所說的batch normalization是應該加在哪呢?
還是我對api的了解錯誤了?
另外我想問因為每個batch的平均跟變異數不一樣，
當訓練完成後batch normalization layer的平均是跟變異數取用全部的樣本的嗎?
謝謝