dropout 以及batch normalization的順序
2020/06/18 06:49 下午
機器學習共學討論版
Shun-ching Hsu
觀看數：11
回答數：2
收藏數：0
dropout
batch normalization
在HW84的解答的build_mlp function中，建立網路的順序是 batchnormalization -> activation ->dropout。
先做batchnormalization再apply activation的原因，課程解釋已經相當清楚；但是為什麼dropout的順序是在最後呢?
如果要隨機dropout一些神經元，那為何不先dropout，再計算batch正規化? 這樣的batch正規化值，才是該次trainning真正用到的數據?