logo
Loading...

dropout 以及batch normalization的順序 - Cupoy

在HW84的解答的build_mlp function中,建立網路的順序是   batchnorma...

dropout,batch normalization

dropout 以及batch normalization的順序

2020/06/18 06:49 下午
機器學習共學討論版
Shun-ching Hsu
觀看數:11
回答數:2
收藏數:0
dropout
batch normalization

    在HW84的解答的build_mlp function中,建立網路的順序是   batchnormalization -> activation ->dropout。

先做batchnormalization再apply activation的原因,課程解釋已經相當清楚;但是為什麼dropout的順序是在最後呢?

    如果要隨機dropout一些神經元,那為何不先dropout,再計算batch正規化? 這樣的batch正規化值,才是該次trainning真正用到的數據?