dropout 以及batch normalization的順序 - Cupoy

2020/06/18 下午 06:49

機器學習共學討論版

Shun-ching Hsu

觀看數：80

回答數：2

收藏數：0

dropout

batch normalization

    在HW84的解答的build_mlp function中，建立網路的順序是   batchnormalization -> activation ->dropout。

先做batchnormalization再apply activation的原因，課程解釋已經相當清楚；但是為什麼dropout的順序是在最後呢?

    如果要隨機dropout一些神經元，那為何不先dropout，再計算batch正規化? 這樣的batch正規化值，才是該次trainning真正用到的數據?

      

回答列表

• 2020/06/18 下午 07:25
  Jeffrey
  贊同數：1
  不贊同數：0
  留言數：0

  dropout 主要是針對全連接層, 一般是放在最後

• 2020/06/18 下午 11:44
  張維元 (WeiYuan)
  贊同數：2
  不贊同數：0
  留言數：0

  這邊有一篇文章補充參考：batch normalize、relu、dropout 等的相对顺序 ，看起來主要是有一些計算上的問題存在。

  
  

  如果這個回答對你有幫助請主動點選「有幫助」的按鈕，也可以追蹤我的GITHUB帳號。若還有問題的話，也歡迎繼續再追問或者把你理解的部分整理上來，我都會提供你 Review 和 Feedback 😃😃😃