如何使用regulizer - Cupoy

2019/07/19 下午 09:59

機器學習共學討論版

Benjamin Shao

觀看數：60

回答數：1

收藏數：0

ml100-2-d81

ml100-2

Hi:

我想請問一下

我以為regulizer是在最後loss function的時候加的(就像在回歸或是其他model那樣)

但是看到範例是在每一層都用regulizer

想請問數學上是怎麼加的??

而且還有kernel_regulizer還有activity_regulizer這兩個東西

想請問這兩個有什麼不同啊?

kernel是在activate之前把所有參數都照著公式加到affine層

然後再activate

activity_regulizer是先把affine經過activate再加上regulization嗎?

因為講義把概念簡單化太嚴重了

想請問有沒有更多的說明或是教材

謝謝!!

回答列表

• 2019/07/22 上午 10:31
  Jimmy
  贊同數：1
  不贊同數：0
  留言數：2

  Hi Benjamin Shao!

  
  

  就數學上來說，regularizer 的確是加上 Loss function，不過透過公式我們可以看到，Regularization 是把每一層的 weights 進行加總 (summation)，所以在每一層都寫 regularization 讓我們可以對不同層有不同大小的限制。

  

  Kernel regularization 是針對模型的權重 (weights) 做正則化。

  Activity regularization 是針對模型的輸出 (output) 做正則化。兩者都是希望目標的值越小越好