logo
Loading...

如何使用regulizer - Cupoy

Hi:我想請問一下我以為regulizer是在最後loss function的時候加的(就像在回歸或...

ml100-2-d81,ml100-2

如何使用regulizer

2019/07/19 09:59 下午
機器學習共學討論版
Benjamin Shao
觀看數:59
回答數:1
收藏數:0
ml100-2-d81
ml100-2

Hi:


我想請問一下

我以為regulizer是在最後loss function的時候加的(就像在回歸或是其他model那樣)

但是看到範例是在每一層都用regulizer

想請問數學上是怎麼加的??


而且還有kernel_regulizer還有activity_regulizer這兩個東西

想請問這兩個有什麼不同啊?


kernel是在activate之前把所有參數都照著公式加到affine層

然後再activate

activity_regulizer是先把affine經過activate再加上regulization嗎?


因為講義把概念簡單化太嚴重了

想請問有沒有更多的說明或是教材


謝謝!!