如何使用regulizer
2019/07/19 01:59 PM
機器學習新手論壇
Benjamin Shao
觀看數：0
回答數：1
收藏數：0
ml100-2-d81
ml100-2
Hi:
我想請問一下
我以為regulizer是在最後loss function的時候加的(就像在回歸或是其他model那樣)
但是看到範例是在每一層都用regulizer
想請問數學上是怎麼加的??
而且還有kernel_regulizer還有activity_regulizer這兩個東西
想請問這兩個有什麼不同啊?
kernel是在activate之前把所有參數都照著公式加到affine層
然後再activate
activity_regulizer是先把affine經過activate再加上regulization嗎?
因為講義把概念簡單化太嚴重了
想請問有沒有更多的說明或是教材
謝謝!!