logo
Loading...

Day 072 在討論 Activation Function時有提到「死掉的神經元」,請問具體來說「死掉的神經元」是什麼狀況?該神經元的數學表示形式又是如何? - Cupoy

如果使用 ReLU,要小心設置 learning rate,注意不要讓網路出現很多「dead」 神經...

ml-072,relu,activation function,neuron

Day 072 在討論 Activation Function時有提到「死掉的神經元」,請問具體來說「死掉的神經元」是什麼狀況?該神經元的數學表示形式又是如何?

2020/11/22 下午 03:08
啟動函數
蔣淳斌
觀看數:82
回答數:2
收藏數:0
ml-072
relu
activation function
neuron

> 如果使用 ReLU,要小心設置 learning rate,注意不要讓網路出現很多「dead」 神經元,如果不好解決,可以試試 Leaky ReLU、PReLU 或者Maxout 在討論 Activation Function 的講義中有提到「死神經元」,但是只有簡單帶過而已,讓人無法搞懂所謂的死神經元是發生了什麼事、神經元性質產生了什麼變化。請問各位這邊的死神經元究竟是指什麼意思,謝謝。

回答列表

  • 2020/11/22 下午 04:46
    Jeffrey
    贊同數:1
    不贊同數:0
    留言數:0

    指的是神經元的輸出為0, 沒有給下一級輸出值

  • 2020/11/24 下午 03:13
    張維元 (WeiYuan)
    贊同數:0
    不贊同數:0
    留言數:0

    嗨,你好
    Dead ReLU Problem(神經元壞死現象)指的是 ReLU 在負數區域被kill 的現象。 在 x<0 時,梯度為 0,導致這個神經元及之後的神經元梯度永遠為0,不再對任何數據有所響應,導致相應參數永遠不會被更新。產生這種現象的兩個原因: 1. 參數初始化問題 2. learning rate太高導致在訓練過程中參數更新太大

    嗨,你好,我是維元,持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流,都可以追蹤我的 Facebook技術部落格 ,也會不定時的舉辦分享活動,一起來玩玩吧 ヽ(●´∀`●)ノ