logo
Loading...

Day 072 在討論 Activation Function時有提到「死掉的神經元」,請問具體來說「死掉的神經元」是什麼狀況?該神經元的數學表示形式又是如何? - Cupoy

如果使用 ReLU,要小心設置 learning rate,注意不要讓網路出現很多「dead」 神經...

ml-072,relu,activation function,neuron

Day 072 在討論 Activation Function時有提到「死掉的神經元」,請問具體來說「死掉的神經元」是什麼狀況?該神經元的數學表示形式又是如何?

2020/11/22 03:08 下午
機器學習共學討論版
蔣淳斌
觀看數:5
回答數:2
收藏數:0
ml-072
relu
activation function
neuron

> 如果使用 ReLU,要小心設置 learning rate,注意不要讓網路出現很多「dead」 神經元,如果不好解決,可以試試 Leaky ReLU、PReLU 或者Maxout 在討論 Activation Function 的講義中有提到「死神經元」,但是只有簡單帶過而已,讓人無法搞懂所謂的死神經元是發生了什麼事、神經元性質產生了什麼變化。請問各位這邊的死神經元究竟是指什麼意思,謝謝。