何謂無效/dead的神經元? - Cupoy

2019/07/31 上午 10:30

機器學習共學討論版

孫浩倫

觀看數：45

回答數：1

收藏數：0

ml100-2-d72

ml100-2

老師您好

在講義中多次出現如"無效的神經元" or "dead的神經元"

我想請教的是

何謂無效/dead的神經元?

在訓練的時候(不管dnn cnn等等)

要如何得知一個神經元已經死亡了呢?

謝謝老師唷~~

回答列表

• 2019/07/31 上午 11:40
  Jimmy
  贊同數：1
  不贊同數：0
  留言數：1

  Hi 浩倫！

  
  

  通常我們會使用 ReLu 當成 Activation function，這個函數在接收到小於 0 的數值時，就會輸出 0。在訓練神經網路時，如果權重的分佈產生變化 (輸出都偏向負的)，這樣神經元經過 ReLu 都只會輸出 0，更新的梯度也會變成 0，導致模型無法繼續的優化，這時我們就會稱這個神經元已經死掉，因為對模型的更新沒有任何幫助。

  
  

  可以參考這篇文章 https://blog.csdn.net/disiwei1012/article/details/79204243