Back Propagation利用loss乘上sigmoid在輸出資料上斜率的數學意義是什麼? - Cupoy

2019/07/13 11:51 上午

機器學習共學討論版

Ray Xie

觀看數：115

回答數：3

收藏數：0

multiply

slope

update

ml100-2-d75

ml100-2

專家你好,  可以煩請解釋在Back_Propagation_Advanced.ipynb中 以下這兩行code嗎？

(1) l1_delta = l1_error * nonlin(l1,True)    

想請教利用loss乘上sigmoid在輸出資料上斜率的數學意義是什麼?

我的理解是, 當輸出結果更靠近0或是1時, 等於當下預測是有一個prefer的答案的

nonlin(l1,True)的輸出會較小, 乘上l1_error後不會顯著化這個l1_error

但當輸出結果是在0-1中間附近時, 斜率較大, 代表預測基本上等於是random亂猜

所以特意去顯著化這個l1_error

 

(2) syn0 += np.dot(l0.T,l1_delta)

想請教為何是利用 input 的資料乘上l1_delta去更新weighting

若按照gradient desent 的公式 w = w - lr * dw

代表np.dot(l0.T, l1_delta) 是 負方向梯度的意思嗎?

謝謝！