logo
Loading...

Back Propagation利用loss乘上sigmoid在輸出資料上斜率的數學意義是什麼? - Cupoy

專家你好,  可以煩請解釋在Back_Propagation_Advanced.ipynb中 以下這...

multiply, slope, update,ml100-2-d75,ml100-2

Back Propagation利用loss乘上sigmoid在輸出資料上斜率的數學意義是什麼?

2019/07/13 11:51 上午
機器學習共學討論版
Ray Xie
觀看數:115
回答數:3
收藏數:0
multiply
slope
update
ml100-2-d75
ml100-2

專家你好,  可以煩請解釋在Back_Propagation_Advanced.ipynb中 以下這兩行code嗎?


(1) l1_delta = l1_error * nonlin(l1,True)    


想請教利用loss乘上sigmoid在輸出資料上斜率的數學意義是什麼?

我的理解是, 當輸出結果更靠近0或是1時, 等於當下預測是有一個prefer的答案的

nonlin(l1,True)的輸出會較小, 乘上l1_error後不會顯著化這個l1_error

但當輸出結果是在0-1中間附近時, 斜率較大, 代表預測基本上等於是random亂猜

所以特意去顯著化這個l1_error

 

(2) syn0 += np.dot(l0.T,l1_delta)


想請教為何是利用 input 的資料乘上l1_delta去更新weighting

若按照gradient desent 的公式 w = w - lr * dw

代表np.dot(l0.T, l1_delta) 是 負方向梯度的意思嗎?


謝謝!