Day75 Backward 導數

同學您好, 兩者是不一樣的喔

說到 dout/dx = y, 這邊寫的是偏微分結果,

而程式中的 dx 講的是 backward 的更新值

為了說明方便, 我們將 out 對 x 的偏微分值稱為 delta_x,

因此 out 對 y 的微分稱為 delta_Y, 而 delta_x 就是講義中的 dout/dx (源自微積分符號)

但梯度提升來說 , 每往前一層的權重更新(dx 與 dy),

與這一層的權重更新(out), 比例就是這個delta

也就是 dx = dout * delta_x = dout * self.y

建議同學先離開程式, 推導一下數字流程,

可以對上面的回答, 會有比較清楚的理解