Gradient Descent的learning rate 更新是加上梯度平方的方法,是出自於哪裡呢?

2019/07/11 上午 09:50

機器學習共學討論版

Ray Xie

觀看數：120

回答數：2

收藏數：0

ml100-2

ml100-2-d74

專家們好, 這邊關於Day74_Gradient Descent_Math.ipynb 裡面有些部分想要請教

在 In [12] 中

1. Gradient = -2*input * Loss -> 請問這個梯度算法是出自於哪裡呢?

2. 關於lr_b, lr_w 看起來感覺有點像課程pdf介紹到learning rate decay的概念, 但請問learning rate 更新是加上梯度平方的方法,是出自於哪裡呢?

lr_b = lr_b + b_grad**2

lr_w = lr_w + w_grad**2

謝謝!