Gradient Descent的learning rate 更新是加上梯度平方的方法,是出自於哪裡呢?
2019/07/11 09:50 上午
機器學習共學討論版
Ray Xie
觀看數：98
回答數：2
收藏數：0
ml100-2
ml100-2-d74
專家們好, 這邊關於Day74_Gradient Descent_Math.ipynb 裡面有些部分想要請教
在 In [12] 中
1. Gradient = -2*input * Loss -> 請問這個梯度算法是出自於哪裡呢?
2. 關於lr_b, lr_w 看起來感覺有點像課程pdf介紹到learning rate decay的概念, 但請問learning rate 更新是加上梯度平方的方法,是出自於哪裡呢?
lr_b = lr_b + b_grad**2
lr_w = lr_w + w_grad**2
謝謝!