logo
Loading...

Gradient Descent的learning rate 更新是加上梯度平方的方法,是出自於哪裡呢? - Cupoy

專家們好, 這邊關於Day74_Gradient Descent_Math.ipynb 裡面有些部分...

ml100-2,ml100-2-d74

Gradient Descent的learning rate 更新是加上梯度平方的方法,是出自於哪裡呢?

2019/07/11 09:50 上午
機器學習共學討論版
Ray Xie
觀看數:98
回答數:2
收藏數:0
ml100-2
ml100-2-d74

專家們好, 這邊關於Day74_Gradient Descent_Math.ipynb 裡面有些部分想要請教


In [12] 中

1. Gradient = -2*input * Loss  -> 請問這個梯度算法是出自於哪裡呢?

2. 關於lr_b, lr_w 看起來感覺有點像課程pdf介紹到learning rate decay的概念, 但請問learning rate 更新是加上梯度平方的方法,是出自於哪裡呢?

    lr_b = lr_b + b_grad**2

    lr_w = lr_w + w_grad**2


謝謝!