logo
Loading...

訓練神經網路的細節與技巧 - Learning rate effect - 機器學習百日 - Cupoy

今天的內容會帶大家了解 1. Learning Rate 對訓練的影響
 2. 各優化器內,不同的參數對訓練的影響 學習率對訓練造成的影響: 1. 學習率過大:每次模型參數改變過大,無法有...

今天的內容會帶大家了解 1. Learning Rate 對訓練的影響
 2. 各優化器內,不同的參數對訓練的影響 學習率對訓練造成的影響: 1. 學習率過大:每次模型參數改變過大,無法有效收斂到更低的損失平面 2. 學習率過小:每次參數的改變量小,導致損失改變的幅度小、平原區域無法找到正確的方向 在 SGD 中的動量方法: 在損失方向上,加上一定比率的動量協助擺脫平原或是小山谷 有了大概的理解之後,我們開始今天的學習吧!!!