logo
Loading...

優化器 optimizers - 機器學習百日 - Cupoy

今天的內容會帶大家了解 1. 優化器的使用與程式樣貌 2. 優化器的用途 3.從程式中辨識 優化器 (optimizers) 的參數特徵 常用的優化器:1. SGD 這種方法是將數據分成...

今天的內容會帶大家了解 1. 優化器的使用與程式樣貌 2. 優化器的用途 3.從程式中辨識 優化器 (optimizers) 的參數特徵 常用的優化器:1. SGD 這種方法是將數據分成一小批一小批的進行訓練,但是速度比較慢 2. AdaGrad 採用改變學習率的方式 3. RMSProp 這種方法是將 Momentum 與 AdaGrad 部分相結合 4. Adam 結合 AdaGrad 和 RMSProp 兩種優化算法的優點 對梯度的一階矩估計、二階矩估計進行綜合考慮計算出更新步長 有了大概的理解之後,我們開始今天的學習吧!!!