logo
Loading...

深度學習體驗 : 啟動函數與正規化 - 機器學習百日 - Cupoy

今天的內容會帶大家了解 1. 批次大小 (Batch size) 、學習速率 (Learnig Rate) 對學習結果的影響 2. 經由實驗,體驗不同啟動函數的差異性 3. 體驗正規化 (Re...

今天的內容會帶大家了解 1. 批次大小 (Batch size) 、學習速率 (Learnig Rate) 對學習結果的影響 2. 經由實驗,體驗不同啟動函數的差異性 3. 體驗正規化 (Regularization) 對學習結果的影響 批次大小越小 : 學習曲線越不穩定、但收斂越快 學習速率越大 : 學習曲線越不穩定、但收斂越快 但是與批次大小不同的是 - 學習速率大於一定以上時,有可能不穩定到無法收斂 當類神經網路層數不多時,啟動函數 Sigmoid / Tanh 的效果比 Relu 更好 L1 / L2 正規化在非深度學習上效果較明顯,而正規化參數較小才有效果 有了大概的理解之後,我們開始今天的學習吧!!!