今天的內容會帶大家了解
1. 批次大小 (Batch size) 、學習速率 (Learnig Rate) 對學習結果的影響
2. 經由實驗,體驗不同啟動函數的差異性
3. 體驗正規化 (Regularization) 對學習結果的影響
批次大小越小 : 學習曲線越不穩定、但收斂越快
學習速率越大 : 學習曲線越不穩定、但收斂越快
但是與批次大小不同的是 - 學習速率大於一定以上時,有可能不穩定到無法收斂
當類神經網路層數不多時,啟動函數 Sigmoid / Tanh 的效果比 Relu 更好
L1 / L2 正規化在非深度學習上效果較明顯,而正規化參數較小才有效果
有了大概的理解之後,我們開始今天的學習吧!!!