接下來將總結一下本系列課程中介紹過哪些優化技巧。首先，第一個數值優化技巧就是梯度下降（Gradient Descent），即讓變量沿著其梯度反方向變化，不斷接近最優解。例如介紹過的 SGD、Steepest Descent 和 Functional GD 都是利用了梯度下降的技巧。 影片內容 pdf：https://www.csie.ntu.edu.tw/~htlin/course/mltech17spring/doc/216_handout.pdf