logo
Loading...

Stochastic Grad. Descent - Cupoy

之前介紹的 PLA 算法和 logistic regression 算法,都是用到了疊代操作。PLA 每次迭代只會更新一個點,它每次迭代的時間複雜度是 O(1);而 logistic regression 每次迭代要對所有 N 個點都進行計算,它的每時間複雜度是 O(N)。為了提高 logistic regression 中 gradient descent 算法的速度,可以使用另一種算法:隨機梯度下降算法(Stochastic Gradient Descent)。 影片內容 pdf:https://www.csie.ntu.edu.tw/~htlin/course/mlfound18fall/doc/11_handout.pdf

之前介紹的 PLA 算法和 logistic regression 算法,都是用到了疊代操作。PLA 每次迭代只會更新一個點,它每次迭代的時間複雜度是 O(1);而 logistic regression 每次迭代要對所有 N 個點都進行計算,它的每時間複雜度是 O(N)。為了提高 logistic regression 中 gradient descent 算法的速度,可以使用另一種算法:隨機梯度下降算法(Stochastic Gradient Descent)。 影片內容 pdf:https://www.csie.ntu.edu.tw/~htlin/course/mlfound18fall/doc/11_handout.pdf