李宏毅_機器學習基礎與應用

ML Lecture 0-1：Introduction of Machine Learning

人工智慧：人類想要達成的目標。機器學習：達成目標的手段。或者先天的本能，即人類的設計，或者通過後天學習手段，即訓練過程。深度學習：機器學習中的一種方法。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017_2/Lecture/introduction.pdf

ML Lecture 0-2： Why we need to learn machine learning?

用寶可夢訓練師來比喻，說明 AI 訓練師的工作內容。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017_2/Lecture/introduction.pdf

ML Lecture 1：Regression - Case Study

Machine Learning 有三個步驟 1.選擇 a set of function，即選擇一個 model 2.評價 goodness of function 3.選出 best function regression 的例子有道瓊斯指數預測、自動駕駛中的方向盤角度預測，以及推薦系統中購買可能性的預測。課程中的範例是預測寶可夢進化後的 CP 值。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/Regression.pdf

ML Lecture 1：Regression - Demo

模擬實際操作 Regression 時，可能會遇到的困難。 Code for Demo：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/demo/GradientDescentDemo.ipynb

ML Lecture 2：Where does the error come from?

error 有兩種來源，分別是 bias 和 variance，了解 error 的來源，挑選適當的方法 improve model。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/Bias%20and%20Variance%20(v2).pdf

ML Lecture 3-1：Gradient Descent

解決最優化問題用到的梯度下降的方法，以及對梯度下降法的一個改進，最後從泰勒級數的角度解釋了梯度下降的數學原理。 Gradient Descent 做得更好的方法 1.Tuning your learning rates 2.Stochastic Gradient Descent 3.Feature Scaling 影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/Gradient%20Descent%20(v2).pdf

ML Lecture 3-2：Gradient Descent (Demo by AOE)

用 AOE 來模擬操作 Gradient Descent 的樣子。

ML Lecture 3-3：Gradient Descent (Demo by Minecraft)

用 Minecraft 來示範 update 參數，loss 不降反增的原因。

ML Lecture 4：Classification

用寶可夢來示範，根據寶可夢各屬性值，預測其類型為例，說明分類問題。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/Classification%20(v3).pdf

ML Lecture 5：Logistic Regression

Logistic Regression 是一種線性回歸模型，通過 sigmoid 函數，它的輸出值只有 0 和 1。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/Logistic%20Regression%20(v3).pdf

ML Lecture 6：Brief Introduction of Deep Learning

深度學習的介紹影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/DL%20(v2).pdf

ML Lecture 7：Backpropagation

神經網絡可能有數百萬級的參數，為了在梯度下降時有效地計算梯度，使用反向傳播。影片內容pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/BP.pdf

ML Lecture 8-1：“Hello world” of deep learning

介紹 Keras 影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017_2/Lecture/keras.pdf

ML Lecture 8-2：Keras 2.0

Keras 的版本更新使得原先的函數有部分參數發生變化，現在使用新的 Keras 模組重新編寫之前的神經網絡模型。

ML Lecture 8-3：Keras Demo

Keras 示範教學

ML Lecture 9-1：Tips for Training DNN

上一個影片，使用Keras訓練數據進行預測，得到的效果並不理想，提供幾個方法，提高預測的精度。影片內容pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/DNN%20tip.pdf

ML Lecture 9-2；Keras Demo 2

用 Tip 改善上次失敗的案範例：https://youtu.be/L8unuZNpWw8

ML Lecture 9-3：Fizz Buzz in Tensorflow (sequel)

硬 train 一代的代表故事 Origin of the story: http://joelgrus.com/2016/05/23/fizz-buzz-in-tensorflow/

ML Lecture 10：Convolutional Neural Network

CNN 常被用於影像處理上，也可以用一般的 Network 來處理影像。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/CNN.pdf

ML Lecture 11：Why Deep？

理論上，一層隱藏層的神經網絡就可以表示任意的函數，但是從效率、精度考量，在實際的神經網絡構建中往往採用多個隱藏層（即深度學習）影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/Why.pdf

ML Lecture 12：Semi-supervised

介紹 Semi-supervised Learning 半監督學習影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/semi%20(v3).pdf

ML Lecture 13：Unsupervised Learning - Linear Methods

介紹非監督是學習本節課主要講了兩種線性降維的方法 cluster 和 PCA，並從兩個角度解釋了 PCA。最後講了一些關於矩陣分解的知識。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/dim%20reduction%20%28v5%29.pdf

ML Lecture 14：Unsupervised Learning - Word Embedding

非監督學習中的線性降維方法介紹非監督學習在文字中的降維方法 Word Embedding 影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/word2vec%20(v2).pdf

ML Lecture 15：Unsupervised Learning - Neighbor Embedding

介紹非監督學習算法的降維方法 Neighbor Embedding 影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/TSNE.pdf

ML Lecture 16：Unsupervised Learning - Auto-encoder - YouTube

介紹非監督學習算法中的 Deep Auto-encode 影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/auto.pdf

ML Lecture 17：Unsupervised Learning - Deep Generative Model (Part I)

介紹非監督學習算法中的 Deep Generative Model 開頭引用了費曼的一句話：「凡我不能創造的，我都沒有理解」。對AI也是如此。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/GAN%20(v3).pdf

ML Lecture 18：Unsupervised Learning - Deep Generative Model (Part II)

介紹非監督學習算法中的 Deep Generative Model 影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/GAN%20(v3).pdf

ML Lecture 19：Transfer Learning

Transfer Learning：假設現在手上有與現在進行的 task 沒有直接相關的 data，使用這些 data 來幫助做一些事情。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/transfer%20(v3).pdf

ML Lecture 20：Support Vector Machine (SVM)

SVM 有兩大特色：Hinge Loss 和 Kernel Method 影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/SVM%20%28v5%29.pdf

ML Lecture 21-1：Recurrent Neural Network (Part I)

RNN 的基本概念與 SimpleRNN 影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/RNN.pdf

ML Lecture 21-2：Recurrent Neural Network (Part II)

RNN 的基本概念與 SimpleRNN 影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/RNN.pdf Learn more about backpropagation through time (BPTT) in the following link:： http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/RNN%20training%20(v6).ecm.mp4/index.html （recorded at 2015/10/30）