李宏毅_深度學習進階

Review：Basic Structures for Deep Learning Models (Part I)

deep learning 就是三個 step： 1.要構造一個 network，這個 network 就是 model，也就是一個 function set，那這個 function set 裡面的 function 是什麼樣子的呢？ function set 都是由一些簡單的 function 所組合起來的，這些簡單的 function 其實就是 neural。那通常需要決定這個 structure 長什麼樣子，這節課主要要關注的就是有哪些常見的 structure。 2.要定義一個 cost function，然後根據 training data 來告訴 machine 什麼樣子的 function 才是最好的，什麼樣的 function 不好。其實由於 function是由參數所決定的，所以其實定義 cost function 就是看什麼樣子的 neural network 的參數是好的，什麼樣的 neural network 參數是不好的。那要怎麼去定義 cost function 呢？ case by case（具體問題具體分析）這就需要看看你的問題是什麼，你手上有什麼樣的 training data。 3.有了 step1 以及 step2，用 gradient descen 找出一個最好的 function。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2017/Lecture/Basic%20Structure%20(v8).pdf

Review：Basic Structures for Deep Learning Models (Part II)

Convolution 以及 pooing 的精神，也就是簡化 neural network，只是用了一些 prior knowledge 來簡化 neural network，根據現在要考慮的問題的特性，設計了這些 layer，而所需要的參數量是要比 fully connection layer 的要少。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2017/Lecture/Basic%20Structure%20(v8).pdf

Computational Graph & Backpropagation

今天要說的是怎麼算 gradient：算 gradient 就是 backpropagation，其實就是一個很有效率的計算 gradient 的一個方法，算出 gradient 就可以算 gradient descent。這節課要用 computational graph(很多開源工具都使用計算圖的方式，比如 tensorflow(它的計算圖的定義方式和課程中的不太一樣)...)來算 gradient descent。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2017/Lecture/Optimization%20(v4).pdf

Deep Learning for Language Modeling

用 RNN 做 language model。那什麼是 language model？ language model 它要做的事情就是估測一個 word sequence（也就是一句話的概率），也就是說給一個句子（由一串詞彙 word 構成的），這個 w 就代表的是 word，例子中有 n 個 word，這 n 個 w 合起來就是一個句子。 language model 要做的事情就是，要找一個 function 告訴這個句子出現的概率有多大。那這件事情有什麼用呢？比如可以用在語音辨識上面，在語音辨識上一定需要 language model，因為在做語音辨識的時候，有時候不同的 word sequence，可能也有同樣的發音。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2017/Lecture/RNNLM%20(v3).pdf

Spatial Transformer Layer

CNN 不是縮放 (scaling) 和旋轉 (rotation) 操作不變的當一副圖像的內容從左上角移到右下角，或者進行大角度旋轉後，對 CNN 而言，就是完全不同的特徵，因此就難以進行正確的識別。因此需要增加 Spatial Transformer Layer 作為 CNN 網絡的一部分，解決識別對象的空間變換問題。影片內容 pdf：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2017/Lecture/Special%20Structure%20(v6).pdf

Review：Basic Structures for Deep Learning Models (Part I)

Review：Basic Structures for Deep Learning Models (Part II)

Computational Graph & Backpropagation

Deep Learning for Language Modeling

Spatial Transformer Layer

Highway Network & Grid LSTM

Recursive Network

Conditional Generation by RNN & Attention

Pointer Network

Batch Normalization

SELU

Tuning Hyperparameters

Interesting things about deep learning

Generative Adversarial Network

Improved Generative Adversarial Network

RL and GAN for Sentence Generation and Chat-bot

機械学習で美少女化 ~ あるいはNEW GAME! の世界

Imitation Learning

Evaluation of Generative Models

Ensemble of GAN

Energy-based GAN

Video Generation by GAN

A3C

Gated RNN and Sequence Generation (Recorded at Fall, 2017)