logo
Loading...

Deep Learning for Language Modeling - Cupoy

用 RNN 做 language model。那什麼是 language model? language model 它要做的事情就是估測一個 word sequence(也就是一句話的概率),也就是說給一個句子(由一串詞彙 word 構成的),這個 w 就代表的是 word,例子中有 n 個 word,這 n 個 w 合起來就是一個句子。 language model 要做的事情就是,要找一個 function 告訴這個句子出現的概率有多大。 那這件事情有什麼用呢?比如可以用在語音辨識上面,在語音辨識上一定需要 language model,因為在做語音辨識的時候,有時候不同的 word sequence,可能也有同樣的發音。 影片內容 pdf:http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2017/Lecture/RNNLM%20(v3).pdf

用 RNN 做 language model。那什麼是 language model? language model 它要做的事情就是估測一個 word sequence(也就是一句話的概率),也就是說給一個句子(由一串詞彙 word 構成的),這個 w 就代表的是 word,例子中有 n 個 word,這 n 個 w 合起來就是一個句子。 language model 要做的事情就是,要找一個 function 告訴這個句子出現的概率有多大。 那這件事情有什麼用呢?比如可以用在語音辨識上面,在語音辨識上一定需要 language model,因為在做語音辨識的時候,有時候不同的 word sequence,可能也有同樣的發音。 影片內容 pdf:http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2017/Lecture/RNNLM%20(v3).pdf