自然語言+深度學習的必學知識點 - NLP深度學習馬拉松 - Cupoy

NLP 深度學習馬拉松

NLP 深度學習馬拉松是一個結合自學、專家協助及社群討論的AI自學挑戰活動，目標是利用 100 天的時間讓學員掌握自然語言與機器學習/深度學習的關鍵知識點和實務技術應用。（本活動機器學習與深度學習分開

• Pytorch深度學習框架

  • Pytorch 深度學習框架與開發環境

  • 認識 Pytorch 的張量與其基本操作

  • 使用 Pytorch 進行微分與倒傳遞

  • 以 Pytorch 進行基礎資料讀取

  • 以 Pytorch 實現自由數據讀取

  • 使用 Torchtext 進行 NLP 數據處理

  • 搭建 PyTorch 神經網路基礎模型

  • PyTorch 模型修改與特定層擷取

  • 使用 PyTorch 搭建神經網路模型

  • PyTorch 模型訓練

• 推論方法之詞向量技術 (Word2Vec / Glov)

  • 詞向量技術的歷史與發展

  • 詞向量技術 - word2vec

  • 詞向量技術 - GloVe

  • 詞向量技術 - FastText

  • word2vec 的 CBOW 模型與 Skip-gram 模型

  • gensim 自然語言處理工具包基礎教學

• 斷詞

  • 斷詞介紹

  • 如何將英文斷詞

  • 推論方法的詞向量：Glove 詞向量算法

• NLP經典遞迴神經網路模型 (RNN / LSTM / GRU)

  • RNN 遞迴神經網路基礎介紹

  • 使用 Pytorch 實作 SingleRNN

  • 遞迴神經網路：認識 LSTM / GRU / BiRNN

• NLP Seq2Seq (Encoder - Decoder Model)

  • Seq2Seq- Encoder-Decoder 基本概念

  • 實作 Seq2Seq (Encoder - Decoder Model)

• NLP 注意力機制 (Attention mechanism 與 Transformer)

  • Attention mechanism(注意力機制)基礎教學

  • Attention Mechanism(注意力機制)的優點與分類應用

  • Transformer 架構與 encoder 層介紹

  • Transformer 架構與 embedding / decoder 層介紹

  • Transformer Performance 評估與應用討論

• 各種NLP預訓練模型 (ELMo / Bert & More / 預訓練模型調參)

  • NLP ELMo 預訓練模型介紹與範例實作

  • Transformer + 預訓練 : 集大成的 Bert 模型

  • 輕量化 Bert 應用範例

  • 調參版 Bert 應用範例

  • Bert 案例應用練習 (ㄧ)：「假新聞分類案例」

  • BERT 的案例應用練習(二) ：「文法與中間詞預測」

  • 開枝散葉 : Bert 之後衍伸的其他 NLP 預訓練模型

• NLP深度學習期末專題實作 (一)

  • 訓練 LSTM 之歌詞自動填詞器

  • 建置 Bert 新聞分類器之資料集

  • 訓練 Bert 新聞分類器並提升精準度

  • 建置 Bert 新聞觀點分類器之資料集

  • 訓練 Bert 新聞觀點分類器並提升精準度

• NLP深度學習期末專題實作 (二）

  • 使用 BERT 模型進行電影評論文章情緒分析

  • 使用 Bert 文章 tokenizer 基礎教學

  • Bert 情緒分析模型建置 (分類器篇)

  • Bert 情緒分析模型優化與調校 (分類器篇)

  • Bert 情緒分析模型建置 (迴歸型)

    完成了先前的分類型問題問題，我們了解到並不是分類型模型就可以解決所有的問題，因此這邊我們介紹另外一類的BERT下游任務 - 迴歸模型

• Pytorch深度學習框架

  • Pytorch 深度學習框架與開發環境

  • 認識 Pytorch 的張量與其基本操作

  • 使用 Pytorch 進行微分與倒傳遞

  • 以 Pytorch 進行基礎資料讀取

  • 以 Pytorch 實現自由數據讀取

  • 使用 Torchtext 進行 NLP 數據處理

  • 搭建 PyTorch 神經網路基礎模型

  • PyTorch 模型修改與特定層擷取

  • 使用 PyTorch 搭建神經網路模型

  • PyTorch 模型訓練

• 推論方法之詞向量技術 (Word2Vec / Glov)

  • 詞向量技術的歷史與發展

  • 詞向量技術 - word2vec

  • 詞向量技術 - GloVe

  • 詞向量技術 - FastText

  • word2vec 的 CBOW 模型與 Skip-gram 模型

  • gensim 自然語言處理工具包基礎教學

• 斷詞

  • 斷詞介紹

  • 如何將英文斷詞

  • 推論方法的詞向量：Glove 詞向量算法

• NLP經典遞迴神經網路模型 (RNN / LSTM / GRU)

  • RNN 遞迴神經網路基礎介紹

  • 使用 Pytorch 實作 SingleRNN

  • 遞迴神經網路：認識 LSTM / GRU / BiRNN

• NLP Seq2Seq (Encoder - Decoder Model)

  • Seq2Seq- Encoder-Decoder 基本概念

  • 實作 Seq2Seq (Encoder - Decoder Model)

• NLP 注意力機制 (Attention mechanism 與 Transformer)

  • Attention mechanism(注意力機制)基礎教學

  • Attention Mechanism(注意力機制)的優點與分類應用

  • Transformer 架構與 encoder 層介紹

  • Transformer 架構與 embedding / decoder 層介紹

  • Transformer Performance 評估與應用討論

• 各種NLP預訓練模型 (ELMo / Bert & More / 預訓練模型調參)

  • NLP ELMo 預訓練模型介紹與範例實作

  • Transformer + 預訓練 : 集大成的 Bert 模型

  • 輕量化 Bert 應用範例

  • 調參版 Bert 應用範例

  • Bert 案例應用練習 (ㄧ)：「假新聞分類案例」

  • BERT 的案例應用練習(二) ：「文法與中間詞預測」

  • 開枝散葉 : Bert 之後衍伸的其他 NLP 預訓練模型

• NLP深度學習期末專題實作 (一)

  • 訓練 LSTM 之歌詞自動填詞器

  • 建置 Bert 新聞分類器之資料集

  • 訓練 Bert 新聞分類器並提升精準度

  • 建置 Bert 新聞觀點分類器之資料集

  • 訓練 Bert 新聞觀點分類器並提升精準度

• NLP深度學習期末專題實作 (二）

  • 使用 BERT 模型進行電影評論文章情緒分析

  • 使用 Bert 文章 tokenizer 基礎教學

  • Bert 情緒分析模型建置 (分類器篇)

  • Bert 情緒分析模型優化與調校 (分類器篇)

  • Bert 情緒分析模型建置 (迴歸型)

    完成了先前的分類型問題問題，我們了解到並不是分類型模型就可以解決所有的問題，因此這邊我們介紹另外一類的BERT下游任務 - 迴歸模型

• Pytorch深度學習框架

  • Pytorch 深度學習框架與開發環境

  • 認識 Pytorch 的張量與其基本操作

  • 使用 Pytorch 進行微分與倒傳遞

  • 以 Pytorch 進行基礎資料讀取

  • 以 Pytorch 實現自由數據讀取

  • 使用 Torchtext 進行 NLP 數據處理

  • 搭建 PyTorch 神經網路基礎模型

  • PyTorch 模型修改與特定層擷取

  • 使用 PyTorch 搭建神經網路模型

  • PyTorch 模型訓練

• 推論方法之詞向量技術 (Word2Vec / Glov)

  • 詞向量技術的歷史與發展

  • 詞向量技術 - word2vec

  • 詞向量技術 - GloVe

  • 詞向量技術 - FastText

  • word2vec 的 CBOW 模型與 Skip-gram 模型

  • gensim 自然語言處理工具包基礎教學

• 斷詞

  • 斷詞介紹

  • 如何將英文斷詞

  • 推論方法的詞向量：Glove 詞向量算法

• NLP經典遞迴神經網路模型 (RNN / LSTM / GRU)

  • RNN 遞迴神經網路基礎介紹

  • 使用 Pytorch 實作 SingleRNN

  • 遞迴神經網路：認識 LSTM / GRU / BiRNN

• NLP Seq2Seq (Encoder - Decoder Model)

  • Seq2Seq- Encoder-Decoder 基本概念

  • 實作 Seq2Seq (Encoder - Decoder Model)

• NLP 注意力機制 (Attention mechanism 與 Transformer)

  • Attention mechanism(注意力機制)基礎教學

  • Attention Mechanism(注意力機制)的優點與分類應用

  • Transformer 架構與 encoder 層介紹

  • Transformer 架構與 embedding / decoder 層介紹

  • Transformer Performance 評估與應用討論

• 各種NLP預訓練模型 (ELMo / Bert & More / 預訓練模型調參)

  • NLP ELMo 預訓練模型介紹與範例實作

  • Transformer + 預訓練 : 集大成的 Bert 模型

  • 輕量化 Bert 應用範例

  • 調參版 Bert 應用範例

  • Bert 案例應用練習 (ㄧ)：「假新聞分類案例」

  • BERT 的案例應用練習(二) ：「文法與中間詞預測」

  • 開枝散葉 : Bert 之後衍伸的其他 NLP 預訓練模型

• NLP深度學習期末專題實作 (一)

  • 訓練 LSTM 之歌詞自動填詞器

  • 建置 Bert 新聞分類器之資料集

  • 訓練 Bert 新聞分類器並提升精準度

  • 建置 Bert 新聞觀點分類器之資料集

  • 訓練 Bert 新聞觀點分類器並提升精準度

• NLP深度學習期末專題實作 (二）

  • 使用 BERT 模型進行電影評論文章情緒分析

  • 使用 Bert 文章 tokenizer 基礎教學

  • Bert 情緒分析模型建置 (分類器篇)

  • Bert 情緒分析模型優化與調校 (分類器篇)

  • Bert 情緒分析模型建置 (迴歸型)

    完成了先前的分類型問題問題，我們了解到並不是分類型模型就可以解決所有的問題，因此這邊我們介紹另外一類的BERT下游任務 - 迴歸模型

• Pytorch深度學習框架

  • Pytorch 深度學習框架與開發環境

  • 認識 Pytorch 的張量與其基本操作

  • 使用 Pytorch 進行微分與倒傳遞

  • 以 Pytorch 進行基礎資料讀取

  • 以 Pytorch 實現自由數據讀取

  • 使用 Torchtext 進行 NLP 數據處理

  • 搭建 PyTorch 神經網路基礎模型

  • PyTorch 模型修改與特定層擷取

  • 使用 PyTorch 搭建神經網路模型

  • PyTorch 模型訓練

• 推論方法之詞向量技術 (Word2Vec / Glov)

  • 詞向量技術的歷史與發展

  • 詞向量技術 - word2vec

  • 詞向量技術 - GloVe

  • 詞向量技術 - FastText

  • word2vec 的 CBOW 模型與 Skip-gram 模型

  • gensim 自然語言處理工具包基礎教學

• 斷詞

  • 斷詞介紹

  • 如何將英文斷詞

  • 推論方法的詞向量：Glove 詞向量算法

• NLP經典遞迴神經網路模型 (RNN / LSTM / GRU)

  • RNN 遞迴神經網路基礎介紹

  • 使用 Pytorch 實作 SingleRNN

  • 遞迴神經網路：認識 LSTM / GRU / BiRNN

• NLP Seq2Seq (Encoder - Decoder Model)

  • Seq2Seq- Encoder-Decoder 基本概念

  • 實作 Seq2Seq (Encoder - Decoder Model)

• NLP 注意力機制 (Attention mechanism 與 Transformer)

  • Attention mechanism(注意力機制)基礎教學

  • Attention Mechanism(注意力機制)的優點與分類應用

  • Transformer 架構與 encoder 層介紹

  • Transformer 架構與 embedding / decoder 層介紹

  • Transformer Performance 評估與應用討論

• 各種NLP預訓練模型 (ELMo / Bert & More / 預訓練模型調參)

  • NLP ELMo 預訓練模型介紹與範例實作

  • Transformer + 預訓練 : 集大成的 Bert 模型

  • 輕量化 Bert 應用範例

  • 調參版 Bert 應用範例

  • Bert 案例應用練習 (ㄧ)：「假新聞分類案例」

  • BERT 的案例應用練習(二) ：「文法與中間詞預測」

  • 開枝散葉 : Bert 之後衍伸的其他 NLP 預訓練模型

• NLP深度學習期末專題實作 (一)

  • 訓練 LSTM 之歌詞自動填詞器

  • 建置 Bert 新聞分類器之資料集

  • 訓練 Bert 新聞分類器並提升精準度

  • 建置 Bert 新聞觀點分類器之資料集

  • 訓練 Bert 新聞觀點分類器並提升精準度

• NLP深度學習期末專題實作 (二）

  • 使用 BERT 模型進行電影評論文章情緒分析

  • 使用 Bert 文章 tokenizer 基礎教學

  • Bert 情緒分析模型建置 (分類器篇)

  • Bert 情緒分析模型優化與調校 (分類器篇)

  • Bert 情緒分析模型建置 (迴歸型)

    完成了先前的分類型問題問題，我們了解到並不是分類型模型就可以解決所有的問題，因此這邊我們介紹另外一類的BERT下游任務 - 迴歸模型

• Pytorch深度學習框架

  • Pytorch 深度學習框架與開發環境

  • 認識 Pytorch 的張量與其基本操作

  • 使用 Pytorch 進行微分與倒傳遞

  • 以 Pytorch 進行基礎資料讀取

  • 以 Pytorch 實現自由數據讀取

  • 使用 Torchtext 進行 NLP 數據處理

  • 搭建 PyTorch 神經網路基礎模型

  • PyTorch 模型修改與特定層擷取

  • 使用 PyTorch 搭建神經網路模型

  • PyTorch 模型訓練

• 推論方法之詞向量技術 (Word2Vec / Glov)

  • 詞向量技術的歷史與發展

  • 詞向量技術 - word2vec

  • 詞向量技術 - GloVe

  • 詞向量技術 - FastText

  • word2vec 的 CBOW 模型與 Skip-gram 模型

  • gensim 自然語言處理工具包基礎教學

• 斷詞

  • 斷詞介紹

  • 如何將英文斷詞

  • 推論方法的詞向量：Glove 詞向量算法

• NLP經典遞迴神經網路模型 (RNN / LSTM / GRU)

  • RNN 遞迴神經網路基礎介紹

  • 使用 Pytorch 實作 SingleRNN

  • 遞迴神經網路：認識 LSTM / GRU / BiRNN

• NLP Seq2Seq (Encoder - Decoder Model)

  • Seq2Seq- Encoder-Decoder 基本概念

  • 實作 Seq2Seq (Encoder - Decoder Model)

• NLP 注意力機制 (Attention mechanism 與 Transformer)

  • Attention mechanism(注意力機制)基礎教學

  • Attention Mechanism(注意力機制)的優點與分類應用

  • Transformer 架構與 encoder 層介紹

  • Transformer 架構與 embedding / decoder 層介紹

  • Transformer Performance 評估與應用討論

• 各種NLP預訓練模型 (ELMo / Bert & More / 預訓練模型調參)

  • NLP ELMo 預訓練模型介紹與範例實作

  • Transformer + 預訓練 : 集大成的 Bert 模型

  • 輕量化 Bert 應用範例

  • 調參版 Bert 應用範例

  • Bert 案例應用練習 (ㄧ)：「假新聞分類案例」

  • BERT 的案例應用練習(二) ：「文法與中間詞預測」

  • 開枝散葉 : Bert 之後衍伸的其他 NLP 預訓練模型

• NLP深度學習期末專題實作 (一)

  • 訓練 LSTM 之歌詞自動填詞器

  • 建置 Bert 新聞分類器之資料集

  • 訓練 Bert 新聞分類器並提升精準度

  • 建置 Bert 新聞觀點分類器之資料集

  • 訓練 Bert 新聞觀點分類器並提升精準度

• NLP深度學習期末專題實作 (二）

  • 使用 BERT 模型進行電影評論文章情緒分析

  • 使用 Bert 文章 tokenizer 基礎教學

  • Bert 情緒分析模型建置 (分類器篇)

  • Bert 情緒分析模型優化與調校 (分類器篇)

  • Bert 情緒分析模型建置 (迴歸型)

    完成了先前的分類型問題問題，我們了解到並不是分類型模型就可以解決所有的問題，因此這邊我們介紹另外一類的BERT下游任務 - 迴歸模型

• Pytorch深度學習框架

  • Pytorch 深度學習框架與開發環境

  • 認識 Pytorch 的張量與其基本操作

  • 使用 Pytorch 進行微分與倒傳遞

  • 以 Pytorch 進行基礎資料讀取

  • 以 Pytorch 實現自由數據讀取

  • 使用 Torchtext 進行 NLP 數據處理

  • 搭建 PyTorch 神經網路基礎模型

  • PyTorch 模型修改與特定層擷取

  • 使用 PyTorch 搭建神經網路模型

  • PyTorch 模型訓練

• 推論方法之詞向量技術 (Word2Vec / Glov)

  • 詞向量技術的歷史與發展

  • 詞向量技術 - word2vec

  • 詞向量技術 - GloVe

  • 詞向量技術 - FastText

  • word2vec 的 CBOW 模型與 Skip-gram 模型

  • gensim 自然語言處理工具包基礎教學

• 斷詞

  • 斷詞介紹

  • 如何將英文斷詞

  • 推論方法的詞向量：Glove 詞向量算法

• NLP經典遞迴神經網路模型 (RNN / LSTM / GRU)

  • RNN 遞迴神經網路基礎介紹

  • 使用 Pytorch 實作 SingleRNN

  • 遞迴神經網路：認識 LSTM / GRU / BiRNN

• NLP Seq2Seq (Encoder - Decoder Model)

  • Seq2Seq- Encoder-Decoder 基本概念

  • 實作 Seq2Seq (Encoder - Decoder Model)

• NLP 注意力機制 (Attention mechanism 與 Transformer)

  • Attention mechanism(注意力機制)基礎教學

  • Attention Mechanism(注意力機制)的優點與分類應用

  • Transformer 架構與 encoder 層介紹

  • Transformer 架構與 embedding / decoder 層介紹

  • Transformer Performance 評估與應用討論

• 各種NLP預訓練模型 (ELMo / Bert & More / 預訓練模型調參)

  • NLP ELMo 預訓練模型介紹與範例實作

  • Transformer + 預訓練 : 集大成的 Bert 模型

  • 輕量化 Bert 應用範例

  • 調參版 Bert 應用範例

  • Bert 案例應用練習 (ㄧ)：「假新聞分類案例」

  • BERT 的案例應用練習(二) ：「文法與中間詞預測」

  • 開枝散葉 : Bert 之後衍伸的其他 NLP 預訓練模型

• NLP深度學習期末專題實作 (一)

  • 訓練 LSTM 之歌詞自動填詞器

  • 建置 Bert 新聞分類器之資料集

  • 訓練 Bert 新聞分類器並提升精準度

  • 建置 Bert 新聞觀點分類器之資料集

  • 訓練 Bert 新聞觀點分類器並提升精準度

• NLP深度學習期末專題實作 (二）

  • 使用 BERT 模型進行電影評論文章情緒分析

  • 使用 Bert 文章 tokenizer 基礎教學

  • Bert 情緒分析模型建置 (分類器篇)

  • Bert 情緒分析模型優化與調校 (分類器篇)

  • Bert 情緒分析模型建置 (迴歸型)

    完成了先前的分類型問題問題，我們了解到並不是分類型模型就可以解決所有的問題，因此這邊我們介紹另外一類的BERT下游任務 - 迴歸模型

• Pytorch深度學習框架

  • Pytorch 深度學習框架與開發環境

  • 認識 Pytorch 的張量與其基本操作

  • 使用 Pytorch 進行微分與倒傳遞

  • 以 Pytorch 進行基礎資料讀取

  • 以 Pytorch 實現自由數據讀取

  • 使用 Torchtext 進行 NLP 數據處理

  • 搭建 PyTorch 神經網路基礎模型

  • PyTorch 模型修改與特定層擷取

  • 使用 PyTorch 搭建神經網路模型

  • PyTorch 模型訓練

• 推論方法之詞向量技術 (Word2Vec / Glov)

  • 詞向量技術的歷史與發展

  • 詞向量技術 - word2vec

  • 詞向量技術 - GloVe

  • 詞向量技術 - FastText

  • word2vec 的 CBOW 模型與 Skip-gram 模型

  • gensim 自然語言處理工具包基礎教學

• 斷詞

  • 斷詞介紹

  • 如何將英文斷詞

  • 推論方法的詞向量：Glove 詞向量算法

• NLP經典遞迴神經網路模型 (RNN / LSTM / GRU)

  • RNN 遞迴神經網路基礎介紹

  • 使用 Pytorch 實作 SingleRNN

  • 遞迴神經網路：認識 LSTM / GRU / BiRNN

• NLP Seq2Seq (Encoder - Decoder Model)

  • Seq2Seq- Encoder-Decoder 基本概念

  • 實作 Seq2Seq (Encoder - Decoder Model)

• NLP 注意力機制 (Attention mechanism 與 Transformer)

  • Attention mechanism(注意力機制)基礎教學

  • Attention Mechanism(注意力機制)的優點與分類應用

  • Transformer 架構與 encoder 層介紹

  • Transformer 架構與 embedding / decoder 層介紹

  • Transformer Performance 評估與應用討論

• 各種NLP預訓練模型 (ELMo / Bert & More / 預訓練模型調參)

  • NLP ELMo 預訓練模型介紹與範例實作

  • Transformer + 預訓練 : 集大成的 Bert 模型

  • 輕量化 Bert 應用範例

  • 調參版 Bert 應用範例

  • Bert 案例應用練習 (ㄧ)：「假新聞分類案例」

  • BERT 的案例應用練習(二) ：「文法與中間詞預測」

  • 開枝散葉 : Bert 之後衍伸的其他 NLP 預訓練模型

• NLP深度學習期末專題實作 (一)

  • 訓練 LSTM 之歌詞自動填詞器

  • 建置 Bert 新聞分類器之資料集

  • 訓練 Bert 新聞分類器並提升精準度

  • 建置 Bert 新聞觀點分類器之資料集

  • 訓練 Bert 新聞觀點分類器並提升精準度

• NLP深度學習期末專題實作 (二）

  • 使用 BERT 模型進行電影評論文章情緒分析

  • 使用 Bert 文章 tokenizer 基礎教學

  • Bert 情緒分析模型建置 (分類器篇)

  • Bert 情緒分析模型優化與調校 (分類器篇)

  • Bert 情緒分析模型建置 (迴歸型)

    完成了先前的分類型問題問題，我們了解到並不是分類型模型就可以解決所有的問題，因此這邊我們介紹另外一類的BERT下游任務 - 迴歸模型

• Pytorch深度學習框架

  • Pytorch 深度學習框架與開發環境

  • 認識 Pytorch 的張量與其基本操作

  • 使用 Pytorch 進行微分與倒傳遞

  • 以 Pytorch 進行基礎資料讀取

  • 以 Pytorch 實現自由數據讀取

  • 使用 Torchtext 進行 NLP 數據處理

  • 搭建 PyTorch 神經網路基礎模型

  • PyTorch 模型修改與特定層擷取

  • 使用 PyTorch 搭建神經網路模型

  • PyTorch 模型訓練

• 推論方法之詞向量技術 (Word2Vec / Glov)

  • 詞向量技術的歷史與發展

  • 詞向量技術 - word2vec

  • 詞向量技術 - GloVe

  • 詞向量技術 - FastText

  • word2vec 的 CBOW 模型與 Skip-gram 模型

  • gensim 自然語言處理工具包基礎教學

• 斷詞

  • 斷詞介紹

  • 如何將英文斷詞

  • 推論方法的詞向量：Glove 詞向量算法

• NLP經典遞迴神經網路模型 (RNN / LSTM / GRU)

  • RNN 遞迴神經網路基礎介紹

  • 使用 Pytorch 實作 SingleRNN

  • 遞迴神經網路：認識 LSTM / GRU / BiRNN

• NLP Seq2Seq (Encoder - Decoder Model)

  • Seq2Seq- Encoder-Decoder 基本概念

  • 實作 Seq2Seq (Encoder - Decoder Model)

• NLP 注意力機制 (Attention mechanism 與 Transformer)

  • Attention mechanism(注意力機制)基礎教學

  • Attention Mechanism(注意力機制)的優點與分類應用

  • Transformer 架構與 encoder 層介紹

  • Transformer 架構與 embedding / decoder 層介紹

  • Transformer Performance 評估與應用討論

• 各種NLP預訓練模型 (ELMo / Bert & More / 預訓練模型調參)

  • NLP ELMo 預訓練模型介紹與範例實作

  • Transformer + 預訓練 : 集大成的 Bert 模型

  • 輕量化 Bert 應用範例

  • 調參版 Bert 應用範例

  • Bert 案例應用練習 (ㄧ)：「假新聞分類案例」

  • BERT 的案例應用練習(二) ：「文法與中間詞預測」

  • 開枝散葉 : Bert 之後衍伸的其他 NLP 預訓練模型

• NLP深度學習期末專題實作 (一)

  • 訓練 LSTM 之歌詞自動填詞器

  • 建置 Bert 新聞分類器之資料集

  • 訓練 Bert 新聞分類器並提升精準度

  • 建置 Bert 新聞觀點分類器之資料集

  • 訓練 Bert 新聞觀點分類器並提升精準度

• NLP深度學習期末專題實作 (二）

  • 使用 BERT 模型進行電影評論文章情緒分析

  • 使用 Bert 文章 tokenizer 基礎教學

  • Bert 情緒分析模型建置 (分類器篇)

  • Bert 情緒分析模型優化與調校 (分類器篇)

  • Bert 情緒分析模型建置 (迴歸型)

    完成了先前的分類型問題問題，我們了解到並不是分類型模型就可以解決所有的問題，因此這邊我們介紹另外一類的BERT下游任務 - 迴歸模型

• Pytorch深度學習框架

  • Pytorch 深度學習框架與開發環境

  • 認識 Pytorch 的張量與其基本操作

  • 使用 Pytorch 進行微分與倒傳遞

  • 以 Pytorch 進行基礎資料讀取

  • 以 Pytorch 實現自由數據讀取

  • 使用 Torchtext 進行 NLP 數據處理

  • 搭建 PyTorch 神經網路基礎模型

  • PyTorch 模型修改與特定層擷取

  • 使用 PyTorch 搭建神經網路模型

  • PyTorch 模型訓練

• 推論方法之詞向量技術 (Word2Vec / Glov)

  • 詞向量技術的歷史與發展

  • 詞向量技術 - word2vec

  • 詞向量技術 - GloVe

  • 詞向量技術 - FastText

  • word2vec 的 CBOW 模型與 Skip-gram 模型

  • gensim 自然語言處理工具包基礎教學

• 斷詞

  • 斷詞介紹

  • 如何將英文斷詞

  • 推論方法的詞向量：Glove 詞向量算法

• NLP經典遞迴神經網路模型 (RNN / LSTM / GRU)

  • RNN 遞迴神經網路基礎介紹

  • 使用 Pytorch 實作 SingleRNN

  • 遞迴神經網路：認識 LSTM / GRU / BiRNN

• NLP Seq2Seq (Encoder - Decoder Model)

  • Seq2Seq- Encoder-Decoder 基本概念

  • 實作 Seq2Seq (Encoder - Decoder Model)

• NLP 注意力機制 (Attention mechanism 與 Transformer)

  • Attention mechanism(注意力機制)基礎教學

  • Attention Mechanism(注意力機制)的優點與分類應用

  • Transformer 架構與 encoder 層介紹

  • Transformer 架構與 embedding / decoder 層介紹

  • Transformer Performance 評估與應用討論

• 各種NLP預訓練模型 (ELMo / Bert & More / 預訓練模型調參)

  • NLP ELMo 預訓練模型介紹與範例實作

  • Transformer + 預訓練 : 集大成的 Bert 模型

  • 輕量化 Bert 應用範例

  • 調參版 Bert 應用範例

  • Bert 案例應用練習 (ㄧ)：「假新聞分類案例」

  • BERT 的案例應用練習(二) ：「文法與中間詞預測」

  • 開枝散葉 : Bert 之後衍伸的其他 NLP 預訓練模型

• NLP深度學習期末專題實作 (一)

  • 訓練 LSTM 之歌詞自動填詞器

  • 建置 Bert 新聞分類器之資料集

  • 訓練 Bert 新聞分類器並提升精準度

  • 建置 Bert 新聞觀點分類器之資料集

  • 訓練 Bert 新聞觀點分類器並提升精準度

• NLP深度學習期末專題實作 (二）

  • 使用 BERT 模型進行電影評論文章情緒分析

  • 使用 Bert 文章 tokenizer 基礎教學

  • Bert 情緒分析模型建置 (分類器篇)

  • Bert 情緒分析模型優化與調校 (分類器篇)

  • Bert 情緒分析模型建置 (迴歸型)

    完成了先前的分類型問題問題，我們了解到並不是分類型模型就可以解決所有的問題，因此這邊我們介紹另外一類的BERT下游任務 - 迴歸模型