李宏毅_2021機器學習或深度學習入門
本課程著重機器學習或深度學習在近年發展的重要關鍵技術介紹,並且會花相當程度的課後時間去實際使用、熟悉此技術。
內容簡介
作者介紹
適合人群
你將會學到什麼
購買須知
-
機器學習基本概念簡介
-
機器學習任務攻略
-
類神經網路訓練不起來怎麼辦
-
1. 局部最小值 (local minima) 與鞍點 (saddle point)
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/small-gradient-v7.pdf
-
2. 批次 (batch) 與動量 (momentum)
Tips for training: Batch and Momentumslides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/small-gradient-v7.pdf
-
3. 自動調整學習速率 (Learning Rate)
ML2021 week3 3/12 Error surface is rugged ... Tips for training: Adaptive Learning Rateslides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/opti...
-
4. 損失函數 (Loss) 也可能有影響
ML2021 week3 3/12 Classification(Short Version)slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/classification_v2.pdf
-
5. 批次標準化 (Batch Normalization) 簡介
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/normalization_v4.pdf
-
-
卷積神經網路 (Convolutional Neural Networks, CNN)
-
自注意力機制 (Self-attention)
-
Transformer
-
生成式對抗網路 (Generative Adversarial Network, GAN)
-
1. GAN基本概念介紹
https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/gan_v10.pdf
-
2. 理論介紹與WGAN
https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/gan_v10.pdf
-
3. 生成器效能評估與條件式生成
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/gan_v10.pdf
-
4. Cycle GAN
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/gan_v10.pdf
-
-
自督導式學習 (Self-supervised Learning)
-
1. 芝麻街與進擊的巨人
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/bert_v8.pdfThe cover image is from https://leemeng.tw/attack_on_bert_transfer_learning_in_n...
-
2. BERT簡介
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/bert_v8.pdf
-
3. BERT的奇聞軼事
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/bert_v8.pdf
-
4. GPT的野望
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/bert_v8.pdf
-
-
自編碼器 (Auto-encoder)
-
來自人類的惡意攻擊 (Adversarial Attack)
-
機器學習模型的可解釋性 (Explainable ML)
-
概述領域自適應 (Domain Adaptation)
-
概述增強式學習 (Reinforcement Learning, RL)
-
1. 增強式學習跟機器學習一樣都是三個步驟
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/drl_v5.pdf
-
2. Policy Gradient 與修課心情
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/drl_v5.pdf
-
3. Actor-Critic
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/drl_v5.pdf
-
4. 回饋非常罕見的時候怎麼辦?機器的望梅止渴
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/drl_v5.pdf
-
5. 如何從示範中學習?逆向增強式學習 (Inverse RL)
slides: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/drl_v5.pdf
-
-
機器終身學習 (Life Long Learning, LL)
-
神經網路壓縮 (Network Compression)
-
元學習 Meta Learning
-
最後的業配並改編《為學一首示子姪》作結