overfitting問題
2019/07/17 下午 11:42
機器學習共學討論版
JJLai
觀看數：73
回答數：1
收藏數：0
ml100-2
ml100-2-d77
ml100-2-d78
這2天的作業看圖好像都是overfitting，下圖是day077的例子
可是這2天的練習，練習更改模式和參數，例如optimizer改為SGD，或者加深網路，都沒辦法改善overfitting
有3個問題請教
(1) 這2天的範例，有辦法避免overfitting嗎?
(2) 即使overfitting，但正確率不管是訓練或驗證資料，看起來都有提升，如下圖，那這樣子訓練出來的模式和參數，可以直接拿來應用嗎?還是說一定要很完美地訓練出loss的曲線圖看起來沒有overfitting的模式，才能拿來應用。
(3) 一般深度學習的網路，要訓練到收斂，可是這2個圖看起來好像曲線還在振動，若一直訓練下去，仍一直有在振動，是否就是沒有收斂，無法拿來應用??
回答列表
-
2019/07/19 上午 01:13Seanyu.TW贊同數：1不贊同數：0留言數：1
Hi 建志,
這兩天的練習不需要擔心會訓練不起來，改了 optimizer 後仍然會 overfitting 是正常的，因為面對 cifar10 的影像資料，使用 DNN 架構本來就相當不適合。這部分的教材僅是讓大家認識 overfitting 的現象以及觀察改動 optimizer 對訓練的效果而已，後面進到使用 CNN 後，一切就會正常了 :)