衡量預測值與實際值之間的偏差用哪種指標較適當?
有兩個問題想請教一下， 1.若是要衡量預測值與實際值之間的偏差，是要用MAE比較好還是RMSE呢? 因為兩種皆是和實際預測值相同數量等級，用哪種去評估會比較合適呢? 2. R-squae這種評估指標是否會比較不好? 因為目前在執行相關專案時，有發現MAE指標差異不大，可是R-squae差異卻相當極端， 比如在資料分成訓練、驗證集及測試集後，驗證集的R2有到0.8，MAE大概0.01~0.02 (原始目標範圍大概0.05~0.2的尺度分布) 但在測試集預測時卻發現MAE也有0.01~0.02，但是R2卻是負的，為什麼會有這種問題出現呢? 是代表R2作為評估指標會有瑕疵問題出現嗎? 感謝回覆~
回答列表
-
2021/04/14 上午 00:16Jaio贊同數：1不贊同數：0留言數：0
1. MAE通常拿來做觀測會比較清楚，但在計算上，因為絕對值不可微分(有尖點)，但是我們又要藉由這種 (實際值-預測值) 指標來優化模型，而RMSE帶有該種意義且是可微，所以在計算上會更偏好用RMSE。 2. 那請問驗證集最低的R2及測試集最高的R2是多少呢? 另外，這些衡量標準基本上沒有太大問題，主要是適不適合目前的情況喔~可以思考看看這些指標的定義是很有幫助的!
-
2021/04/15 下午 09:07張維元 (WeiYuan)贊同數：0不贊同數：0留言數：0
嗨，你好
以下回復你的問題： 1. 第一題如同 Jaio 所說，因為計算的方便性我們通常選擇用 RMSE，RMSE 與 MAE 的趨勢是一致的。 2. 選擇用 R-Square 也是可行的。R-Square 其實也是 MSE 的延伸，只是會根據資料做一些調整，我猜可能是你的資料原本的分佈導致 R-square 評估效果不彰。
嗨，你好，我是維元，持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流，都可以追蹤 我的粉絲專頁 ヽ(●´∀`●)ﾉ