AUC Score 大於0.85但是上傳到Kaggle只有0.67，屬正常嗎？
2019/06/16 下午 08:19
機器學習共學討論版
楊鈞宜
觀看數：45
回答數：2
收藏數：0
ml100-2
kaggle
期中
待回答
想請問在colab做期中Kaggle題，跑出來AUC Score是0.88，但傳到Kaggle只有0.67
這情況是因為，test data裡面有蠻多merchant_id並未在train data中出現的緣故嗎？
回答列表
-
2019/06/17 上午 10:45陳明佑 (Ming You Chen)贊同數：1不贊同數：0留言數：0
當然有部分沒出現也是原因之一
但落差很正常, Kaggle 競賽幾乎都是這樣的
即使在做了集成與 K-fold cross validation 之後也是
通常會出現的是 : 假如做了集成, 則本地端分數越好的結果, 遠端也越好(不會到一樣好)
會有這樣的落差時, 就要提醒自己
因為 Public score 與 Private score 用的是提交檔中不同部分的資料
所以本地端與 Public 落差太大, 那麼與 Private 端的落差也會很大的
-
2019/06/18 上午 11:49張維元 (WeiYuan)贊同數：2不贊同數：0留言數：1
「這情況是因為，test data裡面有蠻多merchant_id並未在train data中出現的緣故嗎？」
=> 不一定是「merchant_id」，這邊的可能有很多原因。主要就如上面專家講的，用來訓練跟最後評分的資料是有差異的。為了避免模型 Overfit 公布的資料集，所以考慮模型的泛化能力也是很重要的。