關於LightGBM特徵選擇的問題
2019/10/22 上午 00:48
機器學習共學討論版
doris
觀看數：24
回答數：2
收藏數：0
嗨，
我從LightGBM的模型跑出的特徵重要性，將gini importance = 0 的特徵刪除，結果測試的分數竟然輕微下降，為什麼會有這樣的狀況呢？那這種情況下，我該如果做特徵選擇呢？
回答列表
-
2019/10/22 下午 03:54陳明佑 (Ming You Chen)贊同數：1不贊同數：0留言數：1
其實特徵重要性, 只是告訴你現有資料 / 現有特徵的重要性排列
刪除部分不重要的特徵後, 只是泛化效果 (對資料以外的預測率) 提升
在 train 這頭的 cross validtion score, 未必看得出很明顯的改善
你可以隨機保留一部分資料用來驗證,
或者以現有狀態去 submit (如果是競賽) 看看, 可能會差距較多
-
2019/10/23 下午 09:07張維元 (WeiYuan)贊同數：2不贊同數：0留言數：0
「我是丟到kaggle後，看到sumbit的分數些微下降。這樣的情況下，我要將不重要的特徵一個一個慢慢刪刪看嗎？還是有其他更合適的方式？」
=> 可以參考 Feature Selection 的方式幫你挑選！