Lasso & Ridge Regression的差異 - Cupoy

請問一下作業一提到LASSO 回歸可以被用來作為 Feature selection 的工具，請問也可以用Ridge Regression也用來作為Feature selection的工具嗎? 如果可以的話，請問一下選擇哪一個會是比較好的呢? 同理，Ridge Regression處理共線性的問題，那麼LASSO Regression也可以處理共線性的問題嗎? 如果可以的話，請問一下選擇哪一個會是比較好的呢?

回答列表

• 2019/07/11 上午 00:26
  Jimmy
  贊同數：1
  不贊同數：0
  留言數：0

  Hi!

  LASSO 之所以能夠拿來當特徵選取的工具，是因為這個模型的優化過程是以參數稀疏化為目標在訓練的，因此最終模型會將某些特徵的權重變成 0，達到了特徵選取的效果，Ridge 則沒有這樣的特性，當然就不能拿來做特徵選取囉! 

  同理共線性的問題也是一樣，從模型的特性去了解，就能找到適合目標的模型囉!

• 2019/07/12 下午 04:54
  張維元 (WeiYuan)
  贊同數：1
  不贊同數：0
  留言數：0

  這一篇文章有很深入的討論，建議可以看一下：https://www.zhihu.com/question/38121173

  
  

  其中有一段：

  
  

  1. LASSO是针对Ridge Regression的没法做 variable selection 的问题提出来的，L1 penalty虽然算起来麻烦，没有解析解，但是可以把某些系数shrink到0啊。

  2. LASSO虽然可以做variable selection，但是不 consistent 啊，而且当n很小时至多只能选出n个变量；而且不能做group selection。

  
  

  知道模型的脈絡跟演進，對於使用上也會有幫助：）