LASSO&Ridge - Cupoy

請問有沒有哪個資料集可以讓LASSO&Ridge的表現比直接做Linear regression的表現好？範例跟作業的兩個資料集都看不出LASSO&Ridge在實際例子的優點

回答列表

• 2019/06/20 上午 02:00
  Benjamin Chai
  贊同數：0
  不贊同數：0
  留言數：0

  分享一下，我做期中考的時候因為做的feature overfit的很嚴重，做regularization後提昇的效果很明顯，所以我覺得重點是選用的特徵組合如果容易overfit的話就會容易看出差別。

• 2019/06/21 上午 11:34
  Jimmy
  贊同數：1
  不贊同數：0
  留言數：0

  Hi 辛普恩!

  
  

  感謝 Benjamin Chai 的分享，就像同學所說的，這兩個模型本來就是不希望過擬合而衍生出來的模型，因此只要能夠找到特別容易過擬合的資料集 (資料噪音多)，應該就會看到你想要的效果囉！

• 2019/07/02 上午 11:57
  張維元 (WeiYuan)
  贊同數：0
  不贊同數：0
  留言數：0

  LASSO&Ridge 都是屬於 Normalization（模型正規化）的一種方式，概念是在原本的模型中加上懲罰項，讓模型能夠比較平滑，達到避免 Overfitting 的效果。你可以挑選高維度的 Linear regression 來做比較，比較可以看出差異。

• 2019/07/05 上午 01:35
  Seanyu.TW
  贊同數：1
  不贊同數：0
  留言數：0

  Lasso 跟 Ridge 是屬於 regularization 唷，它是對 cost 做懲罰目的是希望把 weights 壓小，跟 normalization 的目的不同 (對輸入/輸出標準化)，希望大家別搞混囉。而目前在機器學習模型的使用頻率上, L1/L2 還是頗高，而除了輸入外，沒有太多手段介入演算法；反而在深度學習中，normalization 的手法會比較多，效果也比較明顯。