Regularization懲罰項的用法 - Cupoy

2020/04/10 上午 10:59

機器學習共學討論版

江柏勳

觀看數：235

回答數：2

收藏數：1

Regularization

可以問一下懲罰是甚麼意思嗎(在這裡)，恩我的理解是，因為起初線性回歸是利用

最小平方法求的這些參數的係數，然後加了懲罰項之後，因為最小平方法是要求最小值

然後，加了這個懲罰項會影響本來了OLS，使得藉由OLS求的變數的係數項會變小(詳情是為甚麼我就不確定了)，以上我這些理解有錯嗎?

回答列表

• 2020/04/11 下午 01:27
  Jeffrey
  贊同數：1
  不贊同數：0
  留言數：1

  可以參照:

  https://www.statisticshowto.com/regularization/

  
  

  翻成中文:

  簡單地說,規範化會懲罰更複雜的模型,而傾向於更簡單的模型(回歸係數較小的模型),但不能以犧牲預測能力為代價。

  處罰條款

  正則化的工作原理是將數據偏偏到特定值(如接近零的小值)。通過添加調優參數以鼓勵這些值來實現偏差:

  
  

  • L1 正規化新增 L1, 1 個數值,等於係數大小的絕對值。換句話說,它限制了係數的大小。L1 可以生成稀疏模型(即係數很少的模型);某些係數可能變為零併消除。套索回歸使用此方法。
  • L2 正則化增加了一個 L2 值,等於係數的平方。L2不會生成稀疏模型,所有係數都會按相同的係數收縮(沒有一個係數被消除)。

• 2020/04/12 上午 01:59
  張維元 (WeiYuan)
  贊同數：0
  不贊同數：0
  留言數：1

  嗨，柏勳，以下簡單回覆你的問題：

  
  

  懲罰項是用於模型的 Regularization 使用，Regularization 用於「限制模型的複雜度有一個上限」，其目的是避免 Overfitting。

  
  

  如果這個回答對你有幫助請主動點選「有幫助」的按鈕，也可以追蹤我的GITHUB帳號。若還有問題的話，也歡迎繼續再追問或者把你理解的部分整理上來，我都會提供你 Review 和 Feedback 😃😃😃