為什麼ridge regression 可以解決共線性問題？ - Cupoy

我想問為什麼ridge regression 可以解決共線性？我看許多資料還是不太了解

謝謝

回答列表

• 2019/10/20 下午 00:24
  BC Kung
  贊同數：1
  不贊同數：0
  留言數：0

  共線性可用數值分析中的條件數(condition number)來刻劃，可參考以下周老師的文章：

  病態系統 | 線代啟示錄

  本文的閱讀等級：初級 自1940年代末起，計算機科學的急速發展徹底改變了線性代數原本的純理論面貌，其中數值方法與分析──計算機科學與應用數學的交叉學科──就是將線性代數推廣至各類應用領域的主要推手。長久以來，學者早已察覺線性代數存在一些特有的數值計算問題，如果不設法解決這些問題，線性代數的應用恐怕只能流於空談。這篇短文從一個簡單的線性方程例子解釋何以矩陣的敏感性分析是一個無法逃避的研究課題，…

  ccjou.wordpress.com

  有共線性的矩陣，稱為病態系統，在求逆上有困難。

  ridge regression 能解決共線性的原因，以下是我用條件數為觀點出發的解釋，因為方程式比較多，所以貼上我的 github，有錯請指證，謝謝。

  3rd-ML100Days/Day_039_HW.ipynb at master · kung-bill/3rd-ML100Days · GitHub

  Contribute to kung-bill/3rd-ML100Days development by creating an account on GitHub.

  github.com

• 2019/10/22 下午 00:11
  陳明佑 (Ming You Chen)
  贊同數：2
  不贊同數：0
  留言數：0

  Ridge 主要在處理泛化方面的問題, 共線性處理的效果沒有 Lasso 直接

  (Lasso 是挑選較少的特徵以提高泛化能力, 共線性太高的特徵因此只會保留其一

  而 Ridge 某種意義上, 是盡可能保留所有特徵, 讓係數較小來提高泛化能力, 因此無法有效排除共線性)

  
  

  此外也能用相關係數, 略去相關性太高的特徵

  詳細內容請參見 D30 "特徵選擇" 的說明