當自變數 (X) 存在高度共線性時，Ridge Regression 可以處理這樣的問題嗎? - Cupoy

2019/06/03 下午 08:31

機器學習共學討論版

YU Xiu Chen

觀看數：68

回答數：1

收藏數：0

ml100-2

ml100-2-d39

當自變數 (X) 存在高度共線性時，Ridge Regression 可以處理這樣的問題嗎?

我知道可以，但看完兩個帖子還是不知道為什麼可以，這是深入去了解公式推倒過程嗎?

回答列表

• 2019/06/04 下午 05:51
  Jimmy
  贊同數：4
  不贊同數：0
  留言數：0

  Hi YU Xiu!

  
  

  線性回歸中 參數 W 的解其一步驟是要對 X 求解反矩陣，如果有 X 有高度相關，反矩陣就不存在。

  但 Ridge Regression 可以解決高度相關的原因是，能夠縮減 X 的高相關特徵，後續非監督式學習會學到 PCA，也是把高維度且相關的特徵降低成低維度的特徵。至於到底是怎麼做到的，就得理解公式推導的每一個步驟在做什麼才可以喔！

  
  

  要完全理解公式推導的話，線性代數常見的奇異值、反矩陣等概念建議先有一定程度的熟悉，會比較好理解！