【QA】支援向量機(Support Vector Machine)的核方法(Kernel Method)? - Cupoy

2021/09/27 下午 11:12

機器學習共學討論版

Ray

觀看數：36

回答數：1

收藏數：1

回答列表

• 2021/09/27 下午 11:18
  Ray
  贊同數：0
  不贊同數：0
  留言數：0

  我們在 中有提到支援向量機之所以被廣泛的使用，是因為他既能夠解決線性問題，同時也能夠解決非線性問題，在支援向量機如何解決非線性問題的概念我們已經有在 的圖示說明中大致介紹過了，本次我們將要進一步了解支援向量機在處理非線性問題的原理 在 之中，我們大部分講的都是支援向量機在處理線性問題的原理，也就是所謂的『線性支援向量機(linear SVM)』，而要想使用其解決非線性問題，就必須使其『核心化(kernelized)』，也可以稱為核支援向量機(kernel SVM) 下圖是一個非線性分類數據集 [參考圖片來源](https://ljalphabeta.gitbooks.io/python-/content/kernelsvm.html) 他不像線性分類問題一樣可以用一條線將其清楚分類 [參考圖片來源](https://iter01.com/582104.html) 而核支援向量機面對這種問題，其作法是透過核轉換(kernel transformation)將原本的資料投射至更高的維度空間，而在這個維度空間中該數據集是可以被線性分類的，而此時我們就可以使用在 介紹過的超平面去對數據進行分割，如下圖，ＳＶＭ將二維數據投射至三維空間中，使其可以被超平面所分割。 [參考圖片來源](https://ithelp.ithome.com.tw/articles/10216802) 而要做到這點，我們必須透過一個核函數將數據轉至一個數據集可以被線性分類的高維度特徵空間，並訓練一個線性支援向量機來進行分類，這就是所謂的核方法(Kernel Method)，核函數的種類繁多，其中最被廣泛使用的核函數是『高斯徑向基函數內核(Gaussian radial basis function kernel, RBF), 又稱為高斯核(Gaussian Kernel)』： 其函示如下  其中的1/2*sigma^2又被簡寫為gamma，也就是要被最佳化的自由參數(free parameter) **核支援向量機傾向於提供稀疏(sparse)的答案，因此具有更好的可擴展性(scalability)。當維度很高且預測器幾乎可以肯定預測時，SVM的性能會更好。** ------------- 有興趣進一步了解的人可參考以下連結： * [使用核SVM解决非线性](https://ljalphabeta.gitbooks.io/python-/content/kernelsvm.html) * [SVM 支援向量機演算法-原理篇](https://iter01.com/582104.html) * [[白話解析] 深入淺出支援向量機(SVM)之核函式](https://www.gushiciku.cn/pl/phWp/zh-tw)