Gradient descent以及Close form solution找出線性回歸最佳解?
2021/06/09 上午 11:46
regression model 介紹 - 線性迴歸/羅吉斯回歸
Yaoga
觀看數：40
回答數：1
收藏數：0
想問一下在線性回歸的資料中有看到， 採取Gradient descent或是Close form solution是否是為了要找出最佳解? 而此最佳解指的是斜率和截距的意思嗎? 另外這兩種方法的定義為何? 對於執行AI專案的人員是否要對此原理更進一步瞭解呢?感謝
回答列表
-
2021/06/09 下午 01:54Jaio贊同數：1不贊同數：0留言數：0
其實你提到的兩個名詞不再同一個討論範圍喔。 所謂 gradient decent 是一種最佳化的方法，專門針對有許多超參數(可以調整的參數 e.g. learning rate...)的函數，找出最適合的參數以使模型表現更好。 那麼 close form solution 這個名詞指的是一種一種解，因為在預測上，簡單的理解為把特徵值(input)丟入一個函數(f)然後得到結果(output)，也就是 ( f(input)=output )，那麼 close form solution 指這個函數對 inputA 就會明確的算出 ouputA，丟 inputB 就會明確的算出 outputB 。!明確的算出! 的概念就是close form solution。 與 close form solution 可以一起討論的是 numerical solution，簡單說就是用迭帶的方式，迭帶一次算出一個解，所以有非常多的解，然後我們想挑出最好的，這種情況就不是 close form solution，像是 gradient descent 就屬於 numerical solution。 最後，最佳解指的是針對剛剛提到的f (但現在是不斷迭代的，因為最佳解只在 numerical solution 討論)，有最好的表現的那些超參數(調一次就有一個不一樣的結果，選結果最好的那一次)。