logo
Loading...

Gradient descent以及Close form solution找出線性回歸最佳解? - Cupoy

想問一下在線性回歸的資料中有看到, 採取Gradient descent或是Close form s...

Gradient descent以及Close form solution找出線性回歸最佳解?

2021/06/09 上午 11:46
Yaoga
觀看數:8
回答數:1
收藏數:0

想問一下在線性回歸的資料中有看到, 採取Gradient descent或是Close form solution是否是為了要找出最佳解? 而此最佳解指的是斜率和截距的意思嗎? 另外這兩種方法的定義為何? 對於執行AI專案的人員是否要對此原理更進一步瞭解呢?感謝

回答列表

  • 2021/06/09 下午 01:54
    Jaio
    贊同數:0
    不贊同數:0
    留言數:0

    其實你提到的兩個名詞不再同一個討論範圍喔。 所謂 gradient decent 是一種最佳化的方法,專門針對有許多超參數(可以調整的參數 e.g. learning rate...)的函數,找出最適合的參數以使模型表現更好。 那麼 close form solution 這個名詞指的是一種一種解,因為在預測上,簡單的理解為把特徵值(input)丟入一個函數(f)然後得到結果(output),也就是 ( f(input)=output ),那麼 close form solution 指這個函數對 inputA 就會明確的算出 ouputA,丟 inputB 就會明確的算出 outputB 。!明確的算出! 的概念就是close form solution。 與 close form solution 可以一起討論的是 numerical solution,簡單說就是用迭帶的方式,迭帶一次算出一個解,所以有非常多的解,然後我們想挑出最好的,這種情況就不是 close form solution,像是 gradient descent 就屬於 numerical solution。 最後,最佳解指的是針對剛剛提到的f (但現在是不斷迭代的,因為最佳解只在 numerical solution 討論),有最好的表現的那些超參數(調一次就有一個不一樣的結果,選結果最好的那一次)。