logo
Loading...

tree based model - 梯度提升機 (Gradient Boosting Machine) 介紹 - 機器學習百日 - Cupoy

今天的內容會帶大家了解 1. 梯度提升機的基本原理與架構 2. 梯度提升機與決策樹/隨機森林的差異 3. 梯度提升機的梯度從何而來,又是怎麼計算的 梯度提升機 (Gradient Bo...

今天的內容會帶大家了解 1. 梯度提升機的基本原理與架構 2. 梯度提升機與決策樹/隨機森林的差異 3. 梯度提升機的梯度從何而來,又是怎麼計算的 梯度提升機 (Gradient Boosting Machine):隨機森林使用的集成方法稱為 Bagging,用抽樣的資料與 features 生成每一棵樹,最後再取平均 則是另一種集成方法,希望能夠由後面生成的樹,來修正前面樹學不好的地方 怎麼修正前面學錯的地方呢?計算 Gradient! 每次生成樹都是要修正前面樹預測的錯誤,並乘上 learning rate 讓後面的樹能有更多學習的空間 Bagging 與 Boosting 的差別:Bagging 是透過抽樣 (sampling) 的方式來生成每一棵樹,樹與樹之間是獨立生成的 Boosting 是透過序列 (additive) 的方式來生成每一顆樹,每棵樹都會與前面的樹關聯,因為後面的樹要能夠修正 有了大概的理解之後,我們開始今天的學習吧!!!