今天的內容會帶大家了解 1. 梯度提升機的基本原理與架構 2. 梯度提升機與決策樹/隨機森林的差異 3. 梯度提升機的梯度從何而來，又是怎麼計算的 梯度提升機 (Gradient Boosting Machine)：隨機森林使用的集成方法稱為 Bagging，用抽樣的資料與 features 生成每一棵樹，最後再取平均 則是另一種集成方法，希望能夠由後面生成的樹，來修正前面樹學不好的地方 怎麼修正前面學錯的地方呢？計算 Gradient! 每次生成樹都是要修正前面樹預測的錯誤，並乘上 learning rate 讓後面的樹能有更多學習的空間 Bagging 與 Boosting 的差別：Bagging 是透過抽樣 (sampling) 的方式來生成每一棵樹，樹與樹之間是獨立生成的 Boosting 是透過序列 (additive) 的方式來生成每一顆樹，每棵樹都會與前面的樹關聯，因為後面的樹要能夠修正 有了大概的理解之後，我們開始今天的學習吧！！！