請問一下Gradient boosting的參數在cross validation中是如何運作? - Cupoy

2019/06/04 下午 10:36

機器學習共學討論版

Benjamin Shao

觀看數：1

回答數：1

收藏數：0

cross validation

我想請問一下Gradient boosting的參數在cross validation中是怎麼運作的

Gradient boosting不是就是從資料分布中經由加分類樹來計算梯度嗎? 也就是說每計算一次梯度就要加一個分類樹不是嗎?

如果同時設定n_estimator與corss_validation

那GD在計算梯度的時候是計算個幾次梯度之後再換其他資料再繼續計算直到達到n_estimtor設定的各數嗎?

謝謝回答

回答列表

• 2019/06/06 上午 11:29
  Jimmy
  贊同數：0
  不贊同數：0
  留言數：0

  Hi Benjamin!

  
  

  計算梯度是在每新增一個樹之前就要計算，因為下一顆新的樹會根據梯度的方向來生成。

  
  

  這邊要在釐清一下 cross-validation 的意義喔，代表將資料切分成 k 等分，假設 K=5，資料會被切分成五份 train/test，然後輪流使用來訓練模型。也就是說切完之後，訓練資料就固定了，所以沒有計算梯度後要換其他資料的問題，因為這兩個是不同概念喔。