Boosted Tree

模型

Boosted Tree可以表示为决策树的加法模型:

\begin{equation} \hat{y_i}=\sum {k=1}^Kf k(x _i) \label{eq:model} \end{equation}

前向分步算法:首先确定初始的提升树\(f_0(x)=0\),在第t步的模型是:

\begin{equation} \hat{y_i}^{(t)}=\sum {k=1}^tf k(x i)=\hat{y i}^{(t-1)} + f t(x i) \label{eq:modelt} \end{equation}

其中\(f t(x i)\)是第t轮学到的新的函数。

目标函数

\begin{equation} Obj=\sum {i=1}^n l(y i, \hat{y i}) + \sum {k=1}^K\Omega(f _k) \label{eq:obj} \end{equation}

参考