机器学习 算法基础 六 提升 Adaboost

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了机器学习 算法基础 六 提升 Adaboost，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2285字，纯文字阅读大概需要4分钟。

内容图文

• 什么是Adaboost?
  AdaBoost算法: 通过迭代弱分类器而产生最终的强分类器的算法，可以理解为在弱分类器之上增加了权重配置，使误差率小的分类器拥有更高的权重。

文章目录

• 提升概念
• 提升算法
• Adaboost
• 举例
• Adaboost误差上限
• AdaBoost总结

我们已经学习过决策树这种分类器，并且知道可以通过随机森林的方式完成样本加权、分类器加权，从而使得由弱分类器得到强分类器。Adaboost就是分类器加权的一种方式，即多个分类器的集成。

提升概念

提升算法

• 预测值：$F(x_i)$F(xi?)，实际值：$y_i$yi?，二者差值就是一个残差
• 将所有残差累加：
  $当L(F)=\frac{1}{m}\sum_{i=1}^m(F(x_i)-y_i)^2$当L(F)=m1?i=1∑m?(F(xi?)?yi?)2
  $\frac{\partial L}{\partial F}=\frac{2}{m}\sum_{1=i}^m(F(x_i)-y_i)$?F?L?=m2?1=i∑m?(F(xi?)?yi?)
• 实际的损失函数不见得是这个，所以称为伪残差

参照牛顿法（梯度下降法）可知，使用一阶导绕不过去的$\gamma$γ学习率。

树	1	2	3	…	t-1
T	$T_1(x)$T1?(x)	$T_2(x)$T2?(x)	$T_3(x)$T3?(x)	…	$T_{t-1}(x)$Tt?1?(x)
权值	$\alpha_1$α1?	$\alpha_2$α2?	$\alpha_3$α3?	…	$\alpha_{t-1}$αt?1?

计算第i个样本的预测值$y_i$yi?，输入样本$x_i$xi?：
$x_i \longrightarrow \alpha_1T_1(x_i)+\alpha_2T_2(x_i)+\alpha_3T_3(x_i)+...+\alpha_{t-1}T_{t-1}(x_i)=\hat{y}_i$xi??α1?T1?(xi?)+α2?T2?(xi?)+α3?T3?(xi?)+...+αt?1?Tt?1?(xi?)=y^?i?

样本	预测值
$x^{(1)}$x(1)	$\hat{y}_{t-1}^{(1)}$y^?t?1(1)?
$x^{(2)}$x(2)	$\hat{y}_{t-1}^{(2)}$y^?t?1(2)?
$x^{(3)}$x(3)	$\hat{y}_{t-1}^{(3)}$y^?t?1(3)?
…	…
$x^{(m)}$x(m)	$\hat{y}_{t-1}^{(m)}$y^?t?1(m)?

在已知样本和预测值$T(t-1),\hat{y}_{(t-1)}$T(t?1),y^?(t?1)?的前提下，如何算$T(x)和\alpha_t$T(x)和αt?。考虑使用二阶导信息。

$\frac{\partial J}{\partial f_t}=\sum_{i=1}^n(g_i+h_if_t(x_i))+\frac{\partial \Omega}{\partial f_t}$?ft??J?=i=1∑n?(gi?+hi?ft?(xi?))+?ft??Ω?

Adaboost

$通常e_m < 0.5$通常em?<0.5，$e_m越小，\alpha_m越大。谁的误差率越小，谁的权值就越大。（e_m=0.5 \rightarrow \alpha_m=0）$em?越小，αm?越大。谁的误差率越小，谁的权值就越大。（em?=0.5→αm?=0）

有了$w_{m+1, i}$wm+1,i?，就可以算$G_{m+1}$Gm+1?，就可以算$w_{m+2}$wm+2?…

举例

Adaboost误差上限

AdaBoost总结

• 点赞
• 收藏
• 分享
• • 文章举报

不可描述的两脚兽 发布了45 篇原创文章 · 获赞 2 · 访问量 1万+ 私信 关注

内容总结

以上是互联网集市为您收集整理的机器学习 算法基础 六 提升 Adaboost全部内容，希望文章能够帮你解决机器学习 算法基础 六 提升 Adaboost所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---