任务三 决策树算法梳理

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了任务三 决策树算法梳理，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1678字，纯文字阅读大概需要3分钟。

内容图文

1.信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）
1）熵


2）联合熵与条件熵
上面定义了单个随机变量的熵。现在，将定义推广到两个随机变量的情形。由于可将（X,Y）视为单个向量，所以其定义其实并无新鲜之处。

3）信息增益

在已知A的情况下，随机变量D的不确定性的减少程度，也就是在我们知道A的情况下获得了多少信息。如果D是数据类别的随机变量，而A是数据某个特征的随机变量，可以想见使得信息增益最大的特征是最好的特征。因为这个特征可以最大程度上减少我们对类别的不确定性。所以在决策树模型中，使用信息增益来进行每一层的特征选择。
参考博客：https://blog.csdn.net/tjy1220646144/article/details/45561727
4）基尼不纯度
从一个数据集中随机选取子项，度量其被错误的划分到其他组里的概率（即一个随机事件变成它的对立事件的概率）。
计算公式：（fi为某概率事件发生的概率）

参考博客：https://blog.csdn.net/JJBOOM425/article/details/79997440
2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）
1）ID3算法

2）C4.5的生成算法

3）CART生成算法

3.回归树原理
参考博客：http://blog.jobbole.com/114261/
4.决策树防止过拟合手段
参考博客：https://blog.csdn.net/LoveL_T/article/details/84261499
5.模型评估
建立了决策树模型后需要给出该模型的评估值，这样才可以来判断模型的优劣。学习算法模型使用训练集 (training set) 建立模型，使用校验集 (test set) 来评估模型。可以通过评估指标和评估方法来评估决策树模型。 评估指标有分类准确度、召回率、虚警率和精确度等。而这些指标都是基于混淆矩阵 (confusion matrix) 进行计算的。评估方法有保留法、随机二次抽样、交叉验证和自助法等。
参考博客：https://blog.csdn.net/qq_26439189/article/details/78166261
6.sklearn参数详解，Python绘制决策树
1）sklearn参数详解
参考博客：https://blog.csdn.net/qq_16000815/article/details/80954039
2）Python绘制决策树
https://blog.csdn.net/Silver_sail/article/details/51906865

内容总结

以上是互联网集市为您收集整理的任务三 决策树算法梳理全部内容，希望文章能够帮你解决任务三 决策树算法梳理所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---