目录1、Bootstrap 2、Bagging 3、Random Forest 4、贝叶斯公式4.1预习 4.2 条件概率的意义 4.3 条件概率公式 4.4 贝叶斯公式 4.5 贝叶斯与朴素贝叶斯6. GBDT6.5.1 Boosting思想 6.5.2 GBDT原来是这么回事 6.2. 梯度提升和梯度下降的区别和联系是什么？ 6.3. **GBDT**的优点和局限性有哪些？6.3.1 优点 6.3.2 局限性6.4. RF(随机森林)与GBDT之间的区别与联系7. Xgboost目录<
学习目录： 决策树内容目录： 一.决策树作用： 这是我们判断这是个好瓜还是坏瓜的决策流程，决策树的作用： 1.帮助我们选择用哪个特征先做if，用哪个特征后做if，能最快的判断出这是好瓜还是坏瓜 2.帮助我们确定特征中作为划分标准的数值 二.原理推导 三.代码预测：案例对比：比较决策树算法和KNN算法在鸢尾花数据集上的分类准确率 使用决策树算法对鸢尾花数据集分类： from sklearn.datasets import load_iris from sklearn.mo...
#LightGBM 介绍 基于GBDT（梯度提升决策树）算法的分布式梯度提升框架 优点： 简单易用。提供了主流的Python\C++\R语言接口，用户可以轻松使LightGBM建模并获得相当不错的效果。高效可扩展。在处理大规模数据集时高效迅速、高准确度，对内存等硬件资源要求不高。鲁棒性强。相较于深度学习模型不需要精细调参便能取得近似的效果LightGBM直接支持缺失值与类别特征，无需对数据额外进行特殊处理 缺点：相对于深度学习模型无法对时空位...
一、个体与集成 集成学习（ensemble learning)通过构建并结合多个学习器来完成学习任务。下图显示出集成学习的一般结构：集成学习一般结构：先产生一组个体学习器（也称基学习器），再用某种策略将它们结合起来。基学习器通常是由现有算法（如逻辑回归、决策树）从训练数据产生。基学习器是同种算法，例如都是决策树，也可以包含不同算法，例如决策树和神经网络。 集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越...
学习分类算法之前，首先目标，什么是分类，分类数据集就是目标值是类别的，比如男，女。 简而言之，分类算法就是用来解决目标值为类别的数据集的算法 1. 转换器和估计器 1.1. 转换器 回忆一下特征工程步骤： 实例化 (实例化的是一个转换器类(Transformer))调用fit_transform(对于文档建立分类词频矩阵，不能同时调用) 我们把特征工程的接口称之为转换器，转换器中封装了所有特征工程需要的方法 1.2. 估计器(sklearn机器学习算法的实...
S 将海伦的约会对象分个类为三种类型的人：不喜欢的人魅力一般的人极具魅力的人海伦手机的样本（datingTestSet2.txt)主要包含以下3种特征每年获得的飞行常客里程数玩视频游戏所耗时间百分比每周消费的冰淇淋公升数T使用K-近邻算法将匹配对象分到确切的分类中A1.收集数据 2.准备数据：使用python解析文本文件 3.分析数据：使用Matplotlib画图 4.训练算法：不适合KNN 5.测试算法：将海伦提供的部分数据作为测试样本（测试样本是已经完...
朴素贝叶斯概念 例子：邮件分类问题： N = (12/17)*(5/11)*(3/11) S = (5/17)*(2/7)*(1/7)print(N) print(S) # N>S 我们可以判断这是一封正常邮件常见问题1 因为图2中 吗出现的次数是0 那么这封邮件就会被误判为正常邮件 解决如果遇到样本里面有0的情况，可以通过添加alpha进行解决。 alpha=1 统一增加1 确保不会出现无0的情况 N = (12/17)*((1/15)**4)*(3/15) S = (5/17)*((5/11)**4)*(1/11)print(N) print(S)print(S > N)...
1.概述 梯度下降（gradient descent）在机器学习中应用十分的广泛，不论是在线性回归还是Logistic回归中，它的主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。 本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，解释为什么要用梯度，最后实现一个简单的梯度下降算法的实例！ 2.梯度下降算法 2.1场景假设 梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个...
将系统更新机器学习部分教程预计更新机器学习文章十几篇左右，篇篇原创。参考- 机器学习实战书籍（美国蜥蜴封面）- sklearn官网- 自己的学过的课程与经验KNN算法介绍邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。如图中的X，它离4个圆圈比较近，而离方形只有一个近，所以这个X就是圆圈这...
机器学习笔记—决策树算法介绍(6)—附完整代码 以下都是本人在学习机器学习过程中的一些心得和笔记，仅供参考。文章目录 机器学习笔记---决策树算法介绍(6)---附完整代码1.构造决策树2.控制决策树的复杂度3.分析决策树4.树的特征重要性5.优缺点和参数5.优缺点和参数 决策树是广泛用于分类和回归任务的模型。本质上，它从一层层的if/else问题中进行学习，并且得出结论！ 如果你要区分四种动物：熊、鹰、企鹅和海豚，可以转换成一颗决...
目录 1、线性回归简介1.1 线性回归应用场景1.2 什么是线性回归1.2.1 定义与公式1.2.2 线性回归的特征与目标的关系分析2、线性回归api初步使用2.1 线性回归API2.2 举例2.2.1 步骤分析2.2.2 代码过程3、线性回归的损失和优化3.1 损失函数3.2 优化算法3.2.1 正规方程（1）什么是正规方程（2）正规方程求解举例 3.2.2 正规方程的推导 **推导方式一**：**推导方式二**：3.2.2 梯度下降(Gradient Descent)（1）什么是梯度下降（2）梯度的...
机器学习算法（一）: 基于逻辑回归的分类预测 1 逻辑回归的介绍和应用 1.1 逻辑回归的介绍 逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。 而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。 逻辑回归模型的优劣...
机器学习算法进阶学习笔记——回归算法 线性回归最大似然估计MLE高斯对数似然与最小二乘θ\thetaθ的解析式的求解过程最小二乘法意义下的参数最优解正则与防止过拟合Moore-Penrose广义逆矩阵(伪逆)SVD计算矩阵的广义逆 梯度下降法梯度方向Logistic回归Logistic回归参数估计Logistic回归参数的学习规则：线性回归 最大似然估计MLE y(i)=θTx(i)+ε(i)y^{(i)}=\theta^{T} x^{(i)}+\varepsilon^{(i)}y(i)=θTx(i)+ε(i) p(?(i))=12πσ...
树及其组合算法二：Bagging 1集成学习1.1集成学习概述1.2集成学习的原理 2 Bagging2.1 Bagging的建模2.2 Bagging的预测2.3 Bagging测试误差的估计2.4 Bagging袋装法的缺点 3 随机森林3.1随机森林降低树间相似性的基本策略：3.2随机森林建模过程 4 AdaBoost5 GBDT5.1提升树5.2梯度提升算法5.3GBDT算法用于分类 6 XGBoost 树及其组合算法部分其余内容，个人笔记博客传送门树及其组合算法一：决策树基本知识介绍 决策树有一种“天然”...
一.概述 1.概念: "K-均值算法"(K-means)是常用的聚类算法,也是数据挖掘十大经典算法之一.该算法接受1个参数k以确定簇的数量,并选取相应的k个中心点,然后将每 个数据点分配给最近的中心点所属的簇.之后进行迭代,不断更新中心点并进行聚类