#LightGBM 介绍 基于GBDT（梯度提升决策树）算法的分布式梯度提升框架 优点： 简单易用。提供了主流的Python\C++\R语言接口，用户可以轻松使LightGBM建模并获得相当不错的效果。高效可扩展。在处理大规模数据集时高效迅速、高准确度，对内存等硬件资源要求不高。鲁棒性强。相较于深度学习模型不需要精细调参便能取得近似的效果LightGBM直接支持缺失值与类别特征，无需对数据额外进行特殊处理 缺点：相对于深度学习模型无法对时空位...
一、个体与集成 集成学习（ensemble learning)通过构建并结合多个学习器来完成学习任务。下图显示出集成学习的一般结构：集成学习一般结构：先产生一组个体学习器（也称基学习器），再用某种策略将它们结合起来。基学习器通常是由现有算法（如逻辑回归、决策树）从训练数据产生。基学习器是同种算法，例如都是决策树，也可以包含不同算法，例如决策树和神经网络。 集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越...
学习分类算法之前，首先目标，什么是分类，分类数据集就是目标值是类别的，比如男，女。 简而言之，分类算法就是用来解决目标值为类别的数据集的算法 1. 转换器和估计器 1.1. 转换器 回忆一下特征工程步骤： 实例化 (实例化的是一个转换器类(Transformer))调用fit_transform(对于文档建立分类词频矩阵，不能同时调用) 我们把特征工程的接口称之为转换器，转换器中封装了所有特征工程需要的方法 1.2. 估计器(sklearn机器学习算法的实...
S 将海伦的约会对象分个类为三种类型的人：不喜欢的人魅力一般的人极具魅力的人海伦手机的样本（datingTestSet2.txt)主要包含以下3种特征每年获得的飞行常客里程数玩视频游戏所耗时间百分比每周消费的冰淇淋公升数T使用K-近邻算法将匹配对象分到确切的分类中A1.收集数据 2.准备数据：使用python解析文本文件 3.分析数据：使用Matplotlib画图 4.训练算法：不适合KNN 5.测试算法：将海伦提供的部分数据作为测试样本（测试样本是已经完...
朴素贝叶斯概念 例子：邮件分类问题： N = (12/17)*(5/11)*(3/11) S = (5/17)*(2/7)*(1/7)print(N) print(S) # N>S 我们可以判断这是一封正常邮件常见问题1 因为图2中 吗出现的次数是0 那么这封邮件就会被误判为正常邮件 解决如果遇到样本里面有0的情况，可以通过添加alpha进行解决。 alpha=1 统一增加1 确保不会出现无0的情况 N = (12/17)*((1/15)**4)*(3/15) S = (5/17)*((5/11)**4)*(1/11)print(N) print(S)print(S > N)...
1.概述 梯度下降（gradient descent）在机器学习中应用十分的广泛，不论是在线性回归还是Logistic回归中，它的主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。 本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，解释为什么要用梯度，最后实现一个简单的梯度下降算法的实例！ 2.梯度下降算法 2.1场景假设 梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个...
将系统更新机器学习部分教程预计更新机器学习文章十几篇左右，篇篇原创。参考- 机器学习实战书籍（美国蜥蜴封面）- sklearn官网- 自己的学过的课程与经验KNN算法介绍邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。如图中的X，它离4个圆圈比较近，而离方形只有一个近，所以这个X就是圆圈这...
机器学习笔记—决策树算法介绍(6)—附完整代码 以下都是本人在学习机器学习过程中的一些心得和笔记，仅供参考。文章目录 机器学习笔记---决策树算法介绍(6)---附完整代码1.构造决策树2.控制决策树的复杂度3.分析决策树4.树的特征重要性5.优缺点和参数5.优缺点和参数 决策树是广泛用于分类和回归任务的模型。本质上，它从一层层的if/else问题中进行学习，并且得出结论！ 如果你要区分四种动物：熊、鹰、企鹅和海豚，可以转换成一颗决...
目录 1、线性回归简介1.1 线性回归应用场景1.2 什么是线性回归1.2.1 定义与公式1.2.2 线性回归的特征与目标的关系分析2、线性回归api初步使用2.1 线性回归API2.2 举例2.2.1 步骤分析2.2.2 代码过程3、线性回归的损失和优化3.1 损失函数3.2 优化算法3.2.1 正规方程（1）什么是正规方程（2）正规方程求解举例 3.2.2 正规方程的推导 **推导方式一**：**推导方式二**：3.2.2 梯度下降(Gradient Descent)（1）什么是梯度下降（2）梯度的...
机器学习算法（一）: 基于逻辑回归的分类预测 1 逻辑回归的介绍和应用 1.1 逻辑回归的介绍 逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。 而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。 逻辑回归模型的优劣...
机器学习算法进阶学习笔记——回归算法 线性回归最大似然估计MLE高斯对数似然与最小二乘θ\thetaθ的解析式的求解过程最小二乘法意义下的参数最优解正则与防止过拟合Moore-Penrose广义逆矩阵(伪逆)SVD计算矩阵的广义逆 梯度下降法梯度方向Logistic回归Logistic回归参数估计Logistic回归参数的学习规则：线性回归 最大似然估计MLE y(i)=θTx(i)+ε(i)y^{(i)}=\theta^{T} x^{(i)}+\varepsilon^{(i)}y(i)=θTx(i)+ε(i) p(?(i))=12πσ...
树及其组合算法二：Bagging 1集成学习1.1集成学习概述1.2集成学习的原理 2 Bagging2.1 Bagging的建模2.2 Bagging的预测2.3 Bagging测试误差的估计2.4 Bagging袋装法的缺点 3 随机森林3.1随机森林降低树间相似性的基本策略：3.2随机森林建模过程 4 AdaBoost5 GBDT5.1提升树5.2梯度提升算法5.3GBDT算法用于分类 6 XGBoost 树及其组合算法部分其余内容，个人笔记博客传送门树及其组合算法一：决策树基本知识介绍 决策树有一种“天然”...
一.概述 1.概念: "K-均值算法"(K-means)是常用的聚类算法,也是数据挖掘十大经典算法之一.该算法接受1个参数k以确定簇的数量,并选取相应的k个中心点,然后将每 个数据点分配给最近的中心点所属的簇.之后进行迭代,不断更新中心点并进行聚类
""" 酒的分类 """ from sklearn.datasets import load_wine import numpy as np # 从sklearn的datasets模块载入数据集 wine_dataset = load_wine() """ 使用load_wine函数载入的酒数据集，是一种bunch对象 key：value """ # 打印酒数据集中的键 print("红酒数据集中的键：\n{}".format(wine_dataset.keys())) # 使用.shape打印数据的概况 print("数据概况:{}".format(wine_dataset['data'].shape)) # 更多细节通过打印DESCR键来获得...
目录 前言K近邻算法KD树生成KD树通过KD树查询最近邻节点通过KD树查询K近邻节点 K近邻算法三大要素 前言 此前已发布的两篇博客，分别记录在假设空间有限、样本空间有限条件下如何计算泛化误差上界，并给出C++代码实现，详情参见机器学习（1）泛化误差上界的实现及分析；以及在线性可分条件下，采用随机梯度下降法收敛分二分类超平面的感知机算法，并给出C++代码实现，详情参见机器学习（2） 感知机原理及实现。 感知...