download：Python3入门机器学习 经典算法与应用 轻松入行人工智能 bobo老师特为机器学习初学者量身打造，使用新版python3语言和流行的scikit-learn框架，算法与编程两翼齐飞，由浅入深，一步步的进入机器学习的世界。学到的不只是一门课程，更是不断思考的能力。 适合人群及技术储备要求如果你对机器学习感兴趣，想从业于机器学习，或是准备参加机器学习相关比赛，本课程非常适合你 学前必备技术Python3基础语法具备高等数学，线性...
线性回归模型 线性回归模型是一个非常简单的算法模型，它属于机器学习中的监督学习算法。假设数据集中有特征xi和特征yi，现在每个i对应于一个样本点（xi，yi），希望通过线性回归算法建立如下所示的一个模型。其中yi为线性模型的预测值，我们肯定是希望yi能够准确预测未知的样本。通俗来讲就是找到一个函数（wxi+b）拟合 yi使得误差最小，即最小化该模型的损失函数： 只要能够使得损失函数最小化，那么此时建立的回归模型就能够较...
本文我们来学习一下另一种经常听到的机器学习算法—— K 均值聚类。这个名字确实跟“K 近邻”有些相像，但是要明确的是，“K 近邻”中的“K”，指的是“与输入数据最接近的 K 个数据点”；而“K 均值聚类”中的 K，指的则是“将一堆无标记数据划分为 K 个类别”，其中这个“类别”通常被称为“簇”（cluster），即一簇花两簇花的簇。而“均值”则更加直白：均值就是指的平均值。也就是每一簇数据的平均值，这个平均值就可以作为这一...
所谓“K 近邻（K-nearest neighbor，K-NN）”，顾名思义，指的是“K 个最近的邻居”，属于一种监督学习的方法。1. 工作原理简单地介绍一下 K 近邻算法的工作机制：首先给定一组训练集，作为算法的参照；然后给出特定的测试对象，也就是不带标签的测试数据，算法会在训练集中找到某种意义上与之最接近的 K 个训练数据，并根据这 K 个训练数据的标签来判定测试数据的类型（分类问题）或数值（回归问题）。从 K 近邻算法的原理可以看出...
朴素贝叶斯（Naive Bayesian Mode，NBM）贝叶斯由来贝叶斯是由英国学者托马斯贝叶斯 提出的一种纳推理的理论，后来发展为一种系统的统计推断方法。被称为贝叶斯方法。朴素贝叶斯朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。优点是在数据较少的情况下仍然有效，可以处理多类别的问题。缺点是对于输入数据的装备方式较为敏感。适用于标称型的数据。特征条件独立：假设 X 的 N 个特征在类确定的条件下都是条件独立的。...
1k-近邻算法：手写字符识别通过算法训练识别字符为0-9的数字，也可以为A-Z的字符，目前sklearn提供的数据集里面为0-9的数字。数据训练前需要用图像处理软件将数字转换成宽高为32X32的黑白图像，然后将其变换成1x1024的向量。2朴素贝叶斯：垃圾邮件过滤邮箱系统如何分辨一封Email是否属于垃圾邮件？这应该属于文本挖掘的范畴，通常会采用朴素贝叶斯的方法进行判别。它的主要原理是，根据邮件正文中的单词，是否经常出现在垃圾邮件中...
机器学习算法笔记（二）：逻辑回归 在学习机器学习的过程中，结合数学推导和手写实现，可以加深对相关算法的认识。本部分教程将基于python实现机器学习的常用算法，来加强对算法的理解以及coding能力，仅供学习交流使用，请勿随意转载。 本篇继续逻辑回归算法的学习，全文分为三个部分：数学推导 python实现 逻辑回归优缺点分析一、逻辑回归的数学推导 ? 逻辑回归（LogisticRegression）名为回归，实为分类。逻辑回归可也可称为对...
线性回归算法是一种有监督的算法。 聚类是一种无监督的机器学习任务，他可以自动将数据划分成类cluster.因此聚类分组不需要提前被告知所划分的组应该是什么样的。因为我们针织可能都不知道我们在寻找什么，所以聚类是用于知识发现而不是预测 KMeans聚类的原理以及聚类流程随机找K个样本(中心点) 计算空间中所有的样本与这K个样本的距离 统计每一个样本与K个样本的距离大小，距离哪一个样本最近，那么这个样本就属于哪一类。 以上...
高斯判别分析介绍 高斯判别分析 GDAGDA模型模型求解具体计算高斯判别分析 GDA GDA：Guassian Discrimant Analysis 高斯判别分析属于两分类、软分类、概率生成模型 GDA模型 生成模型中，我们需要对联合概率分布进行建模，然后采用 MAP 来获得参数的最佳值。两分类的情况，我们采用的假设： 对于两类样本，其服从伯努利分布，而对每个类中的样本，假定都服从高斯分布 y～Bernoulli(?)y\sim Bernoulli(\phi)y～Bernoulli(?)x∣y=1～N(...
01 使用分类模型预测类别：问题的提出假设在一个叫作随机镇的小镇，人们对他们的两个运动队随机城红队和随机城蓝队非常痴迷。红队历史悠久，深受人们喜爱。但随后一些外镇的百万富翁来到小镇，买下红队中最出色的得分手，并开始组建一支新的球队，蓝队。除了让大部分红队球迷不满之外，那个最出色的得分手依旧可以在蓝队中一步一步赢得冠军。尽管依旧会有一些永远无法原谅他早期职业选择的球迷不满，几年之后他还是会返回红队。但无...
1、随机森林算法随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。随机森林属于机器学习的一大分支——集成学习（EnsembleLearning）方法。随机森林具有对于很多种资料，可以产生高准确度的分类器；可以处理大量的输入变数；可以在决定类别时，评估变数的重要性；可以在内部对于一般化后的误差产生不偏差的估计；对于不平衡的分类资料集来说，可以平衡误差等优点。2、随机森林算法步骤首先...
BIRCH（BalancedIterative Reducing and Clustering Using Hierarchies）全称是：利用层次方法的平衡迭代规约和聚类。BIRCH算法是1996年由TianZhang提出来的。Birch算法就是通过聚类特征(CF)形成一个聚类特征树，root层的CF个数就是聚类个数。BIRCH算法实现分为4个步骤：1、扫描所有数据，建立初始化的CF树，把稠密数据分成簇，稀疏数据作为孤立点对待。2、这个步骤是可选的，步骤3的全局或半全局聚类算法有着输入范围的要求，以达...
目录1、Bootstrap 2、Bagging 3、Random Forest 4、贝叶斯公式4.1预习 4.2 条件概率的意义 4.3 条件概率公式 4.4 贝叶斯公式 4.5 贝叶斯与朴素贝叶斯6. GBDT6.5.1 Boosting思想 6.5.2 GBDT原来是这么回事 6.2. 梯度提升和梯度下降的区别和联系是什么？ 6.3. **GBDT**的优点和局限性有哪些？6.3.1 优点 6.3.2 局限性6.4. RF(随机森林)与GBDT之间的区别与联系7. Xgboost目录<
学习目录： 决策树内容目录： 一.决策树作用： 这是我们判断这是个好瓜还是坏瓜的决策流程，决策树的作用： 1.帮助我们选择用哪个特征先做if，用哪个特征后做if，能最快的判断出这是好瓜还是坏瓜 2.帮助我们确定特征中作为划分标准的数值 二.原理推导 三.代码预测：案例对比：比较决策树算法和KNN算法在鸢尾花数据集上的分类准确率 使用决策树算法对鸢尾花数据集分类： from sklearn.datasets import load_iris from sklearn.mo...
#LightGBM 介绍 基于GBDT（梯度提升决策树）算法的分布式梯度提升框架 优点： 简单易用。提供了主流的Python\C++\R语言接口，用户可以轻松使LightGBM建模并获得相当不错的效果。高效可扩展。在处理大规模数据集时高效迅速、高准确度，对内存等硬件资源要求不高。鲁棒性强。相较于深度学习模型不需要精细调参便能取得近似的效果LightGBM直接支持缺失值与类别特征，无需对数据额外进行特殊处理 缺点：相对于深度学习模型无法对时空位...