什么是线性回归(Linear Regression) 我们在初中可能就接触过，y=ax，x为自变量，y为因变量，a为系数也是斜率。如果我们知道了a系数，那么给我一个x，我就能得到一个y，由此可以很好地为未知的x值预测相应的y值。在只有一个变量的情况下，线性回归可以用方程：y = ax+b 表示；多元线性回归方程可以表示为：y = a0 + a1*x1 + a2*x2 + a3*x3 + ...... +an*xn。 机器学习的实质说白了就是通过数据之间的关系找出某种映射f:X→y。而针对...
机器学习算法分类： 监督学习：定义：输入数据是由特征值和目标值组成，函数的输出可以是一个连续的值（称为回归），或是输出连续个离散值（称为分类）。目标值：类别——分类问题算法：K-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归...目标值：连续型的数据——回归问题算法：线性回归、岭回归无监督学习：定义：输入数据是由特征值组成。目标值：无——聚类算法：聚类K-means 机器学习开发流程：①：获取数据②：处理数据...
#机器学习分类算法的评价指标#二分类问题的算法评价指标import numpy as npimport matplotlib.pyplot as pltimport pandas as pdfrom sklearn import datasetsd=datasets.load_digits()x=d.datay=d.target.copy() #防止原来数据改变print(len(y))y[d.target==9]=1y[d.target!=9]=0print(y)print(pd.value_counts(y)) #统计各个数据出现的个数from sklearn.model_selection import train_test_splitx_train,x_test,y_train,y_test...
【背景】 当拥有缺失数据的时候，可以迭代地做参数估计，例如高斯混合模型(GMM)。如图所示，我们要求对高斯混合模型的参数的最大似然估计。对于每一个数据点，它是由两个均值和方差未知的高斯分布来衡量的，并且该数据点分别以不同的未知的概率服从于这两个高斯分布。我们的目标就是估计每一个高斯分布的参数和每一个数据点以多大的概率服从于该高斯分布。 【EM算法的直观解释】 对于上面陈述的问题，如果我们知道每一个数据点属于...
《机器学习入门》本书通过通俗易懂的语言，丰富的图示和经典的案例，让广大机器学习爱好者轻松入门机器学习Machine Learning，有效地降低了学习的门槛。本书共分11章节，覆盖的主要内容有机器学习概述、数据预处理、K近邻算法、回归算法、决策树、K-means聚类算法、随机森林、贝叶斯算法、支持向量机、神经网络（卷积神经网络、Keras深度学习框架）、人脸识别入门等。从最简单的常识出发来切入 AI 领域，打造无缝平滑的兴奋的学习体...
本文实例讲述了决策树剪枝算法的python实现方法。分享给大家供大家参考，具体如下： 决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象，树中的每一个分叉路径代表某个可能的属性值，而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值。决策树仅有单一输出，如果有多个输出，可以分别建立独立的决策树...
主成分分析（PCA）算法是降维可视化的重要工具，我今天也进行了学习，Python编写的小程序，更好理解了其算法的应用和功能# Des:This is a machine learning program! # Date:2020-3-12 # Author:Gaofeng from sklearn.decomposition import PCA from sklearn.datasets import load_iris import matplotlib.pyplot as pltdata = load_iris() #字典形式，方便控制属性和标签 y = data.target #数据集中的标签 x = data.data # 数...
一、算法原理 模型融合：Voting（投票法）、Blending（线性混合）、Stacking（堆叠）。 模型融合，不是说随意的融合能够达到好的效果。进行融合时，所需集成个体应该好而不同。好指的是个体学习器的性能要好，不同指的是个体模型的类别不同。 （1）Voting 这里举个西瓜书的例子，在介绍例子之前，首先提前介绍简单投票法，以分类问题为例，就是每个分类器对样例进行投票，哪个类别得到的票数最多的就是融合后模型的结果。在上面的例...
本文始发于个人公众号：TechFlow，原创不易，求个关注今天的文章给大家分享机器学习领域非常简单的模型——KNN，也就是K Nearest Neighbours算法，翻译过来很简单，就是K最近邻居算法。这是一个经典的无监督学习的算法，原理非常直观，易于理解。 监督与无监督 简单介绍一下监督这个概念，监督是supervised的直译，我个人觉得不太准确，翻译成有标注和无标注可能更加准确。也就是说如果模型在学习的时候，既能够看到样本的特征又可...
xgboost（eXtreme Gradient Boosting）大规模并行 boosting tree 的工具，据说是现在最好用的 boosting 算法，针对传统 GBDT 算法做了很多改进xgboost 和传统 GBDT 的区别GBDT 基学习器只用 CART 树，而 xgboost 除了用 CART 树，还可以用其他分类器 优化目标函数里，用到了二阶导数信息，能够更快地收敛，而普通的 GBDT 只用到一阶 优化目标函数里，对衡量模型复杂度的正则项进行了改进，GBDT 只对叶子个数做惩罚，而 xgboost 对叶...
文章目录机器学习算法原理1.1 感知机算法1.1.1 决策函数1.1.1.1 sign函数图像1.1.2 损失函数1.1.3 目标函数1.1.4 目标函数优化问题1.2 线性回归1.2.1 决策函数1.2.2 目标函数1.2.3 目标函数优化问题1.3 逻辑回归简介1.3.1 Sigmoid函数1.3.2 决策函数1.3.3 损失函数1.3.4 目标函数1.3.5 目标函数优化问题1.4 朴素贝叶斯法简介1.4.1 贝叶斯公式1.4.2 朴素贝叶斯法1.5 k近邻算法简介1.5.1 距离度量工具1.6 决策树简介1.7 支持向量机简...
1、逻辑回归算法原理 （1）线性回归预测函数：线性回归模型的输出值y是连续型变量，值域为R y=Xθy = Xθy=Xθ （2）sigmoid函数： g(z)=11+e?zg\left ( z \right )=\frac{1}{1+e^{-z}}g(z)=1+e?z1? （3）逻辑回归预测函数：逻辑回归的输出值y是离散型变量，值域为{0，1} hθ(X)=g(Xθ)=11+e?Xθh_{\theta }\left ( X \right )=g\left ( X\theta \right )=\frac{1}{1+e^{-X\theta }}hθ?(X)=g(Xθ)=1+e?Xθ1? 逻辑回归模型是在线...
1、Model representation（模型表达） 模型表达就是给出输入和输出之间的函数关系式。当然这个函数是由前提假设的，里面可以含有参数。此时如果有许多训练样本的话，同样可以给出训练样本的平均相关的误差函数，也称作损失函数（Loss function）。我们的目标是求出模型表达中的参数，这是通过最小化损失函数来求得的。一般最小化损失函数是通过梯度下降法（即先随机给出参数的一组值，然后更新参数，使每次更新后的结构都能够让损失...
不同的分类算法各有优缺点，可以将不同的分类器组合起来 这种组合被称为集成方法（ensemble method）或者元算法（meta-algorithm）使用集成方法有多种形式 ?○?可以是不同算法的集成 ?○?可以是同一算法在不同设置下的集成 ?○?可以是数据集不同部分分配给不同分类器之后的集成bagging （Bootstrap aggregating，引导聚集算法，又称装袋算法）随机采样：在一个有 m 个样本的数据集中，每次采集一个样本，然后将该样本放回，共采集 ...
线性回归算法的评测 衡量标准 ∑i=1m(ytest(i)?y^test(i))2 \sum_{i=1}^m(y_{test}^{(i)} - \hat{y}{_{test}^{(i)}})^2 i=1∑m?(ytest(i)??y^?test(i)?)2 方差与m的大小有关，例如第一个算法测试100个数据，累计误差为1000，第二个算法测试10000个数据，累计误差为99999， 如果我们仅以这个式子求出的累计误差大小衡量算法的优劣，显然是不合理的，所以我们需要让这个式子与测试数据的数量无关，所以引入均方误差MSE(Mean Squared ...