0.机器学习中分类和预测算法的评估标准 准确率 速度 强壮性 可规模性 可解释性 1、什么是决策树/判定树（decision tree）？ 判定树是一个类似于流程图的树结构：其中，每个内部节点表示一个属性上的测试，每个分支代表一个属性的输出，而每个树叶节点代表类或者类分布。树的最顶层是根节点。2、机器学习中分类方法的重要算法是决策树3、构造决策树的基本算法 3.1熵（entropy）概念 信息和抽象，如何度量？19...
上一章学习了非监督学习的聚类，聚类算法可以将不同性质的分类分开。这两天学习了apriori算法进行关联分析，感觉是目前最难理解的一章了，并且书中还有个很坑爹的错误，作者存在很大的疏忽。Apriori算法关联分析：从大规模数据集中寻找物品间的隐含关系被称作关联分析或者关联规则学习。关联分析应用1：我们以前学习的是根据特性进行分类或者回归预测，并没有挖掘特性之间的关系，关联分析可以用于分析数据集中特性之间的关系，可以...
五、SVM求解实例 上面其实已经得出最终的表达式了，下面我们会根据一些具体的点来求解α的值。数据：3个点，其中正例 X1(3,3) ，X2(4,3) ，负例X3(1,1) 如下图所示 我们需要求解下式的极小值 注意约束条件（在这里不要忘记了yi代表的是数据的类别，+1代表正例，-1代表负例） 代入数据，通过化简可以得到如下约束条件的表达式。 将数据代入上式得到 由于α1+α2-α3=0 -> α1+α2=α3： 化简可得： 分别对α1和...
七月算法--12月机器学习在线班-第六次课笔记—梯度下降和拟牛顿七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com 原文：http://www.cnblogs.com/sweet-dew/p/5491249.html
CXCORE库：Mahalanobis距离: K均值: CV库：人脸检测/Haar分类器 ML库：正态朴素贝叶斯分类器： 决策树： Boosting: 随机森林： EM算法： K近邻（KNN）： 神经网络/多层感知器： 支持向量机（SVM）： 原文：http://www.cnblogs.com/MrLancher/p/6224208.html
SVM上：这个算法应该是机器学习这门课里最重要的部分了。 首先是SVM的思想：找到超平面，将两类中距离最近的点分的越开越好（直至二者相等）。 然后是函数间隔和几何间隔的定义，二者之间的区别。 接着是超平面模型的建立，看看它是如何将问题转化为凸优化问题的。 SVM第一个难点：拉格朗日对偶。由KKT条件可知，起作用的约束都在边界上，这个会用来解释支持向量。 由KKT条件知，在S...
目录什么是回归算法线性回归似然函数/对数似然函数目标函数/损失函数常用的其他损失函数局部加权回归-损失函数线性回归的过拟合Ridge回归(岭回归)LASSO回归Elasitc Net算法(弹性网络算法)梯度下降算法批量梯度下降算法(BGD)随机梯度下降算法(SGD)小批量梯度下降法(MBGD)梯度下降法调优策略Logistic回归Softmax回归模型效果判断机器学习调参@(机器学习（2）之回归算法)什么是回归算法有监督算法解释变量（x）与观测值（因变量y）之间...
先从简单的线性回归入门，主要是对主要概念进行一个理解，对于以后进阶到其他的算法也有帮助。 对于单参数的线性回归来说，主要的学习任务就是要找到一个一元线性函数，使得函数与数据点最为符合，即用这个函数来拟合这些数据点。而如何判断函数与数据点相符合的程度，就需要通过计算一个损失函数，最简单的例子就是平方差和。通过计算函数值与实际值之间差值平方的和来判断相符合程度，数值越小就认为是越接近。而损失函数中...
import numpy as npfrom matplotlib import pyplot as plt from sklearn import neighbors, datasets from matplotlib.colors import ListedColormap from sklearn.neural_network import MLPClassifier## 加载数据集np.random.seed(0) # 使用 scikit-learn 自带的 iris 数据集 iris=datasets.load_iris() # 使用前两个特征，方便绘图 X=iris.data[:,0:2] # 标记值 Y=iris.target data=np.hstack((X,Y.reshape(Y.size,1))) # ...
1、模型的定义 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分裂方法。首先我们来了解下贝叶斯定理和所要建立的模型。对于给定的数据集 假定输出的类别yi ∈ {c1, c2, ...., ck}，朴素贝叶斯通过训练数据集的来学习联合概率分布P(x|y)。但是直接求联合概率分布P(x|y)一般比较难，因此在这里我们近视的求先验概率分布和条件概率分布来替代它。先验概率分布如下 对于先验概率的求解，可以根据大数定理认为就是该类别在...
在介绍朴素贝叶斯分类之前，首先介绍一下大家都比较了解的贝叶斯定理，即已知某条件概率，如何得到两个时间交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)？可以通过如下公式求得：而朴素贝叶斯分类是一种简单的分类算法，称其朴素是因为其思想基础的简单性：就文本分类而言，它认为词袋中的两两词之间的关系是相互独立的，即一个对象的特征向量中的每个维度都是相互独立。朴素贝叶斯分类的正式定义如下：（1）设为一个待...
本篇讲述了神经网络的误差反向传播以及训练一个神经网络模型的流程更多内容参考 机器学习&深度学习神经网络可以理解为两个过程：信号的正向传播和误差的反向传播。在正向的传播过程中，计算方法为Sj=wijxi+bj，其中i是样本、j是层数。然后xj=f(Sj)，f为激活函数。引入激活函数的原因是可以带来一定的非线性特性。由于样本的y是在最后一层输出的，因此在计算误差的时候，需要从最后一层开始计算、针对与之关联的参数进行求梯度，获得...
# coding:utf-8class treeNode: #树结点def__init__(self, nameValue, numOccur, parentNode):self.name = nameValue #这个结点所存的字母self.count = numOccur #结点计数器self.nodeLink = None #指向下一个同字母的结点的指针self.parent = parentNode # 指向父节点的指针，用于上溯self.children = {} #儿子结点的指针集def inc(self, numOccur): #更新结点计数器self.count += numOccurdef creat...
根据不同的计算结果要求，机器学习可分成若干种。这些不同的目的决定了机器学习在实际应用中可分成不同模型和分类。前面已经提到，机器学习还是一门涉及多个领域的交叉学科，也是多个领域的新兴学科，因此，它在实践中会用到不同学科中经典的研究方法，即算法。3.2.1 机器学习的算法流程首先需要知道的是，对于机器学习来说，一个机器学习的过程是一个完整的项目周期，其中包括数据的采集、数据的特征提取与分类，以及之后采用何种...
在搞笑诺贝尔奖Ig Nobel Prize颁奖典礼上, 有一个节目叫24/7，先让科研者先用24秒完整讲解科研工作，然后再用让所有人都明白的7个单词总结。有人讲，如果一个人不能把深奥的理论描述清楚得让跳广场舞的大妈明白，就不能算真正理解中这个理论。虽然凡事都有例外，但是跟外行人聊天或者面试时，我们经常会遇到要把深奥的专业知识讲解出来，让非专业人士都明白其中的精髓。这篇博客将斗胆挑战讲解机器学习中的几个常用的分类算法，字数...