scikit-learn机器学习笔记——k近邻算法 k近邻算法sklearn k-近邻算法APIk近邻算法实例-预测入住位置实例流程：数据的处理k近邻算法 ??定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近) 的样本中的大多数属于某一个类别，则该样本也属于这个类别。 ??来源：KNN算法最早是由Cover和Hart提出的一种分类算法。 ??计算距离公式：两个样本的距离可以通过如下公式计算，又叫欧式距离。 ??比如说，a(a1,a2,a3),b(b1,b2,b3)...
计算推荐对象的内容特征和用户模型中兴趣特征二者之间的相似性是推荐算法中一个关键部分 ,相似性的度量可以通过计算距离来实现 在做很多研究问题时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。本文的目的就是对常用的相似性度量作一个总结。 本文目录： 1. 欧氏距离 2. 曼哈顿距离 3. 切...
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是应用最为广泛的分类算法之一。朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。知识框架相关概念生成模型概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率...
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是应用最为广泛的分类算法之一。朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。知识框架相关概念生成模型概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率...
1、大纲 【熟知】 朴素贝叶斯（独立性假设、概率的正规化、拉普拉斯变换、空值的问题） 【应用】 运用数据挖掘软件建立朴素贝叶斯模型，解读模型结果，并评估模型效能。 2、知识点 2.1、术语 判别模型：由数据直接学习决策函数或条件概率分布作为预测模型。包括决策树、支持向量机 生成模型：由数据学习联合概率分布，求出条件概率分布作为预测模型。只有朴素贝叶斯和隐马尔可夫模型 偏差：是模型输出值与真实值的误差，也就是模...
机器学习分类监督学习：传统意义上的机器学习，即训练数据有标签，机器在学习过程中是有反馈的，知道正确与否； 无监督学习：与监督学习相反，没有标签，也没有反馈，只能从数据本身去挖掘，寻找规律； 强化学习：通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏； 半监督学习：顾名思义，介于监督学习和无监督学习之间； 深度学习：通过多层神经网络提取特征，提取特征数量大种类多，再根据反馈去调整网络参...
scikit-learn 是基于 Python 语言的机器学习工具简单高效的数据挖掘和数据分析工具 可供大家在各种环境中重复使用 建立在 NumPy ，SciPy 和 matplotlib 上 开源，可商业使用 - BSD许可证sklearn 中文文档：http://www.scikitlearn.com.cn/ 官方文档：http://scikit-learn.org/stable/ sklearn官方文档的类容和结构如下：sklearn是基于numpy和scipy的一个机器学习算法库，设计的非常优雅，它让我们能够使用同样的接口来实现所有不同...
我们经常使用决策树处理分类问题，近来的调查表明决策树也是经常使用的数据挖掘算法。这一系列博客文章都是基于前人的经验，加入一些自己的拙见，仅供参考。一、决策树构建 1、工作原理图3-1所示的流程图就是一个决策树，正方形代表判断模块，椭圆形代表终止模块，表示已经得出结论，可以终止运行。从判断模块引出的左右箭头称作分支，它可以到达另一个判断模块或者终止模块。 图3-1构建了一个假想的邮件分类系统，它首先检测发送邮...
朴素贝叶斯算法 什么是朴素贝叶斯分类方法 条件概率与联合概率联合概率：包含多个条件，且所有条件同时成立的概率记作：P(A,B) 特性：P(A, B) = P(A)P(B)条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率记作：P(A|B) 特性：P(A1,A2|B) = P(A1|B)P(A2|B)注意：此条件概率的成立，是由于A1,A2相互独立的结果(记忆) APIsklearn.naive_bayes.MultinomialNB(alpha = 1.0) 朴素贝叶斯分类 alpha：拉普拉斯平滑系数案例：...
像聚类算法一样，降低维度算法试图分析数据的内在结构，不过降低维度算法是以非监督学习的方式试图利用较少的信息来归纳或者解释数据。这类算法可以用于高维数据的可视化或者用来简化数据以便监督式学习使用。 常见的算法包括：主成份分析，偏最小二乘回归， Sammon映射，多维尺度, 投影追踪等。from __future__ import print_function from sklearn import datasets import matplotlib.pyplot as plt import matplotlib.cm as cm...
聚类，就像回归一样，有时候人们描述的是一类问题，有时候描述的是一类算法。聚类算法通常按照中心点或者分层的方式对输入数据进行归并。所以的聚类算法都试图找到数据的内在结构，以便按照最大的共同点将数据进行归类。 常见的聚类算法包括 k-Means算法以及期望最大化算法 (1) 首先我们选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。 (2) ...
批量梯度下降法 批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。从数学上理解如下： ??（1）对目标函数求偏导： ?? ??优点： ??（1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。 ??（2）由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。 ??缺点： ??（1）当样本数目 m 很大时，每迭代一...
概述 Boosting基本思想: 通过改变训练数据的概率分布（训练数据的权值分布），学习多个弱分类器，并将它们线性组合，构成强分类器。 Boosting算法要求基学习器能对特定的数据分布进行学习，这可通过“重赋权法”（re-weighting）实施。对无法接受带权样本的基学习算法，则可通过“重采样法”（re-sampling）来处理。若采用“重采样法”，则可获得“重启动”机会以避免训练过程过早停止。可根据当前分布重新对训练样本进行采样，再基...
1. 概述1.1 集成学习 目前存在各种各样的机器学习算法，例如SVM、决策树、感知机等等。但是实际应用中，或者说在打比赛时，成绩较好的队伍几乎都用了集成学习(ensemble learning)的方法。集成学习的思想，简单来讲，就是“三个臭皮匠顶个诸葛亮”。集成学习通过结合多个学习器(例如同种算法但是参数不同，或者不同算法)，一般会获得比任意单个学习器都要好的性能，尤其是在这些学习器都是"弱学习器"的时候提升效果会很明显。 弱学习...
一、逻辑回归基本概念 1. 什么是逻辑回归 逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。 Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别） 回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率 2. 逻辑回...