首先，我们知道，主要的机器学习方法分为监督学习和无监督学习。监督学习主要是指我们已经给出了数据和分类，基于这些我们训练我们的分类器以期达到比较好的分类效果，比如我们前面讲的Logistic回归啊，决策树啊，SVM啊都是监督学习模型。无监督学习就是指我们就只有数据，没有分类结果，然后根据数据进行建模能够给出哪些样本是属于一类的一个过程，通常我们就称之为聚类。 今天我主要介绍以下几种最常见的聚类算法，包括K-Means算...
Eg: 假设半径Ε=3，MinPts=3，点p的E领域中有点{m,p,p1,p2,o}, 点m的E领域中有点{m,q,p,m1,m2},点q的E领域中有点{q,m},点o的E领域中有点{o,p,s},点s的E领域中有点{o,s,s1}.那么核心对象有p,m,o,s(q不是核心对象，因为它对应的E领域中点数量等于2，小于MinPts=3)；点m从点p直接密度可达，因为m在p的E领域内，并且p为核心对象；点q从点p密度可达，因为点q从点m直接密度可达，并且点m从点p直接密度可达；点q到点s密度相连，因为点q从点...
目录1. 简介1.1 模型1.2 特征工程2. KNN（K-邻近）3. 决策树信息熵 & 信息增益4. 朴素贝叶斯5. Logistic 回归6. 支持向量机7. 集成方法——随机森林和AdaBoost7.1 随机森林 1. 简介 1.1 模型分类问题 —— 说白了就是将一些未知类别的数据分到现在已知的类别中去。比如，根据你的一些信息，判断你是高富帅，还是穷屌丝。评判分类效果好坏的三个指标就是上面介绍的三个指标：正确率，召回率，F值。 回归问题 —— 对数值型连续随机变...
目录 一、问题要求二、概念三、解决问题四、参考 一、问题要求 假如准备招标采购一套宿舍行人目标图像识别系统，选择2家公司的产品来测试。测试手段是：从学生宿舍区一段监控视频中识别男生的人数。 实验结果如下： 算法1（产品1）的检测结果：检测出“男生”人数82人，其中78人为男生，4人其实是女生；算法2（产品2）的检测结果：检测出“男生”人数88人，其中80人为男生，8人其实是女生；经过人工检测，视频中实际准确的总人数为...
这是统计学的基本概念，随便找本概率论基础都可以找到这些概念，看不懂的就看多几遍，重点在记住和知道应用场合，知识点之间的衔接很重要，理解为王。 文章目录1. 随机变量分类 2. 常见的离散分布2.1 伯努利分布(0-1分布) 2.2 二项分布 2.3 泊松分布3. 连续分布3.1 均匀分布 3.2 正态分布 3.3 指数分布4. 描述随机变量的数学特征4.1 期望，E(X) 4.2 方差, D(X) or Var(X) 4.3 标准差 4.4 变异系数 CV 4.5 分位数 4.6
KNN算法 1.算法概述2.算法步骤3.算法实现4.算法优化1.算法概述 k最近邻算法(k-NearestNeighbor，kNN)，顾名思义，即由某样本k个邻居的类别来推断出该样本的类别。给定测试样本，基于特定的某种距离度量方式找到与训练集中最接近的k个样本，然后基于这k个样本的类别进行预测。 2.算法步骤准备数据，对数据进行预处理选用合适的测试元组和合适的数据存储结构训练数据维护一个大小为k，按距离由大到小的优先级队列，用于存储最近邻训练...
文章目录XGBoost参考文献： 1. XGBoost原理损失函数 正则项 树分裂（树结构）打分算法： 总结 XGBoost包的特点2. XGBoost参数通用参数1、booster[默认gbtree] 2、silent[默认0] 3、nthread[默认值为最大可能的线程数]booster参数1、eta[默认0.3] 2、min_child_weight[默认1] 3、max_depth[默认6] 4、max_leaf_nodes
梯度下降算法原理整理笔记–机器学习 最近在看一些梯度下降的知识，看到头蒙，今天来整理一下一些相关知识，以至于后续便于理解。 机器学习中我们常见梯度下降这个名词，但是什么是梯度下降呢？梯度下降又是干嘛的呢？网上一大堆文章最后也没看懂什么，今天刚好想着整理一下，借鉴着别人的一些看法和知识梳理一下自己的思路。 1.什么是梯度下降？ 梯度下降可以把梯度和下降分开来说。 首先理解什么是梯度？通俗来说，梯度就是表示某...
目录K-近邻算法k-近邻算法概述解析和导入数据使用 Python 导入数据实施 kNN 分类算法测试分类器使用 k-近邻算法改进约会网站的配对效果收集数据准备数据：使用 Python 解析文本文件分析数据：使用 Matplotlib 画二维散点图准备数据：归一化数值测试算法：验证分类器使用算法：构建完整可用系统手写识别系统准备数据测试算法使用算法：构建完整可用系统总结K-近邻算法k-近邻分类算法概述使用 k-近邻算法改进约会网站的配对效果手写识...
视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=46 笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/nl8l9lP60 EM算法1 - 收敛性证明 EM算法核心思想：是具有隐变量的混合模型的参数估计。本节主要证明了分步迭代更新参数θ时，新的θt+1一定会使X取的比上一步θt更高的置信度P(X|θ)，这样算法才能保证收敛。 前置知识：首先要理解什么是含有隐变量的混合模型。我们之前处理的都是...
download：Python3入门机器学习 经典算法与应用 轻松入行人工智能 bobo老师特为机器学习初学者量身打造，使用新版python3语言和流行的scikit-learn框架，算法与编程两翼齐飞，由浅入深，一步步的进入机器学习的世界。学到的不只是一门课程，更是不断思考的能力。 适合人群及技术储备要求如果你对机器学习感兴趣，想从业于机器学习，或是准备参加机器学习相关比赛，本课程非常适合你 学前必备技术Python3基础语法具备高等数学，线性...
线性回归模型 线性回归模型是一个非常简单的算法模型，它属于机器学习中的监督学习算法。假设数据集中有特征xi和特征yi，现在每个i对应于一个样本点（xi，yi），希望通过线性回归算法建立如下所示的一个模型。其中yi为线性模型的预测值，我们肯定是希望yi能够准确预测未知的样本。通俗来讲就是找到一个函数（wxi+b）拟合 yi使得误差最小，即最小化该模型的损失函数： 只要能够使得损失函数最小化，那么此时建立的回归模型就能够较...
本文我们来学习一下另一种经常听到的机器学习算法—— K 均值聚类。这个名字确实跟“K 近邻”有些相像，但是要明确的是，“K 近邻”中的“K”，指的是“与输入数据最接近的 K 个数据点”；而“K 均值聚类”中的 K，指的则是“将一堆无标记数据划分为 K 个类别”，其中这个“类别”通常被称为“簇”（cluster），即一簇花两簇花的簇。而“均值”则更加直白：均值就是指的平均值。也就是每一簇数据的平均值，这个平均值就可以作为这一...
所谓“K 近邻（K-nearest neighbor，K-NN）”，顾名思义，指的是“K 个最近的邻居”，属于一种监督学习的方法。1. 工作原理简单地介绍一下 K 近邻算法的工作机制：首先给定一组训练集，作为算法的参照；然后给出特定的测试对象，也就是不带标签的测试数据，算法会在训练集中找到某种意义上与之最接近的 K 个训练数据，并根据这 K 个训练数据的标签来判定测试数据的类型（分类问题）或数值（回归问题）。从 K 近邻算法的原理可以看出...
朴素贝叶斯（Naive Bayesian Mode，NBM）贝叶斯由来贝叶斯是由英国学者托马斯贝叶斯 提出的一种纳推理的理论，后来发展为一种系统的统计推断方法。被称为贝叶斯方法。朴素贝叶斯朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。优点是在数据较少的情况下仍然有效，可以处理多类别的问题。缺点是对于输入数据的装备方式较为敏感。适用于标称型的数据。特征条件独立：假设 X 的 N 个特征在类确定的条件下都是条件独立的。...