1、过拟合和欠拟合怎么判断，如何解决？答：主要可以通过训练误差和测试误差入手判断是否过拟合或欠拟合。一般而言训练误差很低，但是测试误差较高，过拟合的概率较大，如果训练误差和测试误差都很高，一般是欠拟合。过拟合可以从增加样本量，减少特征数，降低模型复杂度等方面入手，实际的例子比如线性回归中，对于几十个样本的数据点就没必要用几十个变量去拟合。欠拟合则反之，需要考虑模型是否收敛，特征是否过少，模型是否过于...
版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com 前言： 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，...
pLSA模型--基于概率统计的pLSA模型(probabilistic Latent Semantic Analysis，概率隐语义分析)，增加了主题模型，形成简单的贝叶斯网络，可以使用EM算法学习模型参数。概率潜在语义分析应用于信息检索，过滤，自然语言处理，文本的机器学习或者其他相关领域。D代表文档，Z代表主题(隐含类别)，W代表单词； ?P(di)表示文档di的出现概率，? P(zk|di)表示文档di中主题zk的出现概率，? P(wj|zk)表示给定主题zk出现单词wj的概率...
C4.5由J.Ross Quinlan在ID3的基础上提出。从ID3算法中衍生出了C4.5和CART两种算法，这两种算法在数据挖掘中都非常重要。 数据集如图所示，它表示的是天气情况与去不去打高尔夫球之间的关系。 C4.5并不是一个算法，而是一组算法——C4.5，非剪枝C4.5和C4.5规则。下图中的算法给出C4.5的基本工作流程：我们可能有疑问，一个元组本身有很多属性，我们怎么知道首先要对哪个属性进行判断，接下来要对哪个属性进行判断？一般而言，随着划...
一、聚类的概念聚类分析是在数据中发现数据对象之间的关系，将数据进行分组，组内的相似性越大，组间的差别越大，则聚类效果越好。我们事先并不知道数据的正确结果(类标)，通过聚类算法来发现和挖掘数据本身的结构信息，对数据进行分簇(分类)。聚类算法的目标是，簇内相似度高，簇间相似度低二、基本的聚类分析算法 1. K均值(K-Means)： 基于原型的、划分的距离技术，它试图发现用户指定个数(K)的簇。 2. 凝聚的层次距...
近些年来，随着大数据、云计算、移动互联网、人工智能技术的兴起，“机器学习”成为了行业内炙手可热的一个名词。从通信互联网领域的专家，到各式各样的企业，甚至到普通的老百姓，都对“机器学习”技术略知一二。那么，机器学习到底是什么，它与我们常见的“人工智能”、“神经网络”、“数据挖掘“等相似概念都有什么关系？机器学习有那些基本分支、基本方法？在本文中，我们将用最简单易懂的语言解释这些问题。问题一：“机器学...
阅读目录1. 学习方式1.1 监督式学习1.2 非监督式学习1.3 半监督式学习1.4 强化学习2. 算法分类2.1 回归算法 2.2 基于实例的算法2.3 正则化方法2.4 决策树学习 2.5 贝叶斯方法2.6 基于核的算法 2.7 聚类算法2.8 关联规则学习2.9 遗传算法（genetic algorithm）2.10 人工神经网络2.11 深度学习 2.12 降低维度算法2.13 集成算法声明：本篇博文根据http://www.ctocio.com/hotnews/15919.html整理，原作者张萌，尊重原创。 机器学习无...
K-近邻算法作用：分类算法优点：最简单、不需要训练、容易理解缺点：计算复杂度高、空间复杂度高原理：计算新数据与样本集中所有数据的欧式距离，提取距离最近的 K 个样本的标签，取 K 个样本里出现次数最多的标签，作为新数据的分类标签决策树 - ID3作用：分类算法优点：计算复杂度不高、容易理解、可处理不相关特征缺点：可能会过度匹配、实现较复杂、存在特征值太多的问题原理： –?首先构建一颗树，每个非叶子节点代表一个特征...
今天要来讨论的是EM算法。第一眼看到EM我就想到了我大枫哥，EM Master，千里马，RUA!!!不知道看这个博客的人有没有懂这个梗的。好的，言归正传，今天要讲的EM算法，全称是Expectation maximization，期望最大化。怎么个意思呢，就是给你一堆观测样本，让你给出这个模型的参数估计。我靠，这套路我们前面讨论各种回归的时候不是已经用烂了吗？求期望，求对数期望，求导为0，得到参数估计值，这套路我懂啊，MLE！但问题在于，如果这个...
异常点检测分为novelty detection 与 outlier detection鲁棒性的高斯概率密度是novelty detection, 就是在给出的数据中, 找出一些与大部分数据偏离较远的异常数据, 我们的训练集不是纯净的, 包含异常点 outlier detection 的训练集是纯净的算法理解这个算法的思想很好理解, 就是求出训练集在空间中的重心, 和方差, 然后根据高斯概率密度估算每个点被分配到重心的概率. 程序调包侠决定使用 scikit-learn:print(__doc__)# Author: V...
讲授聚类算法的基本概念，算法的分类，层次聚类，K均值算法，EM算法，DBSCAN算法，OPTICS算法，mean shift算法，谱聚类算法，实际应用课程大纲：基于密度的聚类算法简介DBSCAN算法的核心思想基本概念定义算法的流程实现细节问题实验OPTICS算法的核心思想基本概念定义算法的流程根据排序结果生成聚类结果实验Mean Shift算法的核心思想核函数概率密度估计算法的流程谱聚类算法的核心思想基本概念定义算法的流程算法评价指标应用聚类算...
前言概述 上一篇文章对逻辑回归的原理和基本思想做了一些简要介绍，并通过引入Sigmoid函数和梯度公式成功推导出了梯度上升和梯度下降公式，上文分类实例是依据全批量提升上升法，而本文会介绍全批量梯度上升的一种优化算法——随机梯度上升，如果还未懂得逻辑回归和推理公式原理，还请观看上一篇文章：机器学习笔记(七)——初识逻辑回归、两种方法推导梯度公式。随机梯度上升区别对比在讲解全批量梯度上升和随机梯度上升的区别之前...
本文整理了60个机器学习算法应用场景实例，含分类算法应用场景20个、回归算法应用场景20个、聚类算法应用场景10个以及关联规则应用场景10个。包含了天池、DataCastle、DataFountain中所有竞赛场景。 目录1 分类算法应用场景实例 1.1 O2O优惠券使用预测 1.2 市民出行选乘公交预测 1.3待测微生物种类判别 1.4 基于运营商数据的个人征信评估 1.5 商品图片分类 1.6 广告点击行为预测 1.7 基于文本内容的垃圾短信识...
【机器学习】算法原理详细推导与实现(五):支持向量机(下)上一章节介绍了支持向量机的生成和求解方式，能够根据训练集依次得出\(\omega\)、\(b\)的计算方式，但是如何求解需要用到核函数，将在这一章详细推导实现。核函数在讲核函数之前，要对上一章节得到的结果列举出来。之前需要优化的凸函数为：\[ min_{\gamma,\omega,b}->\frac{1}{2}||\omega||^2 \]\[ y^{(i)}(\omega^Tx^{(i)}+b) \geq 1 ,i=1,2,...,m \]这里假设数据是线性可...
机器学习算法题线性回归和逻辑回归的异同？ SVM和LR(逻辑回归)有什么不同？线性回归的输入变量和输出变量都是连续的，逻辑回归的输入变量是连续的，输出变量是类别（或者说是离散的、枚举的）。SVM和LR一般都用于处理分类问题，不同的是二者的实现原理，SVM是以支持向量到分类平面的距离最大化为优化目标，得到最优分类平面，LR是把输出类别以概率的方式表示，常用的是logistic sigmoid函数，然后通过极大似然或其他方法来构造最优...