聚类是将相似对象归到同一个簇中的方法，这有点像全自动分类。簇内的对象越相似，聚类的效果越好。支持向量机、神经网络所讨论的分类问题都是有监督的学习方式，现在我们所介绍的聚类则是无监督的。其中，K均值（K-means）是最基本、最简单的聚类算法。在K均值算法中，质心是定义聚类原型（也就是机器学习获得的结果）的核心。在介绍算法实施的具体过程中，我们将演示质心的计算方法。而且你将看到除了第一次的质心是被指定的以外，...
最大期望算法（EM）K均值算法非常简单（可参见之前发布的博文），详细读者都可以轻松地理解它。但下面将要介绍的EM算法就要困难许多了，它与极大似然估计密切相关。1 算法原理不妨从一个例子开始我们的讨论，假设现在有100个人的身高数据，而且这100条数据是随机抽取的。一个常识性的看法是，男性身高满足一定的分布（例如正态分布），女性身高也满足一定的分布，但这两个分布的参数不同。我们现在不仅不知道男女身高分布的参数，甚...
上一篇（R语言实现︱局部敏感哈希算法（LSH）解决文本机械相似性的问题（一，基本原理））讲解了LSH的基本原理，笔者在想这么牛气冲天的方法在R语言中能不能实现得了呢？ 于是在网上搜索了一下，真的发现了一个叫textreuse的包可以实现这样的功能，而且该包较为完整，可以很好地满足要求。现在的版本是 0.1.3，最近的更新的时间为 2016-03-28。 国内貌似比较少的用这个包来实现这个功能，毕竟R语言在运行大规模数据的...
一. 概念关联分析用于发现隐藏在大型数据集中的有意义的联系。所发现的联系可以用关联规则（association rule）或频繁项集的形式表示。项集：在关联分析中，包含0个或多个项的集合被称为项集（itemset）。如果一个项集包含k个项，则称它为k-项集。例如:{啤酒，尿布，牛奶，花生} 是一个4-项集。空集是指不包含任何项的项集。关联规则（association rule）：是形如 X → Y 的蕴含表达式，其中X和Y是不相交的项集，即：X∩Y=?。关联规...
一、序言交通数据处理是智能交通的一个很关键的要素，更好的分析交通数据，可以为市政管理、交通信号管制、道路规划、交通设施建设提供更好的咨询和建议。全国各地政府都在寄期望于智能交通，以缓解城市拥堵，甚至一定程度上解决大城市病或者说是市政建设滞后的问题。同时，诸如百度地图、谷歌地图、高德地图、微软地图都推出了相应的交通应用，以期找到更大的商机。用好的存储方法和好的算法进行分析，在批处理方面可以更多的分析...
前面和大家分享的分类算法属于有监督学习的分类算法，今天继续和小伙伴们分享无监督学习分类算法---聚类算法。聚类算法也因此更具有大数据挖掘的味道聚类算法本质上是基于几何距离远近为标准的算法，最适合数据是球形的问题，首先罗列下常用的距离：绝对值距离（又称棋盘距离或城市街区距离）Euclide距离（欧几里德距离，通用距离）Minkowski 距离（闵可夫斯基距离），欧几里德距离 (q=2)、绝对值距离(q=1)和切比雪夫距离(q=无穷大...
一、 实验目的： 使用逐层迭代方法基于候选产生找出频繁项集 二、 实验软件： Rstudio 三、 源代码： #1数据准备并统计数据频数 da1<-c("A","B","C","F","E") da2<-c("B","C","E") da3<-c("A","C","D") listda<-list(da1,da2,da3) data<-as.data.frame(table(unlist(listda)))Apriori<-function(data,listda,min_sup){ #n项统计频数.....test<-function(re,lis){req<-c() #记录数据框中每行数据在整个列表中出现的频次for(i in 1:n...
原文链接：http://tecdat.cn/?p=7237 在本文中，我们将探讨应用聚类算法（例如k均值和期望最大化）来确定集群的最佳数量时所遇到的问题之一。从数据集本身来看，确定集群数量的最佳值的问题通常不是很清楚。在本文中，我们将介绍几种技术，可用于帮助确定给定数据集的最佳k值。 我们将在当前的R Studio环境中下载数据集： StudentKnowledgeData <-read_csv（“ YourdownloadFolderPath / StudentKnowledgeData.csv”）预处理 由...
K-means聚类 将n个观测点，按一定标准（数据点的相似度），划归到k个聚类（用户划分、产品类别划分等）中。 重要概念：质心K-means聚类要求的变量是数值变量，方便计算距离。 算法实现 R语言实现 k-means算法是将数值转换为距离，然后测量距离远近进行聚类的。不归一化的会使得距离非常远。 补充：scale归一化处理的意义 两个变量之间数值差别太大，比如年龄与收入的数值差别就很大。步骤第一步，确定聚类数量，即k的值 方法：...
分类树（决策树）是一种十分常用的分类方法。核心任务是把数据分类到可能的对应类别。 他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。 决策树的理解 熵的概念对理解决策树很重要 决策树做判断不是百分之百正确，它只是基于不确定性做最优判断。 熵就是用来描述不确定性的。 案例：找出共享单车用...
维度降低有两个主要用例：数据探索和机器学习。它对于数据探索很有用，因为维数减少到几个维度（例如2或3维）允许可视化样本。然后可以使用这种可视化来从数据获得见解（例如，检测聚类并识别异常值）。对于机器学习，降维是有用的，因为在拟合过程中使用较少的特征时，模型通常会更好地概括。 在这篇文章中，我们将研究三维降维技术：主成分分析（PCA）：最流行的降维方法 内核PCA：PCA的一种变体，允许非线性 t-SNE t分布随机邻域...
library(NLP)library(tm)library(wordcloud)library(RColorBrewer)library(e1071)library(gmodels)setwd(C:/Users/E0399448/Desktop/机器学习)###spam 垃圾短信 ham非垃圾短信 ###数据地址：https://github.com/stedy/Machine-Learning-with-R-datasets/commit/72e6b6cc91bc2bb08eb6f99f52c033677cb70c1a ###选择 sms_spam.csv 这个表格sms_raw <- read.csv("sms_spam.csv",header=TRUE,stringsAsFactors=FALSE)#str(sms_raw)查看...
在前文中，我们已经介绍过了逻辑回归算法的原理以及其python实现，具体请见逻辑回归算法及其python实现。 本文将主要介绍逻辑回归算法的R语言实现。数据简介 本文数据选择了红酒质量分类数据集，这是一个很经典的数据集，原数据集中“质量”这一变量取值有{3，4，5，6，7，8}。为了实现二分类问题，我们添加一个变量“等级”，并将“质量”为{3，4，5}的观测划分在等级0中，“质量”为{6，7，8}的观测划分在等级1中。 数据下载戳我...