FP-Tree FP-tree算法的基本原理FP-tree算法实例1统计频率重新排序建立FP树挖掘频繁项集 FP-tree算法实例2排序生成频繁模式树FP-Tree生成条件模式库构造C-FP-tree递归构造C-FP-treeFP-tree算法的基本原理 Frequent Pattern Tree：进行2次数据库扫描：一次对所有1-项目的频度排序；一次将数据库信息转变成紧缩内存结构。 不使用侯选集，直接压缩数据库成一个频繁模式树，通过频繁模式树可以直接得到频集。 基本步骤是： 两次扫描数据...
推荐系统 包括两种方式—基于内容的过滤和协同过滤 隐含语义分析 Tf-idfTF—出现频率IDF—在其他文档中出现的频率，（在其他文档也经常出现，则IDF值会比较低） 向量空间模型相似度—余弦距离存在的问题LSA—隐含语义分析 PageRankL(pj)是指向其他人个数，d是参数，通常设为0.85协同过滤
支持向量机使用训练集的一个子集来表示决策边界，该子集称作支持向量。 线性分类器参考文献：清华大学-数据挖掘：理论与算法（国家级精品课）
数据可视化（Data Visualization） 借助于图形化手段，清晰有效地传达与沟通信息。 一维数据比较简单，可以做成饼图、直方图、曲线等等…二维数据的可视化散点图，上图是汽车排量和加速度之间的关系图，我们可以对该二位数据做回归 Regression 看看它们之间有什么关系。 三维数据的可视化 但是当维度到四维或者更高的维度时，一般人很难想象这些高维的空间，也很难直接可视化出来，这时我们可以将高维数据做一个映射和转化Box plot...
什么是数据 大概的意思是一些定量或者定性的属性，比如一个人的身高体重，年龄，性别，婚姻状况等等。 数据预处理：主要包含以下主题 聚集：将两个或多个对象合并成单个对象 抽样：简单随机抽样（有放回和无放回），分层抽样，渐进抽样 维规约：通过创建新属性，将一些旧属性合并在一起降低数据集的维度。重要概念：维灾难和线性代数技术（PCA主成分分析和SVD奇异值分解） 特征子集选择：三种标准特征选择方法（嵌入，过滤，包装）...
微信搜索：“二十同学” 公众号，欢迎关注一条不一样的成长之路 我个人认为，在数据挖掘领域，分类算法是最为重要。它根据以往的数据来对新的数据做预测。垃圾邮件判断，潜在用户挖掘等都会用到分类算法。今天把总结朴素贝叶斯算法（NaiveBayes）的学习心得。 Bayes是谁 Thomas Bayes，英国数学家。约1701年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推...
微信搜索：“二十同学” 公众号，欢迎关注一条不一样的成长之路 今天说聚类，但是必须要先理解聚类和分类的区别，很多业务人员在日常分析时候不是很严谨，混为一谈，其实二者有本质的区别。 分类其实是从特定的数据中挖掘模式，作出判断的过程。比如Gmail邮箱里有垃圾邮件分类器，一开始的时候可能什么都不过滤，在日常使用过程中，我人工对于每一封邮件点选“垃圾”或“不是垃圾”，过一段时间，Gmail就体现出一定的智能，能够自动...
每个样本都可以用它最接近的K个邻值来代表 将数据集合中每一个记录进行分类的方法 定义一个X=data，把最有可能影响因素抽取 总体来说，KNN分类算法包括以下4个步骤：[4]①准备数据，对数据进行预处理[4] 。②计算测试样本点（也就是待分类点）到其他每个样本点的距离[4] 。③对每个距离进行排序，然后选择出距离最小的K个点[4] 。④对K个点所属的类别进行比较，根据少数服从多数的原则，将测试样本点归入在K个点中占比最高的那一类...
新的学习路径：基于泰迪云课程，对数据分析和数据建模，机器学习算法进行统筹，接着是基于大数据的数据挖掘泰迪云代码已经下载，对相关内容进行应用和学习
大数据主流技术流量统计指标大数据技术概览 1.离线计算框架-hive,mapreduce 2.流式计算框架-storm,sparkStreaming 3.内存计算框架-Spark Core 4.交互式查询-Impala 5.分布式列式存储系统-Kudu
RageRank--网页排名 将网页想象为一张有向图将节点的关系转换为表格，以列的每个元素为基本点，对角线为0（自己到自己为0），看第一列，A->B、C、D,存在指向边，则为1；第二列B->A、C有指向边为1，到D没有指向边为0。以此类推填充表格。 A B C D A（出链） 0 1 1 1 B（出链） 1 0 1 0 C（出链） 0 0 0 1 D（出链） 1 1 0 0 得到关系矩阵：[[0 1 1 1],[1 0 1 0],[0 0 0 1],[1 1 0 0 ]] 由关系矩阵转换为计算需要的转移矩阵。每个...
文章目录一、滑动窗口残差统计法二、序贯概率比检验 一、滑动窗口残差统计法 记某段时间内，MSET模型的预测残差序列为： 采用滑动窗口残差统计方法的原因： 该方法能够连续实时地检测残差统计特性的变化，算法简单，适合在线实时分析。 MSET模型采用过程记忆矩阵D中合理选择的有限个历史观测向量代表整个齿轮箱温度特性的正常工作空间。其对整个正常工作空间总体上覆盖能力较好,但对正常工作空间的不同区域，其覆盖能力是有差异的...
一、 实验目的： 使用逐层迭代方法基于候选产生找出频繁项集 二、 实验软件： Rstudio 三、 源代码： #1数据准备并统计数据频数 da1<-c("A","B","C","F","E") da2<-c("B","C","E") da3<-c("A","C","D") listda<-list(da1,da2,da3) data<-as.data.frame(table(unlist(listda)))Apriori<-function(data,listda,min_sup){ #n项统计频数.....test<-function(re,lis){req<-c() #记录数据框中每行数据在整个列表中出现的频次for(i in 1:n...
随着数据集规模和复杂度的持续上升，分析员必须利用更高级的软件工具来执行间接的、自动的智能化数据分析。本篇介绍了通过分析高维数据空间中的海量原始数据来提取用于决策的新信息的尖端技术和方法。 本篇开篇阐述数据挖掘原理，此后在示例的引导下详细讲解起源于统计学、机器学习、神经网络、模糊逻辑和演化计算等学科的具有代表性的、最前沿的挖掘方法和算法。还着重描述如何恰当地选择方法和数据分析软件并合理地调整参数。 ...
数据挖掘算法总结 1.分类算法 所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，神经网络法，k-最近邻法(k-nearest neighbor，kNN)，模糊分类法等等决策树分类法 机器学习中决策树是一个预测模型，它表示对象属性和对象值之间的一种映射，树中的每一个节点表示对象属性的判断条件，其分支表...