本节主要介绍数据挖掘中常见的分类方法决策树和朴素贝叶斯算法。 决策树算法 决策树（Decision Tree，DT）分类法是一个简单且广泛使用的分类技术。 决策树是一个树状预测模型，它是由结点和有向边组成的层次结构。树中包含3种结点：根结点、内部结点和叶子结点。决策树只有一个根结点，是全体训练数据的集合。 树中的一个内部结点表示一个特征属性上的测试，对应的分支表示这个特征属性在某个值域上的输出。一个叶子结点存放一个类...
前面一个博客我们用Scikit-Learn实现了中文文本分类的全过程，这篇博客，着重分析项目最核心的部分分类算法：朴素贝叶斯算法以及KNN算法的基本原理和简单python实现。 3.1 贝叶斯公式的推导简单介绍一下什么是贝叶斯：让我们从一个故事开始。1 看着后视镜往前开车想象这么一个场景，我开着车，经过笔直的大道，快速地往下一个路口驶去。我知道，到了下一个路口就要右转了。这件事情很简单，我坐在驾驶室内，看到下一个路口，往右边...
朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。对于大多数的分类算法，在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。比如决策树，KNN，逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数，要么是条件分布。但是朴素贝叶斯却是生成方法，该算法原理简单，也易于实现。 1，基本概念朴素贝叶斯：贝叶斯分类时一类分类算...
library(NLP)library(tm)library(wordcloud)library(RColorBrewer)library(e1071)library(gmodels)setwd(C:/Users/E0399448/Desktop/机器学习)###spam 垃圾短信 ham非垃圾短信 ###数据地址：https://github.com/stedy/Machine-Learning-with-R-datasets/commit/72e6b6cc91bc2bb08eb6f99f52c033677cb70c1a ###选择 sms_spam.csv 这个表格sms_raw <- read.csv("sms_spam.csv",header=TRUE,stringsAsFactors=FALSE)#str(sms_raw)查看...
本来是写在word里的，直接截图贴上来了。 笔记均为个人理解，以后会陆续写其它算法的理论，可能尝试手写或者继续用word或者用博客的latex代码。看情况和时间而定。 以上所有笔记均为本人原创总结，如有转载请附上原文链接。欢迎持续关注本博客。
1. 前言 说到朴素贝叶斯算法，首先牵扯到的一个概念是判别式和生成式。判别式：就是直接学习出特征输出\(Y\)和特征\(X\)之间的关系，如决策函数\(Y=f(X)\),或者从概率论的角度，求出条件分布\(P(Y|X)\)。代表算法有决策树、KNN、逻辑回归、支持向量机、随机条件场CRF等 生成式：就是直接找出特征输出Y和特征X的联合分布\(P(X,Y)\)，然后用\(P(Y|X)=\frac{P(X,Y)}{P(X)}\)得出。代表算法有朴素贝叶斯、隐式马尔可夫链等。2. 朴素贝叶...