1. 读邮件数据集文件，提取邮件本身与标签。列表 numpy数组 2.邮件预处理邮件分句名子分词去掉过短的单词词性还原连接成字符串 传统方法来实现 nltk库的安装与使用pip install nltkimport nltknltk.download() # sever地址改成 http://www.nltk.org/nltk_data/或https://github.com/nltk/nltk_data下载gh-pages分支，里面的Packages就是我们要的资源。将Packages文件夹改名为nltk_data。或网盘链接：https://pan.baidu.com/...
1. 数据准备：收集数据与读取2. 数据预处理：处理数据3. 训练集与测试集：将先验数据按一定比例进行拆分。4. 提取数据特征，将文本解析为词向量 。5. 训练模型：建立模型，用训练数据训练模型。即根据训练样本集，计算词项出现的概率P(xi|y)，后得到各类下词汇出现概率的向量 。6. 测试模型：用测试数据集评估模型预测的正确率。混淆矩阵准确率、精确率、召回率、F值7. 预测一封新邮件的类别。#要点#理解朴素贝叶斯算法理解机器学习...
1. 读邮件数据集文件，提取邮件本身与标签。列表numpy数组2.邮件预处理邮件分句句子分词大小写，标点符号，去掉过短的单词词性还原：复数、时态、比较级连接成字符串2.1 传统方法来实现2.2 nltk库的安装与使用pip install nltkimport nltknltk.download() # sever地址改成 http://www.nltk.org/nltk_data/或https://github.com/nltk/nltk_data下载gh-pages分支，里面的Packages就是我们要的资源。将Packages文件夹改名为nltk_d...
#读取数据集 import csv file_path=r‘C:\Users\Administrator\Desktop\江南.txt‘ sms=open(file_path,‘r‘,encoding=‘utf-8‘) text=csv.reader(sms,delimiter=‘\t‘) text#预处理 def preprocessing(text):#text=text.decode("utf-8")tokens=[word for sent in nltk.sent_tokenize(text) for word in nltk.word_tokenize(sent)] #进行分词stops=stopwords.words(‘english‘) #去掉停用词tokens=[t...
1. 读邮件数据集文件，提取邮件本身与标签。列表numpy数组2.邮件预处理邮件分句句子分词大小写，标点符号，去掉过短的单词词性还原：复数、时态、比较级连接成字符串2.1 传统方法来实现2.2 nltk库的安装与使用pip install nltkimport nltknltk.download() # sever地址改成 http://www.nltk.org/nltk_data/或https://github.com/nltk/nltk_data下载gh-pages分支，里面的Packages就是我们要的资源。将Packages文件夹改名为nltk_d...
import nltk from nltk.corpus import stopwords from nltk.stem import WordNetLemmatizer#预处理def preprocessing(text):tokens=[word for sent in nltk.sent_tokenize(text) for word in nltk.word_tokenize(sent)]stops=stopwords.words(‘english‘)tokens=[token for token in tokens if token notin stops]tokens=[token.lower() for token in tokens if len(token)>=2]lmtzr=WordNetLemmatizer()tokens=[lmtzr.lemmatiz...
import nltk nltk.download() from nltk.corpus import stopwords from nltk.stem import WordNetLemmatizer#预处理def preprocessing(text):tokens = [word for sent in nltk.sent_tokenize(text) for word in nltk.word_tokrnize(sent)]stops = stopwords.words(‘english‘) tokens = [token for token in tokens if token notin stops] #去掉停用词tokens = [token.lower() for token in tokens if len(token)>=2] #去掉长...
1. 读邮件数据集文件，提取邮件本身与标签。列表numpy数组代码以及部分结果截图如下： 2.邮件预处理邮件分句句子分词大小写，标点符号，去掉过短的单词词性还原：复数、时态、比较级连接成字符串2.1 传统方法来实现2.2 nltk库的安装与使用pip install nltkimport nltknltk.download() # sever地址改成 http://www.nltk.org/nltk_data/或https://github.com/nltk/nltk_data下载gh-pages分支，里面的Packages就是我们要的资源。...
由于最近在写一篇关于大数据分类的论文（吐槽一下：导师天天催），所以在图书馆借了几本有关大数据的书籍。今天看《New Internet 大数据挖掘》（感兴趣的可以看一下）中提到垃圾邮件过滤，让我联想到昨天在1280社区看到一道名企面试题，“在游戏实时交流中，由于最近在写一篇关于大数据分类的论文（吐槽一下：导师天天催），所以在图书馆借了几本有关大数据的书籍。今天看《New Internet 大数据挖掘》（感兴趣的可以看一下）中提到...