下载：https://pan.baidu.com/s/1J7DOGrjoF7HnaSZ8LvFh_A 《Python数据挖掘入门与实践》高清中文版+高清英文版+源代码 高清中文版PDF，带目录和书签，能够复制粘贴；高清英文版PDF，带目录和书签，能够复制粘贴；中英文两版可以对比学习。 配套源代码； 经典书籍，讲解详细； 其中高清中文版如图
概念 时间序列（Time Series）时间序列是均匀时间间隔上的观测值序列 时间序列分析（Time Series Analysis）趋势分析序列分解序列预测 时间序列分解（Time-Series Decomposition）时间写按照季节性来分类，分为季节性时间序列和非季节性时间序列 非季节性时间序列：趋势部分、不规则部分； 季节性时间序列：趋势部分、不规则部分、季节性部分 非季节性时间序列分解 MA（Moving Average）移动平均是一种简单的平滑技术，他通过在时...
如何选择特征 根据是否发散及是否相关来选择 方差选择法 先计算各个特征的方差，根据阈值，选择方差大于阈值的特征 方差过滤使用到的是VarianceThreshold类，该类有个参数threshold，该值为最小方差的阈值，然后使用fit_transform进行特征值过滤 相关系数法 先计算各个特征对目标值的相关系数，选择更加相关的特征 递归特征消除法 使用一个基模型来进行多轮训练，经过多轮训练后，保留指定的特征数 通过estimator将基模型设置为...
概念： 特征工程：本质上是一项工程活动，他目的是最大限度地从原始数据中提取特征以供算法和模型使用 特征工程的重要性：特征越好，灵活性越强、模型越简单、性能越出色。 特征工程包括：数据处理、特征选择、维度压缩 量纲不一: 就是单位，特征的单位不一致，不能放在一起比较 通过：0-1标准化、Z标准化、Normalizer归一化 数据处理-归一化：1 import pandas2 3 data=pandas.read_csv(4 "C:\\Users\\Jw\\...
概念： 支持向量机(Support Vector Machine)SVM属于一般化线性分类器，这类分类器的特点是他们能够同时最小化经验误差和最大化几何边缘区，因此支持向量机也被称为最大边缘区分类器。
概念 随机森林(RandomForest)：随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别数输出的类别的众数而定优点：适合离散型和连续型的属性数据；对海量数据，尽量避免了过度拟合的问题；对高维数据，不会出现特征选择困难的问题；实现简单，训练速度快，适合 进行分布式计算1 import pandas;2 3 data = pandas.read_csv(4 "D:\\PDM\\5.3\\data.csv"5 );6 7 dummyColumns = ["Gender", "ParentEncouragement"]8 9...
概念监督学习（Supervised Learning）从给定标注的训练数据集中学习出一个函数，根据这个函数为新函数进行标注无监督学习（Unsupervised Learning）从给定无标注的训练数据中学习出一个函数，根据这个函数为所有数据标注分类（Classification）分类算法通过对已知类别训练数据集的分析，从中发现分类规则，以此预测新数据的类别，分类算法属于监督学习 KNN（K Nearest Neighbors） K近邻分类算法：KNN算法从训练集中找到和新数...
概念 针对因变量为分类变量而进行回归分析的一种统计方法，属于概率型非线性回归优点：算法易于实现和部署，执行效率和准确度高缺点：离散型的自变量数据需要通过生成虚拟变量的方式来使用 在线性回归中，因变量是连续性变量，那么线性回归能根据因变量和自变量存在的线性关系来构造回归方程，因变量变成分类变量后就不存在这种关系了，需通过对数变换来进行处理（Sigmoid函数） 步骤： 1、读取数据；import pandas from pandas...
1、使用scatter_matrix判断个特征的数据分布及其关系 散步矩阵(scatter_matrix) Pandas中散步矩阵的函数原理1 def scatter_matrix(frame, alpha=0.5, figsize=None, ax=None, diagonal=hist, marker=., density_kwds=None,hist_kwds=None, range_padding=0.05, **kwds)参数如下：frame:(DataFrame)，DataFrame对象 alpha:(float,可选)，图像透明度，一般取(0,1] figsize:((float,float),可选)，以英寸单位的图像大小，一般以元组(w...
简单线性回归 步骤： 1、读取数据 2、画出散点图，求x和y 的相关系数：plt.scatter(x,y),x和y是dataframe 3、估计参数模型，建立回归模型：lrModel=LinearRegression() 4、训练模型: lrModel.fit(x,y) 5、对回归模型进行检验: lrModel.score(x,y) 6、利用回归模型进行预测: lrModel.predict() 1 import numpy2 from pandas import read_csv3 from matplotlib import pyplot as plt4 from sklearn.linear_model import LinearRegre...
所需模块 numpy、pandas 相关系数计算 首先使用numpy.mean()方法求出均值，Xsd=numpy.std()方法求出标准差； 然后在通过(X-Xmean)/Xsd公式求出z分数； 最后通过numpy.sum(ZX*ZY)/len(X) 1 import numpy2 3 X=[4 12.5, 15.3, 23.2, 26.4, 33.5, 5 34.4, 39.4, 45.2, 55.4, 60.9]6 Y=[7 21.2, 23.9, 32.9, 34.1, 42.5, 8 43.2, 49.0, 52.8, 59.4, 63.5]9 10 #均值 11 Xmean=numpy.mean(X) 12 Ymean=numpy.mean(...
使用sklearn包 CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵get_feature_names()可看到所有文本的关键字 vocabulary_可看到所有文本关键字和其位置 toarray()可以看到词频矩阵的结果TfidfTransformer是统计CountVectorizer中每个词语的tf-idf权值 TfidfVectorizer可以把CountVectorizer、TfidfTransformer合并起来，直接生成tfidf值 其关键参数：max_df：这个给定特征可以应用在tf-idf矩阵中，泳衣描述单...
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())–sentence 为待提取的文本 –topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20 –withWeight 为是否一并返回关键词权重值，默认值为 False –allowPOS 仅包括指定词性的词，默认值为空，即不筛选 模块：os、codecs、pandas、jieba、 import os import codecs import pandas import jieba import jieba.analysefilePaths = [] contents ...
1、语料库构建 由于不像之前是对很多个文件进行词频统计，所以不需要使用os.walk()方法遍历每一个文件； 只需使用codecs.open()打开相应的文件，(记得close)； 然后使用jieba模块中的load_userdict()方法导入词库import jieba import numpy import codecs import pandasfile=codecs.open("C:\\Users\\Jw\\Desktop\\python_work\\Python数据挖掘实战课程课件\\2.5\\红楼梦.txt","r",encoding="utf-8")content=file.read() file.clos...
词云绘制 1、语料库的搭建、分词来源、移除停用词、词频统计 使用方法：os.path.join(path,name) #连接目录与文件名或目录 结果为path/name import os import os.path import codecsfilePaths=[] fileContents=[] for root,dirs,files in os.walk("D:\\Python\\Python数据挖掘\\Python数据挖掘实战课程课件\\2.4\\SogouC.mini\\Sample"):for name in files:filePath=os.path.join(root,name)filePaths.append(filePath)f=codec...