1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的...
一、数据挖掘定义 1.技术上的定义及含义 数据挖掘（Data Mining）就是从大量的、不全然的、有噪声的、模糊的、随机的实际应用数据中。提取隐含在当中的、人们事先不知道的、但又是潜在实用的信息和知识的过程。 这个定义包含好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 与数据挖掘相近的同义词有...
一、什么是数据挖掘？ ? ?数据挖掘是人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。知识发现过程由以下三个...
1.决策树算法决策树，又称判定树，是一种类似二叉树或多叉树的树结构。决策树是用样本的属性作为结点，用属性的取值作为分支，也就是类似流程图的过程，其中每个内部 节点表示在一个属性上的测试，每个分支代表一个测试输出，而每个树叶节点代表类或类分布。它对大量样本的属性进行分析和归纳。根结点是所有样本中信息量最 大的属性，中间结点是以该结点为根的子树所包含的样本子集中信息量最大的属性，决策树的叶结点是样本的类别...
一、 概念介绍 定义： 数据挖掘（Data mining）又译为资料探勘、数据采矿。它是数据库知识发现（Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。是计算机科学的一种。 数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。 应用： 近年来，数据挖掘引...
C4.5 C4.5就是一个决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。 决策树构造方法：每次选择一个好的特征以及分裂点作为当前节点的分类条件。 C4.5比ID3改进的地方时： ID3选择属性用的是子树的信息增益(这里可以用很多方法来定义信息，ID3使用的是熵(entropy)(熵是一种不纯度度量准则)),也就是熵的变化值.而C4.5用...
9 平稳时间序列分析模型9.1 AR模型 9.1.1 偏自相关系数9.1.2 定阶 9.1.3 构建数据 9.1.4 绘制ACF与PACF 9.1.5 模型拟合 9.2 MA模型 9.2.1 构建数据 9.2.2 绘制ACF与PACF 9.2.3 模型拟合 9.3 ARMA模型 9.3.1 构建数据 9.3.2 绘制ACF与PACF 9.3.3 模型拟合
6 统计量计算6.1 均值 6.2 方差6.3 自协方差 6.4 自相关系数 7 平稳性检验7.1 绘制时间序列图像 7.1.1 实例一7.1.2 实例二 7.2 绘制自相关系数图7.2.1 pandas绘制 7.2.2 statsmodels绘制 7.3 假设检验--趋势性检验7.3.1 ADF检验 7.3.2 KPSS检验 7.3.3 PP检验 7.4 假设检验--周期性检验 7.4.1 CH检验 7.4.2 OCSB检验 8 纯随机序列 8.1 定义 8.2 纯随机序列的意义8.3 纯随机序列检验 8.3.1 自相关系数...
0 简介 0.1 主题 0.2 目标 1 XGBoost的原理考虑使用二阶导信息 1.1 XGBoost简介 1.2 GDBT损失函数展开 1.3 代码演示# /usr/bin/python # -*- encoding:utf-8 -*-import xgboost as xgb import numpy as np from sklearn.model_selection import train_test_split # cross_validationdef iris_type(s):it = {bIris-setosa: 0,bIris-versicolor: 1,bIris-virginica: 2}return it[s]if __name__ == "__main__":path = ./d...
《数据挖掘-数据-模型-算法》 链接: https://pan.baidu.com/s/1sUWIK_GlV1SOz9y5aXhtNg 提取码: iwdelabuladong的算法小抄 获取链接：https://pan.baidu.com/s/1qpL4t6jmZnZgRvGlt8SSxg 提取码：KfGM
0 简介 0.1 主题0.2 目标 1） 能够掌握传统的集成框架的类型 2） 能够掌握GBDT的算法过程 3） 能够掌握GBDT的残差 1 提升的概念 2 基本函数所有可行的弱函数集合（基函数） 3 目标函数 3.1 目标函数策略 3.2 损失函数 4 最优求解思路 5 最优函数 5.1 过程简介 5.2 GBDT算法核心:残差拟合样本 5.3 小结 6 GDBT算法实验import gzip import pickle as pkl from sklearn.model_selection import...
1 基于随机森林的医疗费用分析与建模预估import warnings warnings.filterwarnings(ignore) # 忽视警告import pandas as pd from matplotlib import pyplot as plt import seaborn as sns from sklearn.ensemble import RandomForestRegressor from sklearn.preprocessing import LabelEncoder, StandardScaler from sklearn.model_selection import train_test_split import numpy as np import sklearn.metrics#1.加载数据，并进...
当我们掌握了一定的机器学习和数据挖掘基础理论后，参加一场数据算法竞赛可以接触真实的业务和数据，将理论知识过渡到工程应用，同时可以在竞赛过程中进行反复地思考，强化对理论知识的理解。本次分享，我将以个人竞赛经历和圈内整体情况为背景和大家聊聊如何进行一场数据挖掘算法竞赛，以及赛前、赛中和赛后需要做哪些事情。最后还将进行一个案例分享，来看看我是如何进行一场比赛的。注：本文详细视频 晚7点在阿里天池分享，链接...
数据竞赛近几年在国内发展迅速，参加数据竞赛对于参赛者来说可以锻炼数据分析，算法建模的能力，运气好的话还可以获得不菲的奖金；对于公司来说，也可以从众多优秀的方案中选取有价值的部分用于自己的生产，是一件互利共赢的事情。但数据竞赛领域是一个相对较新的领域，没有太多系统的学习资料，很多刚接触的朋友都会感到迷茫无从下手。本次分享，将会回顾我近三年的参赛经验，从第一次接触比赛到第一次参加比赛，再到后面如何进行...
K-中心点聚类算法 （1）任意选择k个对象作为初始的簇中心点 （2）指派每个剩余对象给离他最近的中心点所表示的簇 （3）选择一个未被选择的中心点直到所有的中心点都被选择过 （4）选择一个未被选择过的非中心点对象，计算用代替的总代价并记录在S中 ，直到所有非中心点都被选择过。 （5）如果在S中的所有非中心点代替所有中心点后的计算出总代价有小于0的存在，然后找出S中的用非中心点替代中心点后代价最小的一个，并用该非中心点...