0 前言 本人HIT计算机研在读，专业带队数学建模，长期更新建模教学，有需要的同学欢迎讨论～ 1 什么是随机森林？ 随机森林属于 集成学习 中的 Bagging（Bootstrap AGgregation 的简称） 方法。如果用图来表示他们之间的关系如下：决策树 – Decision Tree在解释随机森林前，需要先提一下决策树。决策树是一种很简单的算法，他的解释性强，也符合人类的直观思维。这是一种基于if-then-else规则的有监督学习算法，上面的图片可以直观...
致谢：霹雳吧啦Wz：https://space.bilibili.com/18161609 目录 致谢：霹雳吧啦Wz：https://space.bilibili.com/18161609 1 本次要点 1.1 Python库语法 1.2 Pytorch框架语法 2 环境 3 网络结构 4 代码结构 4.1 model.py 4.2 utils.py 4.3 train.py 4.4 test.py ?1 本次要点 1.1 Python库语法 PIL 和 numpy 中维度顺序：H*W*Cenumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数...
分类算法 目标值:类别 1.sklearn转换器和预估器 2.KNN算法 3.模型选择与调优 4.朴素贝叶斯算法 5.决策树 6.随机森林 3.1 sklearn转换器和预估器 转换器 估计器(estimator) 3.1.1 转换器 1.实例化(实例化的是一个转换器类(Transformer)) 2.调用fit_transform(对于文档建立分类词频矩阵,不能同时调用) 标准化: (x - mean) / std fit_transform fit() 计算 每一列的平均值、标准差 transform() (x - mean) / std进行最终的转换 3.1.2 ...
逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。 1、逻辑回归的应用场景广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账号看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器 2、 逻辑回归的原理 2.1 输入逻辑回归的输入就是...
机器学习算法day02_KNN分类算法及应用 课程大纲KNN分类算法原理KNN概述KNN算法图示KNN算法要点KNN算法不足之处KNN分类算法Python实战KNN简单数据分类实践KNN实现手写数字识别KNN算法补充KNN算法中k值的选取类别判定如何选择合适的衡量距离训练样本/性能问题 课程目标： 1、理解KNN算法的核心思想 2、理解KNN算法的实现 3、掌握KNN算法的应用步骤：数据处理、建模、运算和结果判定 4、 1. kNN分类算法原理 1.1 概述 K最近邻（...
机器学习算法day02_贝叶斯分类算法及应用 课程大纲朴素贝叶斯算法原理Bayes算法概述Bayes算法思想Bayes算法要点朴素贝叶斯算法案例1需求Python实现朴素贝叶斯算法案例2需求Python实现 课程目标： 1、理解朴素贝叶斯算法的核心思想 2、理解朴素贝叶斯算法的代码实现 3、掌握朴素贝叶斯算法的应用步骤：数据处理、建模、运算和结果判定 4、 1. 朴素贝叶斯分类算法原理 1.1 概述 贝叶斯分类算法是一大类分类算法的总称 贝叶斯分...
文本分类常用算法比较 本文对文本分类中的常用算法进行了小结，比较它们之间的优劣，为算法的选择提供依据。 一、决策树（Decision Trees） 优点： 1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。...
一、集成学习方法之随机森林集成学习通过建立几个模型组合来解决单一模型预测的问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。 1、什么是随机森林随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。假设你训练了n棵树，其中有n-2棵树的结果类别是1，2棵树的结果的类别是2，那么最后的类别结果就是1。 ...
一、决策树概述 1、决策树思想决策树思想的来源非常朴素，它来源于程序设计中的条件分支语句结构（if-then），最早的决策树就是利用这类结构分割数据的一种分类方法。例如，银行贷款是根据贷款人的各种条件来进行判断是否放贷：可以看到银行贷款可以根据上面的条件依次进行判断，其中很重要的是为什么将是否有房子这个条件先进行判断呢？这也是决策树划分的核心，它的理论来源于信息论。 2、信息熵信息论中很重要的一个概念就是信息...
1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 简述什么是监督学习与无监督学习。 答：分类指监督学习，就是按照某种标准给对象贴标签，再根据标签来区分归类。聚类是指事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程。指无监督学习。 区别是，分类是事先定义好类别 ，聚类则没有事先预定的类别。 2.朴素贝叶斯分类算法 实例 利用关于心脏病患者的临床历史数据集，建立朴素贝叶...
1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 简述什么是监督学习与无监督学习。 答：简述分类与聚类的联系与区别：聚类：在没有训练的条件下把样本划分为若干类。分类：已知存在哪些类，即对于目标数据库中存在哪些类是知道的，要做的就是将每一条记录分别属于哪一类标记出来。区别：两者区别就是条件中有没有已知类别。 简述什么是监督学习与无监督学习： 监督学习：从大量的先前知识中来判断是什么...
1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 简述什么是监督学习与无监督学习。 分类：已有的分类中归类 聚类：聚为未知的若干类 监督学习：从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。 无监督学习：输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类。 2.朴素贝叶斯分类算法 实例 利用关于心...
1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 答： 分类是事先定义好类别 ，类别数不变 ，属于有监督学习； 聚类则没有事先预定的类别，类别数不确定，属于非监督学习。 简述什么是监督学习与无监督学习。 答：监督学习（supervised learning）：通过已有的训练样本（即已知数据以及其对应的输出）来训练，从而得到一个最优模型，再利用这个模型将所有新的数据样本映射为相应的输出结果，对输出...
1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 联系：分类和聚类都是把每一条记录归应到对应的类别，对于想用分析的目标点，都会在数据集寻找离它最近的点，二个都用到了NN算法，结果是一样的。 区别：对于分类来说，在对数据集分类时，我们是知道这个数据集是有多少种类的，比如对一个学校的在校大学生进行性别分类，我们会下意识很清楚知道分为“男”,“女”，也是一种监督学习，一般用KNN算法。 而...
KNN算法为按距离进行分类的，对于已知的分类，根据欧式距离，最靠近那个分类就被预测为那个分类。 本文只是简单展示一下实现代码，具体的特征和分类，还得自己根据实际场景去调整。 在开始之前注意看看导入的包是否都存在，如不存在的化，请先安装相应的包# -*- coding:utf-8 -*- import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighbor...