import numpy as npfrom matplotlib import pyplot as plt from sklearn import neighbors, datasets from matplotlib.colors import ListedColormap from sklearn.neural_network import MLPClassifier## 加载数据集np.random.seed(0) # 使用 scikit-learn 自带的 iris 数据集 iris=datasets.load_iris() # 使用前两个特征，方便绘图 X=iris.data[:,0:2] # 标记值 Y=iris.target data=np.hstack((X,Y.reshape(Y.size,1))) # ...
1、模型的定义 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分裂方法。首先我们来了解下贝叶斯定理和所要建立的模型。对于给定的数据集 假定输出的类别yi ∈ {c1, c2, ...., ck}，朴素贝叶斯通过训练数据集的来学习联合概率分布P(x|y)。但是直接求联合概率分布P(x|y)一般比较难，因此在这里我们近视的求先验概率分布和条件概率分布来替代它。先验概率分布如下 对于先验概率的求解，可以根据大数定理认为就是该类别在...
在介绍朴素贝叶斯分类之前，首先介绍一下大家都比较了解的贝叶斯定理，即已知某条件概率，如何得到两个时间交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)？可以通过如下公式求得：而朴素贝叶斯分类是一种简单的分类算法，称其朴素是因为其思想基础的简单性：就文本分类而言，它认为词袋中的两两词之间的关系是相互独立的，即一个对象的特征向量中的每个维度都是相互独立。朴素贝叶斯分类的正式定义如下：（1）设为一个待...
本篇讲述了神经网络的误差反向传播以及训练一个神经网络模型的流程更多内容参考 机器学习&深度学习神经网络可以理解为两个过程：信号的正向传播和误差的反向传播。在正向的传播过程中，计算方法为Sj=wijxi+bj，其中i是样本、j是层数。然后xj=f(Sj)，f为激活函数。引入激活函数的原因是可以带来一定的非线性特性。由于样本的y是在最后一层输出的，因此在计算误差的时候，需要从最后一层开始计算、针对与之关联的参数进行求梯度，获得...
# coding:utf-8class treeNode: #树结点def__init__(self, nameValue, numOccur, parentNode):self.name = nameValue #这个结点所存的字母self.count = numOccur #结点计数器self.nodeLink = None #指向下一个同字母的结点的指针self.parent = parentNode # 指向父节点的指针，用于上溯self.children = {} #儿子结点的指针集def inc(self, numOccur): #更新结点计数器self.count += numOccurdef creat...
根据不同的计算结果要求，机器学习可分成若干种。这些不同的目的决定了机器学习在实际应用中可分成不同模型和分类。前面已经提到，机器学习还是一门涉及多个领域的交叉学科，也是多个领域的新兴学科，因此，它在实践中会用到不同学科中经典的研究方法，即算法。3.2.1 机器学习的算法流程首先需要知道的是，对于机器学习来说，一个机器学习的过程是一个完整的项目周期，其中包括数据的采集、数据的特征提取与分类，以及之后采用何种...
在搞笑诺贝尔奖Ig Nobel Prize颁奖典礼上, 有一个节目叫24/7，先让科研者先用24秒完整讲解科研工作，然后再用让所有人都明白的7个单词总结。有人讲，如果一个人不能把深奥的理论描述清楚得让跳广场舞的大妈明白，就不能算真正理解中这个理论。虽然凡事都有例外，但是跟外行人聊天或者面试时，我们经常会遇到要把深奥的专业知识讲解出来，让非专业人士都明白其中的精髓。这篇博客将斗胆挑战讲解机器学习中的几个常用的分类算法，字数...
转自：https://blog.csdn.net/qq_43208303/article/details/84837412 决策树是一种机器学习的方法。决策树的生成算法有ID3, C4.5和CART等。决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。决策树是一种十分常用的分类方法，需要监管学习（有教师的Supervised Learning），监管学习就是给出一堆样本，每个样本都有一组属性和一个分类结果，也就是分...
七月算法--12月机器学习在线班-第十九次课笔记-深度学习--CNN 七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com1，卷积神经网络-CNN 基础知识 三个要点 1: 首先将输入数据看成三维的张量(Tensor)2:引入Convolution(卷积)操作，单元变成卷积核，部分连接共享权重 3:引入Pooling(采样)操作，降低输入张量的平面尺寸 ,1.1 张量(Tensor) 高，宽度，深度，eg:彩色图像:rgb,3个深度，图像的大小是160高度，320，...
1、基本概念K近邻法(K-nearest neighbors,KNN)既可以分类，也可以回归。 KNN做回归和分类的区别在于最后预测时的决策方式。 KNN做分类时，一般用多数表决法: 采用车辆不同特征值之间的距离方法进行分类 KNN做回归时，一般用平均法。 基本概念如下：存在一个样本数据集合，所有特征属性已知，并且样本集中每个对象都已知所属分类。对不知道分类的待测对象，将待测对象的每个特征属性与样本集中数据对应的特征属性...
frame 是Pandas的dataframe对象alpha 图像透明度figsize 英寸为单位的图像大小diagonal 只能在{‘hist‘,‘kde‘}中选一个 hist表示直方图 kde表示核密度估计 这个参数是scatter_matrix的关键参数marker 是标记类型，如圈，点，三角号代码from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split iris_dataset=load_iris() X_train,X_test,y_train,y_test=train_test_split(iris_da...
怎样评价我们的学习算法得到的假设以及如何防止过拟合和欠拟合的问题。当我们确定学习算法的参数时，我们考虑的是选择参数来使训练误差最小化。有人认为，得到一个很小的训练误差一定是一件好事。但其实，仅仅是因为这个假设具有很小的训练误差，当将其样本量扩大时，会发现训练误差变大了，这说明它不是一个好的假设。比如下图，拟合的非常好，一旦样本量改变，其训练误差随之增大。 那么我们如何判断一个假设是否是过拟合的呢？...
（一）问题描述电影评分，下图中5部电影，4个人进行评分，评分从0-5，并且为整数，问号处表示没有评分。（二）基于内容的推荐系统给每部电影添加两个features,针对这个问题中分别为romatic和action，范围为1-5，并且给出一部电影这两个参数就已知。这里设，每部电影由xi表示，xi为一个3*1的向量，第一个x0为截距1，第二个为romantic指数，第三个为action指数。每个人的评分也由一个3*1的向量表示，第二个和第三个分别表示每个人对r...
主要机器学习算法的工程适用性分析前段时间AlphaGo跟李世石的大战及相关的深度学习的新闻刷了一遍又一遍的朋友圈。不过这件事情，也只是在机器学习的深度上进一步拓展，而机器学习的广度（也即工程化实践）上，仍然没有什么突破性的理论或实践，用的领域继续用，不用的领域依然不用。工程性分析的作用工程上的琐事机器学习的使命是使计算机强大的运算能力和存储能力转化为推演能力，能转化...
机器学习导图系列教程旨在帮助引导开发者对机器学习知识网络有一个系统的概念，其中有些具体释义并未完善，需要开发者自己探索才能对具体知识有深入的掌握。本项目灵感来自Daniel Formoso的github开源项目。本文作者对其项目进行翻译、整理、批注等二次创作，其中不乏生僻的数学名词，对于没有留过学的作者来说费了很多功夫。我又将导图整理成了知识卡片，方便大家查看。由于机器学习的知识网络很大，导致完整的导图过大，文章中的...