import numpy as np import matplotlib.pyplot as pltfrom sklearn import datasets iris = datasets.load_iris() X = iris.data[:,2:] y = iris.targetfrom sklearn.tree import DecisionTreeClassifier dt_clf = DecisionTreeClassifier(max_depth = 2,criterion = 'entropy')#熵 dt_clf.fit(X,y)def plot_decision_boundary(model, axis):x0, x1 = np.meshgrid(np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).resh...
python经常作为机器学习的首选，有一个统计，50%以上的机器学习开发者使用python。在学习机器学习之前需要熟悉以下几个python模块： numpyPython没有提供数组，列表（List）可以完成数组，但不是真正的数组，当数据量增大时，它的速度很慢。所以Numpy扩展包提供了数组支持，同时很多高级扩展包依赖它。是以矩阵为基础的数学计算模块，纯数学。SciPySciPy是数学，科学和工程的开源软件。 它包括用于统计，优化，集成，线性代数，傅...
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理 最基本的机器学习算法必须是具有单个变量的线性回归算法。如今，可用的高级机器学习算法，库和技术如此之多，以至于线性回归似乎并不重要。但是，学习基础知识总是一个好主意。这样，您将非常清楚地理解这些概念。在本文中，我将逐步解释线性回归算法。 ? 想法和公式 线性回归使用非常基本的预测思想。公式如下： Y = C + BX 我...
Python机器学习 学习笔记与实践 环境：win10 + Anaconda Python3.8 该篇总结各类监督学习算法的实践使用方法 1、二分类 线性模型也广泛应用于分类问题。我们首先来看二分类。这时可以利用下面的公式进行预测： y? = w[0] * x[0] + w[1] * x[1] + …+ w[p] * x[p] + b > 0 如果函数值小于 0，我们就预测类别 -1；如果函数值大于 0，我们就预测类别 +1。对于所有用于分类的线性模型，这个预测规则都是通用的。 最常见的两种线性分类算...
岭回归 数据 #数据 import numpy as np import matplotlib.pyplot as plt np.random.seed(42) x = np.random.uniform(-3,3,size=100) #在最新版本的sklearn中，所有的数据都应该是二维矩阵，哪怕它只是单独一行或一列。 X = x.reshape(-1,1) y = 0.5 * x + 3 +np.random.normal(0,1,size=100) plt.scatter(x,y)#非线性关系#使用多项式回归 from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScale...
数据清洗 数据清洗的目的不只是要消除错误、冗余和数据噪音，还要能将按不同的、不兼容的规则所得的各种数据集一致起来。 缺失值处理 找到缺失值：（输出每个列丢失值也即值为NaN的数据和，并从多到少排序） #输出数量 total = train.isnull().sum().sort_values(ascending=False) print(total) #输出百分比 percent =(train.isnull().sum()/train.isnull().count()).sort_values(ascending=False) missing_data = pd.concat([tota...
将w的每一行想成一个样本，则第一行是最重要的样本。。第二行次重要。。（Wk特征engen face) CODE 我们使用lfw_people数据集 #人脸识别与特征脸 import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import fetch_lfw_people这个数据集很大有200多m直接用fetch命令下载却失败了，手动下载数据 链接：https://pan.baidu.com/s/11ebeCTH7E24XAgYVL7y_-A 提取码：3gut 复制这段内容后打开百度网盘手机App，操...
数据集加载，本来想使用sklearn中的 fetch_openml函数直接从网站下载数据集，然而现在这条命令不行（似乎是网站问题），因此，尝试用使用本地加载首先在 链接：https://pan.baidu.com/s/163MTS_89EKpJZsO6da5J3w 提取码：it3v 复制这段内容后打开百度网盘手机App，操作更方便哦下载MNIST文件，里面一共有7w个手写数字样本数据，每个数据有28*28=784维。 import numpy as np from sklearn.datasets import fetch_openml#使用此命令...
使用封装后的PCA进行操作 import numpy as np import matplotlib.pyplot as plt from pcaa.PCA import PCA生成数据 X = np.empty((100,2)) X[:,0] = np.random.uniform(0,100,size=100)#产生实数 X[:,1] = 0.75 * X[:,0] + 3. +np.random.normal(0,10,size=100)pca = PCA(n_components=2) pca.fit(X) print(pca.components_)[[ 0.77420752 0.63293184][-0.63292993 0.77420909]]降维操作，此时维度变成1 #降维操作 pca = PCA(n_c...
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote在数据挖掘方面，经常需要在做特征工程和模型训练之前对数据进行清洗，剔除无效数据和异常数据。异常检测也是数据挖掘的一个方向，用于反作弊，伪基站，金融欺诈等领域。在之前已经学习了异常检测算法One Class SVM和 isolation Forest算法，博文如下： Python机器学习笔记：异常点检测算法——One Class ...
周末去长沙玩了一趟，在长沙呆了四年，然后就像真游客一样去爬了岳麓山和逛了橘子洲头，哈哈，和亲近的人一起玩闹的体验很舒服，很庆幸和感恩有那么一群人宠着你~~ 当然，游乐之余，我也不忘学习的，在回来的高铁上，学了一下朴素贝叶斯算法，这是机器学习里面的经典的分类算法，也是为数不多的基于概率论的分类算法。 朴素贝叶斯算法介绍及实现 1 贝叶斯定理介绍1.1 贝叶斯介绍1.2 经典统计学和贝叶斯统计学简单介绍1.3 贝叶斯定理...
在这段视频中 我们要讲 第二种主要的机器学习问题 叫做无监督学习 从 ::6 开始播放视频并学习脚本0:06 在上一节视频中 我们已经讲过了监督学习 回想起上次的数据集 每个样本 都已经被标明为 正样本或者负样本 即良性或恶性肿瘤 从 ::20 开始播放视频并学习脚本0:20 因此 对于监督学习中的每一个样本 我们已经被清楚地告知了 什么是所谓的正确答案 即它们是良性还是恶性 在无监督学习中 我们用的数据会和监督学习里的看起来有些不一...
超参数 在运行机器学习方法之前需要制定的参数 knn默认值为5（经验值）具体还得实验搜索.. 依然使用手写数字数据集 import numpy as np import matplotlib.pyplot as plt import matplotlib from sklearn import datasetsdigits = datasets.load_digits() #使用scikit-learn中的accuracy_score from sklearn.model_selection import train_test_splitX = digits.data y = digits.target X_train,X_test,y_train,y_test = train_tes...
目录 现实问题：“物以类聚，人以群分” 一.KNN算法概述 二.KNN算法介绍 K近邻分类模型算法步骤 距离计算方式 KNN分类图 K值选择 三.KNN特点 KNN算法的优势和劣势 知识巩固 Python实战：KNN数据分类 拓展学习现实问题：“物以类聚，人以群分” 同类的东西常聚在一起，志同道合的人相聚成群一.KNN算法概述 KNN可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一，注意KNN算法是有监督学习中的分类算法，它看起来和另一...