''' 数据集：Mnist 训练集数量：60000 测试集数量：10000 ------------------------------ 运行结果： 正确率：81.72%（二分类）'''import numpy as np import timedef loadData(fileName):'''加载Mnist数据集:param fileName:要加载的数据集路径:return: list形式的数据集及标记'''print('start to read data')# 存放数据及标记的listdataArr = []labelArr = []# 打开文件fr = open(fileName, 'r')# 将文件按行读取for line in fr...
文章转载自《程序员杂志》2017.11 成为一名合格的开发工程师不是一件简单的事情，需要掌握从开发到调试到优化等一系列能力，这些能力中的每一项掌握起来都需要足够的努力和经验。而要成为一名合格的机器学习算法工程师（以下简称算法工程师）更是难上加难， 因为在掌握工程师的通用技能以外，还需要掌握 一张不算小的机器学习算法知识网络。下面我们就将成为一名合格的算法工程师所需的技能进行拆分，一起来看一下究竟需要掌握哪些...
Python机器学习——预测分析核心算法 第 6 章 集成方法 import pandas as pd import numpy as np from sklearn import tree from sklearn.tree import DecisionTreeRegressor from sklearn.externals.six import StringIO import math import matplotlib.pyplot as plt import ostarget_url = "http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv" data=pd.read_csv(target_url,sep=';')...
什么是pagerank算法： 该算法的核心思想就是“一个网页的访问量越多，这个网页越是优质的，如果很多优质的网页都指向一个网页，那么这个网页往往也是优质的。”这个的意思是网页的重要性等于所有指向这个网页的网页的重要性之和。 pagerank算法有什么用呢？ 往往用于搜索引擎中的根据网页之间的超链接计算的技术，而将网页进行排名的要素直以，又称网页排名，谷歌左侧排名。 pagerank算法的具体实现： R（i）=将每一个网页抽象成一...
逻辑回归(Logistic Regression, LR) 逻辑回归是一种广义线性模型，通过对数概率函数，将线性函数的结果进行映射，从而将目标函数的取值空间从\((- \infty ,+\infty )\)映射到了\((0,1)\)，从而可以处理分类问题。注意：逻辑回归是一种分类算法。前置知识对数概率函数 又称对数几率函数，sigmoid函数等。函数表达式： \[ g(z)=\frac{1}{1+e^{-z}} \] s形曲线，值域：\((0,1)\) 且其导数满足： \[ g(z)=g(z)(1-g(z)) \] 梯度 梯度的本...
机器学习100天系列学习笔记基于机器学习100天(中文翻译版),机器学习100天(英文原版） 所有代码使用iPython Notebook实现 完整代码 目录 实验综述 数据集 1.数据预处理 2.使用k-NN对训练集进行训练 3.对测试集进行预测 4.生成混淆矩阵 实验综述 数据集1.数据预处理'''1. 导入相关库''' import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline'''2. 导入数据集''' data = pd.read_csv('Social_...
一、概念 线性回归（Linear Regression）是回归算法中比较简单的一种，是一种监督学习算法，类似于逻辑回归，但是线性回归不需要Sigmoid函数处理。 线性回归会拟合出一条直线，这条线可以某种程度上代表这些点的发展趋势和分布，拟合出线后，就可以推测后续点的分布，从而实现预测。 二、计算 除 Sigmoid函数外类似逻辑回归。 三、实现 算法分别使用sklearn和自己实现的算法实现线性回归：# !/usr/bin/env python # -*- coding...
1. 前言 在机器学习中，种类最多的一类算法要属很类算法，本文对机器学习中的各种分类算法的优缺点做一个总结。 2. 贝叶斯分类法 2.1 优点所需估计的参数少，对于缺失数据不敏感。 有着坚实的数学基础，以及稳定的分类效率。2.2 缺点假设属性之间相互独立，这往往并不成立。（喜欢吃番茄、鸡蛋，却不喜欢吃番茄炒蛋）。 需要知道先验概率。 分类决策存在错误率。3. 决策树 3.1 优点不需要任何领域知识或参数假设。 适合高维数据。 ...
聚类：聚类是一种无监督的学习，它将相似的对象归到同一个簇中。有点像全自动分类。聚类方法几乎可以应用于所有对象，簇内的对象越相似，聚类的效果越好。聚类分析试图将相似对象归入同一簇，将不相似对象归到不同簇。相似这一概念取决于所选的相似度计算方法。 K-均值聚类算法：优点：易于实现。缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢。适用于：数值型数据。k-均值是发现给定数据集的k个簇的算法。簇的个数k是用户...
0引言 作为一个机器学习方面的小白，在闵老师课上学的两个聚类算法，即经典的K-means聚类和基于随机游走的聚类算法，是我学习到的头两个与机器学习相关的算法。算法课上，闵老师先讲了简单但是经典的K-means聚类算法，让我们对聚类算法有了一个初步的理解，紧接着又花了大量的时间剖析了基于随机游走的聚类算法。五周十二次的课程，我学到的不只是算法本身，下面将从几个方面来总结我对本课程的收获。 1两个算法 （1）K-means聚类算...
传统的机器学习任务从开始到建模的一般流程是：获取数据 -> 数据预处理 -> 训练建模 -> 模型评估 -> 预测，分类。本文我们将依据传统机器学习的流程，看看在每一步流程中都有哪些常用的函数以及它们的用法是怎么样的。希望你看完这篇文章可以最为快速的开始你的学习任务。1. 获取数据 1.1 导入sklearn数据集sklearn中包含了大量的优质的数据集，在你学习机器学习的过程中，你可以通过使用这些数据集实现出不同的模型，从而提高你的...
一、概念 逻辑回归(Logistic Regression,LR)是一种广义的线性回归分析模型,属于监督学习算法，需要打标数据，可以用在回归、二分类和多分类等问题上,最常用的是二分类。 线性回归就是通过一条曲线区分不同的数据集，在二分类问题上会有一条直线对其进行区分，如下：逻辑回归需要每组数据都是都是数值型的，因为需要对其进行运算，得到直线系数，打标数据一般是0和1。 二、计算 逻辑回归的输出是一组特征系数，使用了 y=wx+b这种函...
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 最小二乘法也是一种优化方法，求得目标函数的最优值。并且也可以用于曲线拟合，来解决回归问题。难怪《统计学习方法》中...
转自：http://python.jobbole.com/86811/ 目录1 什么是随机森林1.1 集成学习 1.2 随机决策树 1.3 随机森林 1.4 投票2 为什么要用它 3 使用方法3.1 变量选择 3.2 分类 3.3 回归4 一个简单的Python示例 结语前言： 随机森林是一个非常灵活的机器学习方法，从市场营销到医疗保险有着众多的应用。它可以用于市场营销对客户获取和存留建模或预测病人的疾病风险和易感性。 随机森林能够用于分类和回归问题，可以处理大量特征，并能够帮助...
转自：https://blog.csdn.net/pipisorry/article/details/46618991 1、确定性模式（Deterministic Patterns）：确定性系统考虑一套交通信号灯，灯的颜色变化序列依次是红色-红色/黄色-绿色-黄色-红色。这个序列可以作为一个状态机器，交通信号灯的不同状态都紧跟着上一个状态。 注意每一个状态都是唯一的依赖于前一个状态，所以，如果交通灯为绿色，那么下一个颜色状态将始终是黄色——也就是说，该系统是确定性的。确定...