原文地址：https://elitedatascience.com/machine-learning-algorithms 在本指南中，我们将通过现代机器学习算法进行实用，简洁的介绍。虽然存在其他类似的指南列表，但它们并没有真正解释每种算法的实际权衡，这是我们希望在这里做的。 我们将根据自己的经验讨论每种算法的优缺点。 对机器学习算法进行分类是棘手的，有几种合理的方法; 机器学习算法可以分为生成/判别，参数/无参数，监督/非监督等分类。 例如，Scikit-Learn的...
一，引言先说个K-means算法很高大上的用处，来开始新的算法学习。我们都知道每一届的美国总统大选，那叫一个竞争激烈。可以说，谁拿到了各个州尽可能多的选票，谁选举获胜的几率就会非常大。有人会说，这跟K-means算法有什么关系？当然，如果哪一届的总统竞选，某一位候选人是绝对的众望所归，那自然能以压倒性优势竞选成功，那么我们的k-means算法还真用不上。但是，我们应该知道2004年的总统大选中，候选人的得票数非常接近，接近...
1）机器学习模型理解 统计学习，神经网络2）预测结果的衡量 代价函数（cost function）、损失函数（loss function） 3）线性回归是监督学习
机器学习基础算法__python实现(基于numpy等基础库) ?# 博客转自https://blog.csdn.net/weixin_39561100/article/details/80879211 主要是将《机器学习实战》中的算法实现一遍，后续会慢慢更新...... 决策树ID3分类的实现：https://github.com/ZhangXiangCHN/Demo/blob/master/DecisionTree_for_ID3.py K近邻算法的实现(基于矩阵计算)：https://github.com/ZhangXiangCHN/Demo/blob/master/KNN.py 逻辑回归算法的实现：https://gith...
机器学习算法-逻辑回归一. 逻辑回归模型1.1 逻辑回归定义1.2 逻辑回归模型二. 代价函数求解2.1 定义代价函数的方法2.2 代价函数求解方法-梯度下降三. Sklearn 参数说明四. 常见问题参考 一. 逻辑回归模型 1.1 逻辑回归定义 LR 是一种简单、高效的常用分类模型，能处理二分类或者多分类。 1.2 逻辑回归模型 sigmoid 函数： 对线性回归的结果做一个在函数g上的转换，可以变化为逻辑回归，这个函数g在逻辑回归中我们一般取为sigmoid函...
【问题】 Kmeans算法中，K值所决定的是在该聚类算法中，所要分配聚类的簇的多少。Kmeans算法对初始值是比较敏感的，对于同样的k值，选取的点不同，会影响算法的聚类效果和迭代的次数。 【解决方案】 最常用最简单的方法可视化数据，然后观察出聚类聚成几类比较合适。 绘制出k-average with cluster distance to centroid的图表，观察随着k值的增加，曲线的下降情况，当曲线不再“急剧”下降时，就是合适的k值。 计算不同k值下kme...
最小二乘法的核心思想是保证所有数据误差的平方和最小，但我们是否认真思考过为什么数据误差平方和最小便会最优，本文便从最大似然估计算法的角度来推导最小二乘法的思想合理性，下面我们先了解一下最大似然估计和最小二乘法，最后我们通过中心极限定理克制的误差ε服从正态分布来引出最大似然估计和最小二乘法的关系一、最大似然估计先从贝叶斯公式说起： P(W∣X)= P(X∣W)P(W)P(X) P\left( W \middle| X \right) = \ \frac{P\lef...
1、基本思想 物以类聚、人以群分，一个实例与它周围的实例属于同一类的概率较大。 2、算法 给定一个训练数据集，对新输入的实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。 3、代码实现 这里，选用了欧氏距离，k的默认值为3，使用了sklearn提供的digits数据集来进行测试。 ''' Input: X_train: (M, N) matrixy_train: (M, ) vectorX_test: (K, L) matrixy_test: (K, ) ...
【火炉炼AI】机器学习026-股票数据聚类分析-近邻传播算法 (本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2， tushare 1.2) 有一位朋友很擅长炒股，听说其资产已经达到了两百多万，我听后对其敬佩得五体投地，遂虚心向其请教炒股之秘诀，他听后，点了一根烟，深深地吸了一口，然后慢悠悠地告诉我，秘诀其实很简单，你先准备一千万，炒着炒着就能炒到两百万。。。我听后狂喷鼻血。。。 虽...
【火炉炼AI】机器学习027-项目案例：用聚类算法建立客户细分模型 (本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 ) 客户细分是市场营销成功的前提，我们从市场中获取的数据一般都没有标记，要想对这些市场数据进行客户细分，将客户划分簇群，这也是一种典型的无监督学习问题。 本项目拟用各种不同的聚类算法来建立客户细分模型，并比较这些聚类算法在这一问题上的优虐。1. 准备数据集...
1.线性回归 简述： 在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变量都是一次方）。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。 1.1 举个例子说明线性回归数据：工资和年龄（2个特征，即2个自变量） 目标：预测银行会贷款给我多少钱（标签） ...
//转载https://www.cnblogs.com/pinard/p/5970503.html 在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。梯度在微积分里面，对多元函数的参数求?偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(?f/?x, ?f/?y)T,简称grad f(x,y...
机器学习实战之kNN算法 ? 机器学习实战这本书是基于python的，如果我们想要完成python开发，那么python的开发环境必不可少： （1）python3.52,64位，这是我用的python版本 （2）numpy 1.11.3,64位，这是python的科学计算包，是python的一个矩阵类型，包含数组和矩阵，提供了大量的矩阵处理函数，使运算更加容易，执行更加迅速。 （3）matplotlib 1.5.3，64位，在下载该工具时，一定要对应好python的版本，处理器版本，matplotl...
一、导入 1.1有监督问题和无监督问题 首先说一下有监督问题和无监督问题，所谓有监督问题呢 就是在模型训练过程中有标签数据，反之，无监督学习是没有标签数据的。 1.2回归和分类 什么是回归呢？通俗来说，最终的预测结果是一个数，就是回归；预测结果是一个类别，那就是分类。 二、线性回归 2.1 线性回归的定义接下来。。。。转载转载。。。。线性回归需要一个线性模型，属于监督学习，因此方法和监督学习应该是一样的，先给定一个...
在机器学习中，有很多的问题并没有解析形式的解，或者有解析形式的解但是计算量很大（譬如，超定问题的最小二乘解），对于此类问题，通常我们会选择采用一种迭代的优化方式进行求解。 ??这些常用的优化算法包括：梯度下降法（gradient descent），共轭梯度法（conjugate gradient），momentum算法及其变体，牛顿法和拟牛顿法（包括l-bfgs），adagrad，adadelta，rmsprop，adam及其变体，nadam。 1.梯度下降法