摘要机器学习算法分类：监督学习、半监督学习、无监督学习、强化学习 基本的机器学习算法：线性回归、支持向量机(SVM)、最近邻居(KNN)、逻辑回归、决策树、k平均、随机森林、朴素贝叶斯、降维、梯度增强 公式、图示、案例机器学习算法分类 机器学习算法大致可以分为：监督学习 | Supervised learning 半监督学习 | Semi-supervised learning 无监督学习 | Unsupervised learning 强化学习 | Reinforcement learningMachine-Learnin...
k近邻算法（k-NearestNeighbor） KNN 概述 \(k\)-近邻（k-NearestNeighbor, KNN）算法是一种基本分类与回归方法。 \(k\)近邻算法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。\(k\)近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其\(k\)个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，\(k\)近邻算法不具有显式的学习过程。 \(k\)近邻算法实际上利用...
原文链接：K-Means聚类算法原理 作者：刘建平Pinard? K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。 1. K-Means原理初探K-Means算法的思想很简单，对于给定的样本集，按照样本之间...
预备知识首先学习两个概念：线性分类：指存在一个线性方程可以把待分类数据分开，或者说用一个超平面能将正负样本区分开，表达式为y=wx，这里先说一下超平面，对于二维的情况，可以理解为一条直线，如一次函数。它的分类算法是基于一个线性的预测函数，决策的边界是平的，比如直线和平面。一般的方法有感知器，最小二乘法。非线性分类：指不存在一个线性分类方程把数据分开，它的分类界面没有限制，可以是一个曲面，或者是多个超平...
机器学习算法的优点和缺点总结 1.正则化算法（Regularization Algorithms） 它是另一种方法（通常是回归方法）的拓展，这种方法会基于模型复杂性对其进行惩罚，它喜欢相对简单能够更好的泛化的模型。 例子：岭回归（Ridge Regression） 最小绝对收缩与选择算子（LASSO） GLASSO 弹性网络（Elastic Net） 最小角回归（Least-Angle Regression）优点：其惩罚会减少过拟合 总会有解决方法缺点：惩罚会造成欠拟合 很难校准2. 集成...
机器学习中讲到的推荐系统（不单独写博了）：
1.本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性 机器学习主要分为这四大类：回归与分类的区别：线性回归定义：通过一个或者多个自变量与因变量之间进行建模的回归方法，其中可以为一个或者多个自变量之间的线性组合。 回归预测其实就是找到一个权重乘与特征值再加上回归系数。y=w*x+b 机器预测与真实值是有一定的误差的，我们能够尽可能的减小误差，所以就有了损失函数（误差的大小）。 最小二...
一、什么是决策树 决策树是一种常见的机器学习算法，类似人类做决策的过程。他是类似流程图的结构。决策树基本上就是把我们以前的经验总结出来。如果我们要出门打篮球，一般会根据“天气”、“温度”、“湿度”、“刮风”这几个条件来判断，最后得到结果：去打篮球？还是不去？上面这个图就是一棵典型的决策树。我们在做决策树的时候，会经历两个阶段：构造和剪枝。 用决策树分类：**从根节点开始，对实例的某一特征进行测试，根据...
1. 应用K-means算法进行图片压缩 读取一张图片 观察图片文件大小，占内存大小，图片数据结构，线性化 用kmeans对图片像素颜色进行聚类 获取每个像素的颜色类别，每个类别的颜色 压缩图片生成：以聚类中收替代原像素颜色，还原为二维 观察压缩图片的文件大小，占内存大小 源代码：#加载图片 from sklearn.datasets import load_sample_image import matplotlib.pyplot as plt china=load_sample_image("china.jpg") #获...
1）. 扑克牌手动演练k均值聚类过程：>30张牌，3类 1.聚类中心为11,7,3分为3组 2.计算均值9得出均值为12,7,3 3.以12,7,3为聚类中心重新计算 得出均值不变，则成功。 3）. 用sklearn.cluster.KMeans，鸢尾花花瓣长度数据做聚类，并用散点图显示. 4）. 鸢尾花完整数据做聚类并用散点图显示. 5）.想想k均值算法中以用来做什么？ 计算每个比赛中各个队伍的均分以及分辨队伍的强弱，或者工件制作过程中的误差值。
上篇博客介绍的层次聚类，尤其是AGNES这一传统的层次聚类算法。这篇博客介绍层次聚类的优化算法。 优化算法 BIRCH算法 BIRCH算法(平衡迭代削减聚类法)：聚类特征使用3元组进行一个簇的相关信息，通过构建满足分枝因子和簇直径限制的聚类特征树来求聚类，聚类特征树其实是一个具有两个参数分枝因子和类直径的高度平衡树；分枝因子规定了树的每个节点的子女的最多个数，而类直径体现了对这一类点的距离范围；非叶子节点为它子女的最大...
新的学习路径：基于泰迪云课程，对数据分析和数据建模，机器学习算法进行统筹，接着是基于大数据的数据挖掘泰迪云代码已经下载，对相关内容进行应用和学习
KNN算法为按距离进行分类的，对于已知的分类，根据欧式距离，最靠近那个分类就被预测为那个分类。 本文只是简单展示一下实现代码，具体的特征和分类，还得自己根据实际场景去调整。 在开始之前注意看看导入的包是否都存在，如不存在的化，请先安装相应的包# -*- coding:utf-8 -*- import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighbor...
理论上讲线性回归模型既可以用于回归，也可以用于分类。解决回归问题，可以用于连续目标值的预测。但是针对分类问题，该方法则有点不适应，因为线性回归的输出值是不确定范围的，无法很好的一一对应到我们的若干分类中。即便是一个二分类，线性回归+阈值的方式，已经很难完成一个鲁棒性很好的分类器了。为了更好的实现分类，逻辑回归诞生了。逻辑回归（Logistic Regression）主要解决二分类问题，用来表示某件事情发生的可能性。逻...
第一个机器学习算法：线性回归与梯度下降 符号解释\(x^{(i)}\),\(y^{(i)}\)：某个训练样本 \(m\)：样本总数量 \(h_{\theta}\)：假设函数Linear regression（线性回归） 如何获得一个线性回归模型？将训练数据放入学习算法，算法通过计算得到一个假设函数。 将\(x\) (需要预测的数据)，通过\(h_\theta\) (假设函数)后，得到\(y\) (估计值)。线性回归的假设函数(hypothesis)的表现形式 \[ h_\theta(x)=\theta_0+\theta_1x \] 很显然这...