K-means聚类 将n个观测点，按一定标准（数据点的相似度），划归到k个聚类（用户划分、产品类别划分等）中。 重要概念：质心K-means聚类要求的变量是数值变量，方便计算距离。 算法实现 R语言实现 k-means算法是将数值转换为距离，然后测量距离远近进行聚类的。不归一化的会使得距离非常远。 补充：scale归一化处理的意义 两个变量之间数值差别太大，比如年龄与收入的数值差别就很大。步骤第一步，确定聚类数量，即k的值 方法：...
https://www.toutiao.com/a6698919092876739079/ Python 手写机器学习最简单的 kNN 算法 苏克1900 Python爬虫与数据挖掘本文 3000 字，预计阅读时间 10 分钟，建议收藏 摘要：从零开始学习机器学习最简单的 kNN 算法。 今天开始，我打算写写机器学习教程。说实话，相比爬虫，掌握机器学习更实用竞争力也更强些。 目前网上大多这类教程对新手都不友好，要么直接调用 Sklearn 包，要么满篇抽象枯燥的算法公式文字，看这些教程你很难...
分类树（决策树）是一种十分常用的分类方法。核心任务是把数据分类到可能的对应类别。 他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。 决策树的理解 熵的概念对理解决策树很重要 决策树做判断不是百分之百正确，它只是基于不确定性做最优判断。 熵就是用来描述不确定性的。 案例：找出共享单车用...
#基础算法分类和汇总 一级分类 二级分类 算法名 一句话概述 输入 输出 原理概述 优点 缺点 实例 监督学习 分类 KNN 监督学习 分类 决策树 监督学习 分类 SVM 监督学习 分类 逻辑回归 监督学习 回归 简单回归 非监督学习 聚类 K-means 非监督学习 关联分析 Apriori 非监督学习 频繁项挖掘 FP-growth ...
获得更多的训练实例——通常是有效的，但代价较大，下面的方法也可能有效，可考虑 先采用下面的几种方法。 1.尝试减少特征的数量 2.尝试获得更多的特征 3.尝试增加多项式特征 4.尝试减少正则化程度
线性回归机器学习基本算法之一的线性回归的基本原理，其要点如下：线性回归假设输出变量是若干输入变量的线性组合，并根据这一关系求解线性组合中的最优系数； 最小二乘法可用于解决单变量线性回归问题，当误差函数服从正态分布时，它与最大似然估计等价； 多元线性回归问题也可以用最小二乘法求解，但极易出现过拟合现象； 岭回归和 LASSO 回归分别通过引入二范数惩罚项和一范数惩罚项抑制过拟合。
逻辑回归机器学习基本算法之一的逻辑回归方法的基本原理，其要点如下：逻辑回归模型是对线性回归的改进，用于解决分类问题； 逻辑回归输出的是实例属于每个类别的似然概率，似然概率最大的类别就是分类结果； 在一定条件下，逻辑回归模型与朴素贝叶斯分类器是等价的； 多分类问题时可以通过多次使用二分类逻辑回归或者使用 Softmax 回归解决。逻辑回归 & 线性回归从数学角度看，线性回归和逻辑回归之间的渊源来源于非线性的对数似然...
导学导学 课程涵盖的内容和理念 课程所使用的主要技术栈机器学习基础机器学习世界的数据 机器学习的主要任务 监督学习，非监督学习，半监督学习和增强学习 批量学习，在线学习，参数学习和非参数学习 和机器学习相关的哲学思考Jupyter Notebook, numpyjupyter notebook基础 jupyter notebook中的魔法命令 Numpy数据基础 创建numpy数组和矩阵 Numpy数组的基本操作 Numpy数组的合并与分割 Numpy中的矩阵运算 Numpy中的聚合运算 Numpy...
K-近邻(KNN)算法是解决分类问题的算法。既可以解决二分类，也可以解决多分类问题。 其实它也可以解决回归问题。 K-近邻原理:某个样本的类别，由与之最相近的K个邻居投票所决定。例子:现在有一个样本集，其中所有数据都已经标记好类别，假设有一个未知类别的样本x需要进行分类。在离这个样本距离最近的K个样本中，统计各个类别的占比。假设k=5时，计算出哪5个样本离未知样本x最近，然后统计它们的类别，如在这5个样本中，有2个属于...
1、知识点""" SVM,也称支持向量机：其优化核心为求取点到平面的距离最大化,主要是解决二分类问题y = wx+b ，且 yi * y(i) >0 恒成立思想：argmax{min[yi *(wx+b) ]/||w||}min[yi *(wx+b) ]:求取距离直线最近的样本点argmax：求取距离最近的样本点距离最大的值优化目标：max(w,b){1/||w||}， 约束条件yi * y(i) >=1 ,采用拉格朗日求取最小值所有边界上的点(这个点也叫支持向量) ，阿尔法不等于 ，不在边界上的点，阿尔法等于0支持...
??????????? ??????????? ??????????? ?????? ?????? 安装pip install lightgbm11gitup网址：https://github.com/Microsoft/LightGBM中文教程http://lightgbm.apachecn.org/cn/latest/index.htmllightGBM简介xgboost的出现，让数据民工们告别了传统的机器学习算法们：RF、GBM、SVM、LASSO……..。现在微软推出了一个新的boosting框架，想要挑战xgboost的江湖地位。顾名思义，lightGBM包含两个关键点：light即轻量级，GBM 梯度提升机...
FP-growth算法只需要对数据库进行两次扫描，故速度要比Apriori算法快。发现频繁项集的基本过程：（1）构建FP树；（2）从FP树中挖掘频繁项集。优点：一般要快于Apriori缺点：实现比较困难，在某些数据集上性能会下降适用数据：标称型1、FP树：用于编码数据集的有效方式FP代表频繁模式（Frequent Pattern）。FP树看上去与其他树类似，但是它通过链接来连接相似元素，被连起来的元素项可以看成一个链表。一个元素项可以在一棵FP树中出...
??????????? ??????????? ??????????? ?????? 摘要之前一直对机器学习很感兴趣,一直没时间去研究,今天刚好是周末,有时间去各大技术论坛看看,刚好看到一篇关于机器学习不错的文章,在这里就分享给大家了.机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法，以供您在工作和学习中参考机器学习的算法很多。很多时候困惑人们都是，很多算...
SKlearn中的Adaboost使用主要调的参数：第一部分是对我们的Adaboost的框架进行调参， 第二部分是对我们选择的弱分类器进行调参。 使用 Adaboost 进行手写数字识别 导入库，载入数据 import pandas as pd import numpy as np import matplotlib.pyplot as pltfrom sklearn.ensemble import AdaBoostClassifier from sklearn.tree import DecisionTreeClassifierfrom sklearn.metrics import accuracy_score from sklearn.model_sele...
朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。对于大多数的分类算法，在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。比如决策树，KNN，逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数，要么是条件分布。但是朴素贝叶斯却是生成方法，该算法原理简单，也易于实现。 1，基本概念朴素贝叶斯：贝叶斯分类时一类分类算...