机器学习中的“算法”是什么？ 机器学习中的“算法”是在数据上运行以创建机器学习“模型”的过程。 机器学习算法执行“模式识别”。算法从数据中“学习”，或者对数据集进行“拟合”。 机器学习算法有很多。比如，我们有分类的算法，如 K- 近邻算法；回归的算法，如线性回归；聚类的算法，如 K- 均值算法。 下面是机器学习算法的例子： 线性回归 逻辑回归 决策树 人工神经网络 K- 最近邻 K- 均值 你可以把机器学习算法想象成计算...
目录K-Means 等聚类算法K-Means 算法及扩展经典 K-Means 算法K-Means++ 算法elkan K-Means 算法Mini Batch K-Means 算法FCM 聚类算法SOM 自组织映射地图REFERENCE K-Means 等聚类算法 K-Means 算法及扩展 经典 K-Means 算法 K-Means 算法是无监督的聚类算法, 给定样本集 \(D = \{ \mathbf{x}_1, \mathbf{x}_2, \cdots, \mathbf{x}_N \}\), 假设簇划分为 \(\mathcal{C} = \{C_1, C_2, \cdots, C_k\}\), K-Means 算法的目标是最小化平...
机器学习算法（二）: 朴素贝叶斯(Naive Bayes)-1 1. 实验室介绍 1.1 实验环境 python3.7numpy >= ‘1.16.4’sklearn >= ‘0.23.1’ ——问题：sklearn的安装 1.2 朴素贝叶斯的介绍 朴素贝叶斯算法（Naive Bayes, NB) 是应用最为广泛的分类算法之一。它是基于贝叶斯定义和特征条件独立假设的分类器方法。由于朴素贝叶斯法基于贝叶斯公式计算得到，有着坚实的数学基础，以及稳定的分类效率。NB模型所需估计的参数很少，对缺失数据不太...
1.1朴素贝叶斯的介绍 朴素贝叶斯算法（Naive Bayes, NB) 是应用最为广泛的分类算法之一。它是基于贝叶斯定义和特征条件独立假设的分类器方法。由于朴素贝叶斯法基于贝叶斯公式计算得到，有着坚实的数学基础，以及稳定的分类效率。NB模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。当年的垃圾邮件分类都是基于朴素贝叶斯分类器识别的。 什么是条件概率，我们从一个摸球的例子来理解。我们有两个桶：灰色桶和绿色桶，...
机器学习算法（一）: 基于逻辑回归的分类预测 1 逻辑回归的介绍和应用 1.1 逻辑回归的介绍 逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。 而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。 逻辑回归模型的优劣...
重磅干货，第一时间送达 1 前言 用一条垂直于X轴或者Y轴的直线将蓝色点和黄色点成功分离，无论这个直线是怎么选取，这个分类都不可能达到100％的准确率。当年感知机的提出为我们解决线性问题提供了解题思路，当面对异或问题的时候，感知机却无能为力。后来引入了激活函数，解决了异或问题，给感知机注入了活力。回到正题，当一条直线无法正确划分这个分类的时候，要怎么做呢？引入激活函数，可以吗？ 2 Bagging Bagging训练流程：在...
1.1 逻辑回归的介绍 逻辑回归（Logistic regression，简称LR）其实是一个分类模型，对于逻辑回归而言，最为突出的两点就是其模型简单和模型的可解释性强。 逻辑回归模型的优劣势: 优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低；缺点：容易欠拟合，分类精度可能不高 1.2 逻辑回归的应用 逻辑回归模型广泛用于各个领域，包括机器学习，大多数医学领域和社会科学。例如，最初由Boyd 等人开发的创伤和损伤严重...
一 传统优化算法 机器学习中模型性能的好坏往往与超参数(如batch size,filter size等)有密切的关系。最开始为了找到一个好的超参数，通常都是靠人工试错的方式找到"最优"超参数。但是这种方式效率太慢，所以相继提出了网格搜索(Grid Search, GS) 和 随机搜索(Random Search,RS)。 但是GS和RS这两种方法总归是盲目地搜索，所以贝叶斯优化(Bayesian Optimization,BO) 算法闪亮登场。BO算法能很好地吸取之前的超参数的经验，更快更高效...
概述 决策树（Decision Tree）是一种非参数的有监督学习方法，它是一种树形结构，所以叫决策树。它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树算法容易理解，适用各种数据，在解决各种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛的应用。 决策树的核心有三种算法： ID3：ID3 是最早提出的决策树算法，他就是利用信息增...
K-means是一种最流行的聚类算法 属于无监督学习 可以在数据集分为相似的组（簇），使得组内数据的相似度较高，组间之间的相似度较低 步骤： # 1 从样本中选择k个点作为初始簇中心 # 2 计算每个样本到各个簇中心的距离，将样本换分到距离最近的簇中心所对应的簇中 # 3 根据每个簇中所有样本，重新计算簇中心，并更新 # 4 重复步骤2 3 直到簇中心的位置变化小于指定的阈值或者达到最大迭代次数为 数据读取import numpy as np import ...
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote在数据挖掘方面，经常需要在做特征工程和模型训练之前对数据进行清洗，剔除无效数据和异常数据。异常检测也是数据挖掘的一个方向，用于反作弊，伪基站，金融欺诈等领域。在之前已经学习了异常检测算法One Class SVM和 isolation Forest算法，博文如下： Python机器学习笔记：异常点检测算法——One Class ...
周末去长沙玩了一趟，在长沙呆了四年，然后就像真游客一样去爬了岳麓山和逛了橘子洲头，哈哈，和亲近的人一起玩闹的体验很舒服，很庆幸和感恩有那么一群人宠着你~~ 当然，游乐之余，我也不忘学习的，在回来的高铁上，学了一下朴素贝叶斯算法，这是机器学习里面的经典的分类算法，也是为数不多的基于概率论的分类算法。 朴素贝叶斯算法介绍及实现 1 贝叶斯定理介绍1.1 贝叶斯介绍1.2 经典统计学和贝叶斯统计学简单介绍1.3 贝叶斯定理...
在这段视频中 我们要讲 第二种主要的机器学习问题 叫做无监督学习 从 ::6 开始播放视频并学习脚本0:06 在上一节视频中 我们已经讲过了监督学习 回想起上次的数据集 每个样本 都已经被标明为 正样本或者负样本 即良性或恶性肿瘤 从 ::20 开始播放视频并学习脚本0:20 因此 对于监督学习中的每一个样本 我们已经被清楚地告知了 什么是所谓的正确答案 即它们是良性还是恶性 在无监督学习中 我们用的数据会和监督学习里的看起来有些不一...
超参数 在运行机器学习方法之前需要制定的参数 knn默认值为5（经验值）具体还得实验搜索.. 依然使用手写数字数据集 import numpy as np import matplotlib.pyplot as plt import matplotlib from sklearn import datasetsdigits = datasets.load_digits() #使用scikit-learn中的accuracy_score from sklearn.model_selection import train_test_splitX = digits.data y = digits.target X_train,X_test,y_train,y_test = train_tes...
本文将带你遍历机器学习领域最受欢迎的算法。系统地了解这些算法有助于进一步掌握机器学习。当然，本文收录的算法并不完全，分类的方式也不唯一。不过，看完这篇文章后，下次再有算法提起，你想不起它长处和用处的可能性就很低了。本文还附有两张算法思维导图供学习使用。 在本文中，我将提供两种分类机器学习算法的方法。一是根据学习方式分类，二是根据类似的形式或功能分类。这两种方法都很有用，不过，本文将侧重后者，也就是根...