目录 1.引言 2.决策树 2.1 决策树与if-then规则 2.2 决策树与条件概率分布 2.3 决策树学习 3.特征选择 4.决策树生成 4.1 ID3生成算法 4.2 C4.5生成算法 5.决策树剪枝 5.1剪枝算法 6.CART算法 6.1 CART回归树生成树 6.2 最小二乘法回归树 6.3 CART分类树生成 6.3.1 基尼指数 6.3.2 CART分类树生成 6.3.3 CART剪枝 6.3.4 CART剪枝流程 7.代码实现 1.引言 决策树（decision tree）是一种分类与回归的方法，顾名思义，决策树呈树形结构...
算法原理 朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。 该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。 但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。 marco 博客https://www.cnblogs.com/marc01in/p...
我们可以看到，梯度就是分别对每个变量进行微分，然后用逗号分割开，梯度是用<>包括起来，说明梯度其实一个向量。 梯度是微积分中一个很重要的概念，之前提到过梯度的意义 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向**这也就说明了为什么我们需要千方百计的求取梯度！**我们需要到达山底，就需要...
文章迁移说明：此文已由lightinglei于2019-02-18发布，是本人的另外一个账号，现同步迁移至本账号 一、正规方程、梯度下降原理介绍 正规方程： 先了解下线性模型，假设我们依据消费者的年龄、性别、职业3个特征来判断是否会进行购物消费，令x1代表年龄、x2代表性别、x3代表职业，则我们可以引入一个预测函数来判断是否会进行消费：f(x)=w1x1+w2x2+w3+w3x3+b，将其转化为向量的形式为： （公式一），其中w=(w1,w2,w3)， b为常数 假...
OPTICS聚类算法原理 基础 OPTICS聚类算法是基于密度的聚类算法，全称是Ordering points to identify the clustering structure，目标是将空间中的数据按照密度分布进行聚类，其思想和DBSCAN非常类似，但是和DBSCAN不同的是，OPTICS算法可以获得不同密度的聚类，直接说就是经过OPTICS算法的处理，理论上可以获得任意密度的聚类。因为OPTICS算法输出的是样本的一个有序队列，从这个队列里面可以获得任意密度的聚类。 定义 OPTICS算法...
原文链接：K-Means聚类算法原理 作者：刘建平Pinard? K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。 1. K-Means原理初探K-Means算法的思想很简单，对于给定的样本集，按照样本之间...
看本文前，最好先看看之前的这一篇关于MD5算法的介绍。 MD5算法原理与常用实现 本文目录定义MD5和SHA-1的碰撞问题常见应用场景1、类似MD5的应用场景2、比特币3、https签名算法会用到SHA-256算法原理1、填补信息2、拿到初始值3、真正的计算java实现和使用 定义 SHA算法（Secure Hash Algorithm），又叫安全散列算法。 SHA算法是基于MD4算法的基础上，演变而来。 但SHA算法出生好，是美国国家安全局设计的。 SHA算法，是一个系列家族...
在做服务器负载均衡时候可供选择的算法有很多，包括： 轮循算法（Round Robin）、哈希算法（HASH）、最少连接算法（Least Connection）、响应速度算法（Response Time）、加权法（Weighted ）等。其中哈希算法是最为常用的算法，比如在nginx+ats / haproxy+squid等CDN架构中，nginx/haproxy所使用的负载均衡算法便是一致性哈希。不仅如此在分布式系统中哈希算法也得到了广泛应用，研究过memcached缓存数据库的人都知道，memcached服...
摘自：http://www.ruanyifeng.com/blog/2013/06/rsa_algorithm_part_one.html 摘自：https://www.cnblogs.com/hiflora/archive/2013/07/04/3171775.html 如果你问我，哪一种算法最重要？ 我可能会回答"公钥加密算法"。 因为它是计算机通信安全的基石，保证了加密数据不会被破解。你可以想象一下，信用卡交易被破解的后果。 进入正题之前，我先简单介绍一下，什么是"公钥加密算法"。 一、一点历史 1976年以前，所有的加密方法都是...
码字不易，如果此文对你有所帮助，请帮忙点赞，感谢！ 一. 双线性插值法原理： ① 何为线性插值？ 插值就是在两个数之间插入一个数，线性插值原理图如下：在位置 x 进行线性插值，插入的值为f(x) ↑ ? ② 各种插值法： 插值法的第一步都是相同的，计算目标图（dstImage）的坐标点对应原图（srcImage）中哪个坐标点来填充，计算公式为： srcX = dstX * (srcWidth/dstWidth) srcY = ...
一、引入FM 在传统的线性模型如LR中，每个特征都是独立的，如果需要考虑特征与特征直接的交互作用，可能需要人工对特征进行交叉组合；非线性SVM可以对特征进行kernel映射，但是在特征高度稀疏的情况下，并不能很好地进行学习。 因子分解机(FactorizationMachine,FM)是由SteffenRendle在2010年提出的一种基于矩阵分解的机器学习算法。算法的核心在于特征组合，以此来减少人工参与特征组合工作。 在计算广告和推荐系统中，CTR预估(cl...
文章目录机器学习算法原理1.1 感知机算法1.1.1 决策函数1.1.1.1 sign函数图像1.1.2 损失函数1.1.3 目标函数1.1.4 目标函数优化问题1.2 线性回归1.2.1 决策函数1.2.2 目标函数1.2.3 目标函数优化问题1.3 逻辑回归简介1.3.1 Sigmoid函数1.3.2 决策函数1.3.3 损失函数1.3.4 目标函数1.3.5 目标函数优化问题1.4 朴素贝叶斯法简介1.4.1 贝叶斯公式1.4.2 朴素贝叶斯法1.5 k近邻算法简介1.5.1 距离度量工具1.6 决策树简介1.7 支持向量机简...
SSD算法介绍 SSD属于one-stage检测方法，主要通过了直接回归目标类别和位置的方式。在进行预测时也正是由于通过不同尺度的特征层上进行预测，所以在图像低分辨率时也能很好的对目标进行检测，保证其精度。在训练的过程中采用了端到端的方式进行训练。 SSD网络结构 基础网络使用了VGG16的网络结构，然后通过对基础网络的改进，并增加了几个不同大小的卷积层来进行不同尺度特征图的提取（改进：去掉了VGG16网络中的两个FC层，并增加...
【机器学习】算法原理详细推导与实现(六):k-means算法 之前几个章节都是介绍有监督学习，这个章节介绍无监督学习，这是一个被称为k-means的聚类算法，也叫做k均值聚类算法。 聚类算法 在讲监督学习的时候，通常会画这样一张图：这时候需要用logistic回归或者SVM将这些数据分成正负两类，这个过程称之为监督学习，是因为对于每一个训练样本都给出了正确的类标签。 在无监督学习中，经常会研究一些不同的问题。假如给定若干个点组成的...
四、逻辑回归 5、梯度下降法 （1）梯度解释偏导数：简单来说是对于一个多元函数，选定一个自变量并让其他自变量保持不变，只考察因变量与选定自变量的变化关系。梯度：梯度的本意是一个向量，由函数对每个参数的偏导组成，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向变化最快，变化率最大。梯度向量的方向即为函数值增长最快的方向，沿着梯度方向可以最快地找到函数的最大值，而我们要求误差的...