机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。 目录链接 (1) 牛顿法(2) 拟牛顿条件(3) DFP 算法(4) BFGS 算法(5) L-BFGS 算法 作者: peghoty 出处: http://blog.csdn.net/itplus/article/d...
【学习笔记】网络流算法简单入门【大前言】网络流是一种神奇的问题，在不同的题中你会发现各种各样的神仙操作。而且从理论上讲，网络流可以处理所有二分图问题。二分图和网络流的难度都在于问题建模，一般不会特意去卡算法效率，所以只需要背一两个简单算法的模板就能应付大部分题目了。\[ QAQ \]一：【基本概念及性质】【网络流基本概念】网络流 \((NetWork\)\(Flow)\) ： 一种类比水流的解决问题的方法。 （下述概念均会用水流进...
K-近邻算法一、算法概述（1）采用测量不同特征值之间的距离方法进行分类优点： 精度高、对异常值不敏感、无数据输入假定。缺点： 计算复杂度高、空间复杂度高。（2）KNN模型的三个要素kNN算法模型实际上就是对特征空间的的划分。模型有三个基本要素：距离度量、K值的选择和分类决策规则的决定。距离度量距离定义为：\[L_p(x_i,x_j)=\left( \sum^n_{l=1} |x_i^{(l)} - x_j^{(l)}|^p \right) ^{\frac{1}{p}}\] 一般使用欧式距离：p =...
2.4.3 64位整数输入输出long long除了cin,cout，也可以借助于printf和scanf语句，但对应的占位符缺是和平台与编译器相关的：在Linux中，gcc很同意的用%lld；在Windows中，MinGW的gcc和VC6都需要用%I64d；但VS2008却是用%lld。2.4.4 C++中的输入输出问题是经典的“A+B”问题：输入若干对整数，输出每对之和。第1种方法：#include <cstdio> //功能和C中的stdio.h很接近，但有些许不同usingnamespace std; int main() {int a, b;while...
最近接触了pLSA模型，由于该模型中引入了主题作为隐变量，所以需要使用期望最大化（Expectation Maximization）算法求解。为什么需要EM算法 数理统计的基本问题就是根据样本所提供的信息，对总体的分布或者分布的数字特征作出统计推断。所谓总体，就是一个具有确定分布的随机变量，来自总体的每一个iid样本都是一个与总体具有相同分布的随机变量。 参数估计是指这样一类问题——总体所服从的分布类型已知，但某些参数未知...
http://www.ai-start.com/dl2017/html/lesson2-week2.html优化算法 (Optimization algorithms) Mini-batch 梯度下降（Mini-batch gradient descent） 理解mini-batch梯度下降法（Understanding mini-batch gradient descent）指数加权平均数（Exponentially weighted averages）理解指数加权平均数（Understanding exponentially weighted averages） 数加权平均的偏差修正（Bias correction in exponentially weighted averages）...
主要内容： 一.Mini-Batch Gradient descent 二.Momentum 四.RMSprop 五.Adam 六.优化算法性能比较 一.Mini-Batch Gradient descent 二.Momentum 四.RMSprop 五.Adam 六.优化算法性能比较
感知机—神经网络最基本的模型 感知机（perceptron）是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取1和0）。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面.其中，w0? 是一个偏差值，这个条件是必要的，如果没有这个条件，切平面会经过原点。我们需要这个偏差值控制决策平面到原点的距离。 下图中感知机实现了与门和或门的功能为了求得合适的超平面，我们导入了基于误分类的损...
图游走类算法的目标：学习出图中每一个节点的一维表示，即node embeddings： 1.得到node embeddings之后，可以进行下游任务（节点分类等） 2.通过node embeddings可以学习节点和邻居的关系，更好的表示图结构与图特征的信息 那么，如何得到node embeddings呢？ 答案是：图游走类算法，下图简单的说明了什么是图游走（图中展示的游走序列并不是全部），通过图表示学习使用图上的多次游走得到的序列，从而得到节点的一维表示（用于下...
singleLink.php[php] 单向链表完成英雄排行管理 查询英雄 添加英雄 删除英雄 修改英雄 no=$no; $this->name=$name; $this->nickname=$nickname; } } //创建一个head头，该head只是一个头，不放入数据 $head=new Hero(); //创建一个英雄 $hero=new Hero(1,宋江,及时雨); //链接 $head->next=$hero; $hero2=new Hero(2,卢俊义,玉麒麟); //链接 //现在使用的是比较二的方法，马上改进，这样是为了方便理解 $her...
韩顺平_PHP程序员玩转算法公开课(第一季)01_算法重要性_五子棋算法_汉诺塔_回溯算法_学习笔记_源代码图解_PPT文档整理文西马龙：http://blog.csdn.net/wenximalong/ 课程说明：算法是程序的灵魂，为什么有些网站能够在高并发，和海量吞吐情况下依然坚如磐石,大家可能会说: 网站使用了服务器集群技术、数据库读写分离和缓存技术(比如memcahced和redis等),那如果我再深入的问一句，这些优化技术又是怎样被那些天才的技术高手设计出来...
韩顺平_PHP程序员玩转算法公开课(第一季)02_单链表在内存中存在形式剖析_学习笔记_源代码图解_PPT文档整理文西马龙：http://blog.csdn.net/wenximalong/ 链表――最灵活的数据结构 链表用来解决复杂的问题和算法是很方便的。内容介绍 1.什么是链表 2.单向链表 3.双向链表 4.环形链表 5.使用环形链表解决约瑟夫问题链表――什么是链表 链表是有序的列表，但是它在内存中是分散存储的。链表无处不在，比如在操作系统中，文件和文件之...
韩顺平_PHP程序员玩转算法公开课(第一季)03_单链表crud操作之_水浒英雄排行算法_学习笔记_源代码图解_PPT文档整理文西马龙：http://blog.csdn.net/wenximalong/singleLink.php单向链表完成英雄排行管理查询英雄添加英雄删除英雄修改英雄no=$no;$this->name=$name;$this->nickname=$nickname;}}//创建一个head头，该head只是一个头，不放入数据$head=new Hero();//创建一个英雄$hero=new Hero(1,'宋江','及时雨');//链接$head->next...
首先，我们知道，主要的机器学习方法分为监督学习和无监督学习。监督学习主要是指我们已经给出了数据和分类，基于这些我们训练我们的分类器以期达到比较好的分类效果，比如我们前面讲的Logistic回归啊，决策树啊，SVM啊都是监督学习模型。无监督学习就是指我们就只有数据，没有分类结果，然后根据数据进行建模能够给出哪些样本是属于一类的一个过程，通常我们就称之为聚类。 今天我主要介绍以下几种最常见的聚类算法，包括K-Means算...
Having a solid base of algorithm knowledge and technique is one characteristic that separates the truly skilled programmers from the novices. 是否具有扎实的算法知识和技术基础，是区分真正熟练的程序员与新手的一项重要特征。 1. 循环不变式的三Having a solid base of algorithm knowledge and technique is one characteristic that separates the truly skilled programmers from the novices. 是否具有扎实的算法知...