经过前三篇的学习笔记，对理论上的支持向量机算是稍微了解了，如何去求解前三篇学习笔记中的对偶问题呢？在这一篇学习笔记中将给出答案。 凸二次规划的对偶问题： $$\min_{\alpha} \frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_iy_iy_jK(x_i,x_j) - \sum_{i=1}^{N}\alpha_i$$ $$s.t. \sum_{i=1}^{N}\alpha_iy_i = 0$$ $$ 0 \leq \alpha_i \leq C, i=1,2,...,N$$ 支持向量机的学习问题可以形式化为求解凸二次规划问题...
强烈推荐徐亦达老师关于EM算法的讲解视频，本文根据徐老师和李航老师统计学习方法整理，由于公式推导太多，笔记为手写。其中包含混合高斯模型的理解，形象化解释，以及习题链接。 习题 习题9.1和9.3习题9.4
只有亲自用代码实现才算真正理解算法,有时候也要在不断的修改调试中理解，更何况只看不敲代码呢？ 代码： % date : 2019/01/02 % author: Dufy % 关于感知机算法 % 输入： x1, x2数据点 % y 为分类，1为正，-1为负close all; clc clear format compact i=0; a = -1;x1=[3 4 1]; x2= [3 3 1]; y = [1 1 -1]; n = length(x1);alpha = 1;w= [0 0]; b= 0; %初值flag = 0while( 1 )for i = 1:nif (y(i)*([x1(i) x2...
Description求含有数字a且不能被a整除的4位整数的个数，并求这些整数的和Input多组测试数据，先输入整数T表示组数然后每组输入1个整数a(1<=a<=9)Output对于每组测试数据输出一行，每行2个数分别是个数与和Sample Input1 3Sample Output2112 10568016#include <stdio.h> int search(int x,int y) {int a,b,count=0;b=x;while(x!=0){a=x%10;x=x/10;if(a==y&&b%y!=0){count++;break;}}if(count==0){return 0;}else{return 1;} } int m...
k近邻算法 k近邻算法基本描述给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最相近的ｋ个实例，这ｋ个实例的多数属于某个类，就把该输入实例分为这个类．ｋ近邻模型 该模型有三个基本要素：**距离度量，ｋ值的选择，分类决策规则**．当这三个要素确定后，便能对于任何一个新的输入实例，给出唯一确定的分类．这里用图片说明更清楚，对于训练集中的每一个样本，距离该点比其他点更近的所有点组成一片区域，叫做单...
算法的原理在： 点击打开链接原理大概意思是：将R,G,B各分量信息 颜色信息划分为 N 区间。 比例如以下图：4X4X4 的区间 red 0-63 64-127 128-191 192-255 blue 0-63 43 78 18 0 64-127 45 67 33 2 128-191 127 58 25 8 192-255 140 47 47 13在统计 各个区间内的像素数：... MATLAB 代码实现 就算函数是dhist.m 文件 參数 bins 是须要划分的区间。filename 须要计算 直方图的文件名称。result 为计算的直方图结果。function resu...
算法描述币种统计单位给每一位员工发工资（精确到元），为了保证不临时换零钱，使得每个员工取款的张数最少，在取工资前统计所有员工所需要的各种票面的张数（约定票种为100,50,20,10,5,2,1元），并验证币种统计是否正确算法思路算法描述其实是省略了要求，用户肯定是要输入员工数以及各位员工的工资 定义：n位员工，G[n]对应了第n员工的工资 a数组存放100元到1元的面值，a[0]=100,a[1]=50... b数组对应每个面值的张数，b[0]对应10...
最近在看李航老师的《统计学习方法》，打算实现每一个算法。置于算法的具体介绍和讲解，此处不做详细介绍，需要了解算法内容的同学，可以看一下书上的对应章节。 这次实现数据参照书中第二章例2.1 实现了感知机学习算法的原始形式 #!/usr/bin/env python # -*- coding:utf-8 -*- # author= icesunimport numpy as np# 感知机学习算法的原始形式 #!/usr/bin/env python # -*- coding:utf-8 -*- # author= icesunimport numpy as np#...
一、什么是复杂度分析？数据结构和算法解决是“如何让计算机更快时间、更省空间的解决问题”。 因此需从执行时间和占用空间两个维度来评估数据结构和算法的性能。 分别用时间复杂度和空间复杂度两个概念来描述性能问题，二者统称为复杂度。 复杂度描述的是算法执行时间（或占用空间）与数据规模的增长关系。二、为什么要进行复杂度分析？ 2.1 事后统计法 2.2.1 概念通过运行代码跑，统计、监控，得到算法执行的时间和占用的内存大小...