以下是为您整理出来关于【统计学习方法】合集内容，如果觉得还不错，请帮忙转发推荐。
参考了http://blog.sina.com.cn/s/blog_bceeae150102v11v.html#post % 感知机学习算法的原始形式，算法2.1参考李航《统计学习方法》书中第二章的算法P29close allclear allclcX=[3,3;4,3;1,1];Y=[1,1,-1];%训练数据集及标记learnRate=1;%学习率Omega=zeros(1,size(X,2))b=0 %% ω和b的初值 i=1;k=0;while 1 if Y(i)*(sum(Omega.*X(i,:))+b)<=0 %该点未被正确分类，调整之 Omega=Omega+learnRate*Y(i)*X(i,:); b=b...
参考博客 Liam Q博客 和李航的《统计学习方法》感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型 感知机模型如下：f(x)= sign(w*x+b) 其中，x为输入向量，sign为符号函数，括号里面大于等于0，...
第2章 感知机感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化求得感知机模型。2.1 感知机模型定义(感知机)：假设输入空间(特征空间)是X--Rn，输出空间是 Y=...
只有亲自用代码实现才算真正理解算法,有时候也要在不断的修改调试中理解，更何况只看不敲代码呢？ 代码： % date : 2019/01/02 % author: Dufy % 关于感知机算法 % 输入： x1, x2数据点 % y 为分类，1为正，-1为负close all; clc clear format compact i=0; a = -1;x1=[3 4 1]; x2= [3 3 1]; y = [1 1 -1]; n = length(x1);alpha = 1;w= [0 0]‘; b= 0; %初值flag = 0while( 1 )for i = 1:nif (y(i)*([x1(i) x2(...
最近在看李航老师的《统计学习方法》，打算实现每一个算法。置于算法的具体介绍和讲解，此处不做详细介绍，需要了解算法内容的同学，可以看一下书上的对应章节。 这次实现数据参照书中第二章例2.1 实现了感知机学习算法的原始形式 #!/usr/bin/env python # -*- coding:utf-8 -*- # author= icesunimport numpy as np# 感知机学习算法的原始形式 #!/usr/bin/env python # -*- coding:utf-8 -*- # author= icesunimport numpy as np#...
k近邻算法 k近邻算法基本描述给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最相近的ｋ个实例，这ｋ个实例的多数属于某个类，就把该输入实例分为这个类．ｋ近邻模型 该模型有三个基本要素：**距离度量，ｋ值的选择，分类决策规则**．当这三个要素确定后，便能对于任何一个新的输入实例，给出唯一确定的分类．这里用图片说明更清楚，对于训练集中的每一个样本，距离该点比其他点更近的所有点组成一片区域，叫做单...
只有亲自用代码实现才算真正理解算法,有时候也要在不断的修改调试中理解，更何况只看不敲代码呢？ 代码： % date : 2019/01/02 % author: Dufy % 关于感知机算法 % 输入： x1, x2数据点 % y 为分类，1为正，-1为负close all; clc clear format compact i=0; a = -1;x1=[3 4 1]; x2= [3 3 1]; y = [1 1 -1]; n = length(x1);alpha = 1;w= [0 0]; b= 0; %初值flag = 0while( 1 )for i = 1:nif (y(i)*([x1(i) x2...
经过前三篇的学习笔记，对理论上的支持向量机算是稍微了解了，如何去求解前三篇学习笔记中的对偶问题呢？在这一篇学习笔记中将给出答案。 凸二次规划的对偶问题： $$\min_{\alpha} \frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_iy_iy_jK(x_i,x_j) - \sum_{i=1}^{N}\alpha_i$$ $$s.t. \sum_{i=1}^{N}\alpha_iy_i = 0$$ $$ 0 \leq \alpha_i \leq C, i=1,2,...,N$$ 支持向量机的学习问题可以形式化为求解凸二次规划问题...
强烈推荐徐亦达老师关于EM算法的讲解视频，本文根据徐老师和李航老师统计学习方法整理，由于公式推导太多，笔记为手写。其中包含混合高斯模型的理解，形象化解释，以及习题链接。 习题 习题9.1和9.3习题9.4
朴素贝叶斯法首先训练朴素贝叶斯模型，对应算法4.1(1)，分别计算先验概率及条件概率，分别存在字典priorP和condP中（初始化函数中定义）。其中，计算一个向量各元素频率的操作反复出现，定义为count函数。 # 初始化函数定义了先验概率和条件概率字典，并训练模型 def __init__(self, data, label):self.priorP = {}self.condP = {}self.train(data, label) count函数，输入一个向量，输出一个字典，包含各元素频率 # 给一个向量，返...