郑捷《机器学习算法原理与编程实践》学习笔记（第六章 神经网络初步）6.3 自组织特征映射神经网路（SMO）
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了郑捷《机器学习算法原理与编程实践》学习笔记（第六章 神经网络初步）6.3 自组织特征映射神经网路（SMO），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4970字，纯文字阅读大概需要8分钟。
内容图文
具体原理网址：http://wenku.baidu.com/link?url=zSDn1fRKXlfafc_tbofxw1mTaY0LgtH4GWHqs5rl8w2l5I4GF35PmiO43Cnz3YeFrrkGsXgnFmqoKGGaCrylnBgx4cZC3vymiRYvC4d3DF3
自组织特征映射神经网络（Self-Organizing Feature Map。也称Kohonen映射），简称为SMO网络，主要用于解决模式识别类的问题。SMO网络属于无监督学习算法，与之前的Kmeans算法类似。所不同的是，SMO网络不需要预先提供聚类的数量，类别的数量是由网络自动识别出来的。
基本思想：将距离小的集合划分为同一类别，而将距离大的个体集合划分为不同的类别。
6.4.1 SMO网络框架
SMO网络比较简单，只有输入层和输出层。
SMO网络的输出层比较有特点，与其他神经网络有所不同的是，它与同层的神经元之间建立侧向连接，并可通过权值的学习形成特定的模式。输出层排列成棋盘的形状。输出层的神经元可以形成多种形式，不同的形式可以映射出不同的模式，如一维线阵、二维平面阵和三维的栅格等。对于二维的训练数据，排列一般是二维平面阵。
实现步骤：
1.输入层网络
输入层网络节点和数据集同行数、同列数，但数据集要归一化。
2.输出网络
一般根据数据集的维度来构建输出网络。例如二维的情况，希望分为4类，输出层可设计为4*2的矩阵
3.权重节点
根据输入层的数据集的维度和输出层的预估分类数，定义权重节点的维度。例如，数据集是二维的，权重的行数就定为2，分4类，权重列数就选4.权重值一般给定一个0~1之间的随机值。
4.定义学习率
学习率会影响收敛的速度，可以定义一个动态的学习函数，随着迭代的次数增加而收敛。本例中的学习函数为：
式中，maxLrate为最大学习率，minLrate为最小学习率，MaxIteration为最大迭代次数，i为当前迭代次数。
5.定义聚类半径函数
学习半径影响聚类的效果。可以定义一个动态的收缩半径函数，随着迭代次数的增加而收缩，本例中定义的半径函数：
数、式中，maxR为最大聚类半径，minR为最小聚类半径，MaxItertion为最大的迭代次数，i为当前迭代的次数。
6.聚类的过程：
- 接受输入：首先计算本次迭代的学习率和学习半径，并且从训练集中随机选取一个样本
- 寻找获胜节点：计算数据集中其他样本与此样本的距离，从中找到点积最小的获胜节点
- 计算优胜邻域：根据这两个节点计算出聚类的邻域，并找出此邻域中所有节点。
- 调整权值：根据学习率、样本数据调整权重。
- 根据计算的结果，为数据集分配类别标签。
- 评估结果：SMO网络属于无监督聚类，输出的结果就是聚类后的标签，如果训练集已经被分类好了，即具有分类标签，那么通过新旧标签的比较就可以反映聚类结果的准确度。
6.4.2 SOM类
初始构造方法：
class
Kohonen(object):
def
__init__
(self):
self.lratemax = 0.8 #最大学习率--欧式距离
self.lratemin = 0.05 #最小学习率--欧式距离
self.rmax = 5.0 #最大聚类半径--根据数据集
self.rmin = 0.5 #最小聚类半径--根据数据集
self.Steps = 1000 #迭代次数
self.lratelist = [] #学习率收敛曲线
self.rlist = [] #学习半径收敛曲线
self.w = [] #权重向量组
self.M = 2 #M*N聚类的总数
self.N = 2 #M/N表示邻域的参数
self.dataMat = [] #外部导入数据集
self.classLabel = [] #聚类后的类别标签
6.4.3 功能函数
（1）数据归一化
def normlize(self,dataMat): #数据标准化归一化
[m,n] = shape(dataMat)
for i in xrange(n-1):
dataMat[:,i] = (dataMat[:,i]-mean(dataMat[:,i]))/(std(dataMat[:,i])+1.0e-10)
return dataMat
（2）计算欧氏距离：
def
distEclud(vecA,vecB):
#
欧式距离
eps = 1.0e-6
return linalg.norm(vecA-vecB) + eps
（3）加载数据文件
def loadDataSet(self,filename): #加载数据集
numFeat = len(open(filename).readline().split(‘\t‘))-1
fr = open(filename)
for line in fr.readlines():
lineArr = []
curLine = line.strip().split(‘\t‘)
lineArr.append(float(curLine[0]))
lineArr.append(float(curLine[1]))
self.dataMat.append(lineArr)
self.dataMat = mat(self.dataMat)
（4）初始化第二层网格
#
coding:utf-8
from numpy import *
class Kohonen(object):
def__init__(self):
self.lratemax = 0.8 #最大学习率--欧式距离
self.lratemin = 0.05 #最小学习率--欧式距离
self.rmax = 5.0 #最大聚类半径--根据数据集
self.rmin = 0.5 #最小聚类半径--根据数据集
self.Steps = 1000 #迭代次数
self.lratelist = [] #学习率收敛曲线
self.rlist = [] #学习半径收敛曲线
self.w = [] #权重向量组
self.M = 2 #M*N聚类的总数
self.N = 2 #M/N表示邻域的参数
self.dataMat = [] #外部导入数据集
self.classLabel = [] #聚类后的类别标签def ratecalc(self,i): #学习率和半径
Learn_rate = self.lratemax-((i+1.0)*(self.lratemax-self.lratemin))/self.Steps
R_rate = self.rmax-((i+1.0)*(self.rmax-self.rmin))/self.Steps
return Learn_rate,R_rate
def normlize(self,dataMat): #数据标准化归一化
[m,n] = shape(dataMat)
for i in xrange(n-1):
dataMat[:,i] = (dataMat[:,i]-mean(dataMat[:,i]))/(std(dataMat[:,i])+1.0e-10)
return dataMat
def distEclud(self,vecA,vecB):
#欧式距离
eps = 1.0e-6
data = vecA-vecB
data = linalg.norm(vecA-vecB) + eps
return linalg.norm(vecA-vecB) + eps
def loadDataSet(self,filename): #加载数据集
numFeat = len(open(filename).readline().split(‘\t‘))-1
fr = open(filename)
for line in fr.readlines():
lineArr = []
curLine = line.strip().split(‘‘)
lineArr.append(float(curLine[0]))
lineArr.append(float(curLine[1]))
self.dataMat.append(lineArr)
self.dataMat = mat(self.dataMat)
def init_grid(self):
k = 0 #构建第二层网络模型
grid = mat(zeros((self.M*self.N,2)))
for i in xrange(self.M):
for j in xrange(self.N):
grid[k,:] = [i,j]
k += 1
return grid
def train(self):
dm,dn = shape(self.dataMat) #1.构建输入网络
normDataset = self.normlize(self.dataMat) #归一化数据
grid = self.init_grid() #初始化第二层分类器
self.w = random.rand(self.M*self.N,dn)#3.随机初始化两层之间的权重值# distM = self.distEclud #确定距离公式#4.迭代求解if self.Steps < 5*dm:
self.Steps = 5*dm #设定最小迭代次数for i in xrange(self.Steps):
lrate,r = self.ratecalc(i) #1)计算当前迭代次数下的学习率和分类半径 self.lratelist.append(lrate)
self.rlist.append(r)
#2)随机生成样本索引，并抽取一个样本
k = random.randint(0,dm)
mySample = normDataset[k,:]
#3)计算最优节点：返回最小距离的索引值
minIndx =[self.distEclud (mySample,i) for i in self.w]
minIndx = minIndx.index(min(minIndx))
# self.w[minIndx,:] = self.w[minIndx,:]+lrate*(mySample[0]-self.w[minIndx,:])#4)计算邻域
d1 = ceil(minIndx/self.M) #计算此节点在第二层矩阵中的位置
d2 = mod(minIndx,self.M)
distMat = [self.distEclud(mat([d1,d2]),i) for i in grid]
nodelindx = (array(distMat) < r).nonzero()
for j in xrange (shape(self.w)[1]): #5)按列更新权重if sum(nodelindx == j):
self.w[:,j] = self.w[:,j]+lrate*(mySample[0]-self.w[:,j])
#主循环结束
self.classLabel = range(dm) #分配和存储聚类后的类别标签for i in xrange(dm):
self.classLabel[i] = distM(normDataset[i,:],self.w).argmin()
self.classLabel = mat(self.classLabel)
SMOnet = Kohonen()
SMOnet.loadDataSet(‘testSet2.txt‘)
SMOnet.train()
资料来源：郑捷《机器学习算法原理与编程实践》 仅供学习研究
原文：http://www.cnblogs.com/wuchuanying/p/6385245.html
内容总结
以上是互联网集市为您收集整理的郑捷《机器学习算法原理与编程实践》学习笔记（第六章 神经网络初步）6.3 自组织特征映射神经网路（SMO）全部内容，希望文章能够帮你解决郑捷《机器学习算法原理与编程实践》学习笔记（第六章 神经网络初步）6.3 自组织特征映射神经网路（SMO）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。