BP算法推导python实现

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了BP算法推导python实现，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6768字，纯文字阅读大概需要10分钟。

内容图文

def sigmoid(inX):
return 1.0/(1+exp(-inX))

‘‘‘
标准bp算法
每次更新都只针对单个样例，参数更新得很频繁s
dataSet 训练数据集
labels 训练数据集对应的标签
标签采用one-hot编码(一位有效编码)，例如类别0对应标签为[1,0],类别1对应标签为[0,1]
alpha 学习率
num 隐层数，默认为1层
eachCount 每一层隐层的神经元数目
repeat 最大迭代次数
算法终止条件：达到最大迭代次数或者相邻一百次迭代的累计误差的差值不超过0.001
‘‘‘
def bp(dataSet, labels, alpha = 0.01, num = 1, eachCount = 10, repeat = 500):
dataSet = mat(dataSet)
m,n = shape(dataSet)
if len(labels) == 0:
print ‘no train data! ‘
return
yCount = shape(labels[0])[1] # 输出神经元的数目
firstWMat = mat(random.sample((n + 1, eachCount))) # 输入层到第一层隐层的w值和阈值，每列第一个为阈值
hideWArr = random.sample((num - 1, eachCount + 1, eachCount)) # 隐藏间的w值和阈值，每列第一个为阈值
lastWMat = mat(random.sample((eachCount + 1, yCount))) # 最后一个隐层到输出神经元的w值和阈值，每列第一个为阈值
hideInputs = mat(zeros((num, eachCount))) # 隐层的输入
hideOutputs = mat(zeros((num, eachCount + 1))) # 隐层的输出
hideOutputs[:, 0] = -1.0 # 初始化隐层输出的每列第一个值为-1，即下一层功能神经元的阈值对应的输入恒为-1
hideEh = mat(zeros((num, eachCount))) # 隐层的梯度项
yInputs = mat(zeros((1, yCount))) # 输出层的输入
i = 0 # 迭代次数
old_ey = 0 # 前一次迭代的累积误差
sn = 0 # 相邻迭代的累计误差的差值不超过0.001的次数
while i < repeat:
for r in range(len(dataSet)):
line = dataSet[r]
# 根据输入样本计算隐层的输入和输出
xMat = mat(insert(line, 0, values=-1.0, axis=1))
hideInputs[0, :] = xMat * firstWMat
hideOutputs[0, 1:] = sigmoid(hideInputs[0, :])
for j in range(1, len(hideInputs)):
hideInputs[j, :] = hideOutputs[j - 1, :] * mat(hideWArr[j - 1, :, :])
hideOutputs[j, 1:] = sigmoid(hideInputs[j, :])
# 根据与输出层连接的隐层的输出值计算输出层神经元的输入
yInputs[0, :] = hideOutputs[len(hideInputs) - 1, :] * lastWMat
# 计算近似输出
yHead = sigmoid(yInputs)
# 获取真实类别
yReal = labels[r]
# 计算输出层神经元的梯度项
gj = array(yHead) * array(1 - yHead) * array((yReal - yHead))
#计算隐层的梯度项
lastSumWGj = lastWMat[1:, :] * mat(gj).T
bMb = multiply(hideOutputs[num - 1, 1:], 1 - hideOutputs[num - 1, 1:])
hideEh[num - 1, :] = multiply(bMb, lastSumWGj.T)
for q in range(num - 1):
index = num - 2 - q
hideSumWEh = mat(hideWArr[index])[1:, :] * hideEh[index + 1].T
bMb = multiply(hideOutputs[index, 1:], 1 - hideOutputs[index, 1:])
hideEh[index, :] = multiply(bMb, hideSumWEh.T)
# 更新各层神经元的连接权和阈值
lastWMat[:,:] = lastWMat[:,:] + alpha * hideOutputs[num - 1].T * mat(gj)
firstWMat[:,:] = firstWMat[:,:] + alpha * xMat[0, :].T * mat(hideEh[0, :])
for p in range(num - 1):
hideWArrMat = mat(hideWArr[p])
hideWArrMat[:, :] = hideWArrMat[:, :] + alpha * hideOutputs[p].T * mat(hideEh[p + 1, :])
hideWArr[p] = array(hideWArrMat)
print ‘repeat: %d‘ % i
# 计算迭代累积误差
ey = (yHead - yReal) * (yHead - yReal).T
# 判断是否达到迭代终止条件
if abs(ey - old_ey) < 0.001:
sn = sn + 1
old_ey = ey
if sn >= 100:
break
else:
sn = 0
old_ey = ey
i = i + 1
return firstWMat, hideWArr,lastWMat, old_ey
获取到了训练参数后，我们就可以使用以下代码对输入向量进行类别预测：
‘‘‘
获取y的近似输出
‘‘‘
def getYHead(inX, yCount, firstWMat, hideWArr, lastWMat):
num = len(hideWArr) + 1 # 隐层数目
eachCount = shape(hideWArr)[2] # 每一层隐层的神经元数目
hideInputs = mat(zeros((num, eachCount))) # 隐层的输入
hideOutputs = mat(zeros((num, eachCount + 1))) # 隐层的输出
hideOutputs[:, 0] = -1.0 ## 初始化隐层输出的每列第一个值为-1，即下一层功能神经元的阈值对应的输入恒为-1
yInputs = mat(zeros((1, yCount))) # 输出层的输入
# 计算隐层的输入
xMat = mat(insert(inX, 0, values=-1.0, axis=1))
hideInputs[0, :] = xMat * firstWMat
hideOutputs[0, 1:] = sigmoid(hideInputs[0, :])
for j in range(1, len(hideInputs)):
hideInputs[j, :] = hideOutputs[j - 1, :] * mat(hideWArr[j - 1, :, :])
hideOutputs[j, 1:] = sigmoid(hideInputs[j, :])

# 计算输出层的输入
yInputs[0, :] = hideOutputs[len(hideInputs) - 1, :] * lastWMat

# 计算近似输出
yHead = sigmoid(yInputs)
return yHead
需要注意的是，不管是训练数据中的类别数据，还是上面的分类函数给出的分类结果，采用的都是one-hot（一位有效）编码，例如对于手写识别系统，如果分类结果是10，则输出的类别会是一个10维的向量，每一维代表了类别为对应下标的概率大小。因为这里被没有对其进行正则化处理，因此总和不一定为1.0.
下面使用一份《机器学习与实战》图书逻辑回归一章附带的一份数据集来对上述分类算法进行训练和测试，数据集如下：

-0.017612 14.053064 0
-1.395634 4.662541 1
-0.752157 6.538620 0
-1.322371 7.152853 0
0.423363 11.054677 0
0.406704 7.067335 1
0.667394 12.741452 0
-2.460150 6.866805 1
0.569411 9.548755 0
-0.026632 10.427743 0
0.850433 6.920334 1
1.347183 13.175500 0
1.176813 3.167020 1
-1.781871 9.097953 0
-0.566606 5.749003 1
0.931635 1.589505 1
-0.024205 6.151823 1
-0.036453 2.690988 1
-0.196949 0.444165 1
1.014459 5.754399 1
1.985298 3.230619 1
-1.693453 -0.557540 1
-0.576525 11.778922 0
-0.346811 -1.678730 1
-2.124484 2.672471 1
1.217916 9.597015 0
-0.733928 9.098687 0
-3.642001 -1.618087 1
0.315985 3.523953 1
1.416614 9.619232 0
-0.386323 3.989286 1
0.556921 8.294984 1
1.224863 11.587360 0
-1.347803 -2.406051 1
1.196604 4.951851 1
0.275221 9.543647 0
0.470575 9.332488 0
-1.889567 9.542662 0
-1.527893 12.150579 0
-1.185247 11.309318 0
-0.445678 3.297303 1
1.042222 6.105155 1
-0.618787 10.320986 0
1.152083 0.548467 1
0.828534 2.676045 1
-1.237728 10.549033 0
-0.683565 -2.166125 1
0.229456 5.921938 1
-0.959885 11.555336 0
0.492911 10.993324 0
0.184992 8.721488 0
-0.355715 10.325976 0
-0.397822 8.058397 0
0.824839 13.730343 0
1.507278 5.027866 1
0.099671 6.835839 1
-0.344008 10.717485 0
1.785928 7.718645 1
-0.918801 11.560217 0
-0.364009 4.747300 1
-0.841722 4.119083 1
0.490426 1.960539 1
-0.007194 9.075792 0
0.356107 12.447863 0
0.342578 12.281162 0
-0.810823 -1.466018 1
2.530777 6.476801 1
1.296683 11.607559 0
0.475487 12.040035 0
-0.783277 11.009725 0
0.074798 11.023650 0
-1.337472 0.468339 1
-0.102781 13.763651 0
-0.147324 2.874846 1
0.518389 9.887035 0
1.015399 7.571882 0
-1.658086 -0.027255 1
1.319944 2.171228 1
2.056216 5.019981 1
-0.851633 4.375691 1
-1.510047 6.061992 0
-1.076637 -3.181888 1
1.821096 10.283990 0
3.010150 8.401766 1
-1.099458 1.688274 1
-0.834872 -1.733869 1
-0.846637 3.849075 1
1.400102 12.628781 0
1.752842 5.468166 1
0.078557 0.059736 1
0.089392 -0.715300 1
1.825662 12.693808 0
0.197445 9.744638 0
0.126117 0.922311 1
-0.679797 1.220530 1
0.677983 2.556666 1
0.761349 10.693862 0
-2.168791 0.143632 1
1.388610 9.341997 0
0.317029 14.739025 0
这是一个二分类问题，包含了100个样本，每个样本包含两个特征的取值以及一个类别标签。

以下代码将从文本文件中读取上述数据集并转化为我们所需的格式：

def loadDataSet(fileName):
dataMat = []
labelMat = []
with open(fileName, ‘r‘) as fr:
for line in fr.readlines():
lineArr = line.strip().split()
dataMat.append([float(lineArr[0]), float(lineArr[1])])
if int(lineArr[2]) == 0:
labelMat.append([1.0, 0.0])
else:
labelMat.append([0.0, 1.0])
return mat(dataMat), mat(labelMat)
训练和测试的代码为：
def test():
dataSet, labels = loadDataSet(‘testSet.txt‘)
firstWMat, hideWArr, lastWMat,ey = bp(dataSet, labels)
labelsHead = []
for line in dataSet:
yHead = getYHead(line, 2, firstWMat, hideWArr, lastWMat)
labelsHead.append(yHead)
errorCount = 0
for i in range(len(labels)):
if labels[i, 0] == 1:
yReal = 0
else:
yReal = 1
if labelsHead[i][0, 0] > labelsHead[i][0, 1]:
yEs = 0
else:
yEs = 1
if yReal != yEs:
print ‘error when test: [%f, %f], real: %d, error: %d‘ %(dataSet[i][0, 0], dataSet[i][0, 1], yReal, yEs)
errorCount = errorCount + 1
print ‘error rate: %f‘ %(float(errorCount) / len(dataSet))
return labelsHead
为了简单，以上代码把同一份数据集既当作了训练数据，也当作了测试数据，最后的正确率大概在97%。

原文：https://www.cnblogs.com/limingqi/p/11830247.html

内容总结

以上是互联网集市为您收集整理的BP算法推导python实现全部内容，希望文章能够帮你解决BP算法推导python实现所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1286288.html

来源：【匿名】

【上一篇】python3-列表【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【BP算法推导python实现】教程文章相关的互联网学习教程文章

def sigmoid(inX): return 1.0/(1+exp(-inX)) ‘‘‘标准bp算法每次更新都只针对单个样例，参数更新得很频繁sdataSet 训练数据集labels 训练数据集对应的标签标签采用one-hot编码(一位有效编码)，例如类别0对应标签为[1,0],类别1对应标签为[0,1]alpha 学习率num 隐层数，默认为1层eachCount 每一层隐层的神经元数目repeat 最大迭代次数算法终止条件：达到最大迭代次数或者相邻一百次迭代的累计误差的差值不超过0.001‘‘‘def bp(d...

python实现单向链表【代码】

# 节点类class Node:def__init__(self, data, next=None):self.data = dataself.next = nextdef__str__(self):return str(self.data)# 链表类class LinkedList:def__init__(self):self.head = Noneself.length = 0# 链表尾部append数据def append(self, data):node = Node(data)if self.head is None: # head 未空,则此时链表为空，直接将新节点赋给self.headself.head = nodeelse: # head 不为空current = self.headindex = 0wh...

Python基于pygame实现的弹力球效果(附源码)【代码】

本文实例讲述了Python基于pygame实现的弹力球效果。分享给大家供大家参考，具体如下：运行效果：代码部分如下： #A bouncing ball import sys, pygame __author__ = {‘name‘ : ‘Hongten‘,‘mail‘ : ‘hongtenzone@foxmail.com‘,‘QQ‘ : ‘648719819‘,‘Version‘ : ‘1.0‘} pygame.init() size = width, height = 600, 500 speed = [1, 1] black = 249, 130, 57 screen = pygame.display.set_mode(size) ball = pygame.i...

python学习笔记（8）-实现linux系统python命令行光标移动

本节点标题1、实现python命令行光标移动1.1、首先查看有没有安装readline-devel1.2、其次查看readline-devel正确的包名并安装1.3、最终编译安装python=======================================================================================================================1、实现python命令行光标移动在linux系统里，python移动光标上下左右会变成显示ABCD以下方法是在安装python前做的操作。1.1、首先查看有没有安装readli...

Python实现注册和三次验证登录【代码】

# 帐户表account：# sylar:123# alex:456# wusir:789# taibai:789# 需熟练的知识点：文件操作with open()/write()/read()、去掉所有空格strip()、切割split()、所有字母大写upper()# 循环for...in...、判断if...else... def regist(): # 输入数据 # 用户名若存在则不通过：注册失败 # 通过则存入account: mode="r+" print("请输入用户名及密码完成注册") username = input("请输入注册用户名：") password = inp...

python 并发编程基于线程池实现并发的套接字通信【代码】

不应该让服务端随着并发的客户端数量增多，而无数起线程，应该用线程池，限制线程数量，控制最大并发数 io密集型程序，最大并发数是2客户端from socket import *client = socket(AF_INET, SOCK_STREAM) client.connect((‘127.0.0.1‘, 8080))while True:msg = input(">>>:").strip()ifnot msg:breakclient.send(msg.encode("utf-8"))data = client.recv(1024)print(data.decode("utf-8"))client.close()服务端from socket import...

SHELL/Python实现九九乘法表【代码】

shell:a99.sh#!/bin/bash for ((i=1;i<10;i++));do for((j=1;j<=$i;j++));do let num=$i*$j echo "$i * $j ="$num done echo donePython:a99.py#!/usr/bin/python import sysfor i in range(1,10): for j in range(1,i+1): print(" %d*%d=%d" % (i,j,i*j))学习循环语句的好例子。本文出自 “[reed@卢伟开~]#rm -rf /” 博客，请务必保留此出处http://luweikai.blog.51cto.com/1705672/17857...

python之函数实现生产者消费者模型（开发模型）【代码】

#!/usr/bin/env /pythonimport threading import time import Queue import random#生产者 def Proudcer(name,que): while True: if que.qsize() < 3: #如果只剩下3个包子就又开始生产包子（如果队列中的数据为3个时） que.put(‘baozi‘) #包子入队列 print ‘%s 生产包子...‘ % name else: print "%s 仅剩3个包子..." time.sleep(random.randrange(5)) #随机在...

把大数据数字口语化（python与js）两种实现

python复制代码代码如下:def fn(num): ‘‘‘ 把数字口语化 ‘‘‘ ret = ‘‘ num = int(num) if num/10000 == 0: ret = str(num) else: if num/10**8 == 0: if num%10000 != 0: ret = str(num/10000) + ‘万‘ + str(num % 10000) else: ret = str(num/10000) + ‘万‘ else: n2 = num%10**8 if n2%1000...

Python单元测试--使用装饰器实现测试跳过和预期故障【代码】

Python单元测试unittest中提供了一下四种装饰器实现测试跳过和预期故障。（使用Python 2.7.13）请查考Python手册中：https://docs.python.org/dev/library/unittest.htmlThe following decorators implement test skipping and expected failures:#以下装饰器实施测试跳过和预期故障：@unittest.skip(原因)Unconditionally skip the decorated test. reason should describe why the test is being skipped.#无条件跳过装饰测试。 ...

【python实现卷积神经网络】激活函数的实现【代码】

代码来源：https://github.com/eriklindernoren/ML-From-Scratch卷积神经网络中卷积层Conv2D（带stride、padding）的具体实现：https://www.cnblogs.com/xiximayou/p/12706576.html 激活函数并没有多少要说的，根据公式定义好就行了，需要注意的是梯度公式的计算。import numpy as np# Collection of activation functions # Reference: https://en.wikipedia.org/wiki/Activation_functionclass Sigmoid():def__call__(self, x):r...

opencv-python用原图和mask实现抠图【代码】【图】

1、先上图原图：test1.pngmask图：test-mask.png结果图：mask.png 2、代码部分import cv2 from PIL import Image import numpy as npyuantu = "test1.png" masktu = "test1-mask.png"#使用opencv叠加图片 img1 = cv2.imread(yuantu) img2 = cv2.imread(masktu)alpha = 0.5 meta = 1 - alpha gamma = 0 #cv2.imshow(‘img1‘, img1) #cv2.imshow(‘img2‘, img2) #image = cv2.addWeighted(img1,alpha,img2,meta,gamma) image = cv2...

二叉查找树python实现

1. 二叉查找树的定义：左子树不为空的时候，左子树的结点值小于根节点，右子树不为空时，右子树的结点值大于根节点，左右子树分别为二叉查找树2. 二叉查找树的最左边的结点即为最小值，要查找最小值，只需遍历左子树的结点直到为空为止，同理，最右边的结点结尾最大值，要查找最大值，只需遍历右子树的结点直到为空为止。二叉查找树的插入查找和删除都是通过递归的方式来实现的，删除一个结点的时候，先找到这个结点S，如果这个结点...

python接口的实现【代码】

from abc import ABCMeta, abstractmethod class Payment(metaclass=ABCMeta):@abstractmethoddef pay(self, money):passclass Alipay(Payment):def pay(self, money):print(‘支付宝支付%s‘ %money)class Wechatpay(Payment):def pay(self, money):print(‘微信支付%s‘ %money)# Press the green button in the gutter to run the script.if__name__ == ‘__main__‘:p = Wechatpay()p.pay(1000) 通过声明抽象接口Payment，使得...

python实现概率分布【代码】

1. 二项分布（离散）import numpy as np from scipy import stats import matplotlib.pyplot as plt‘‘‘ # 二项分布 (binomial distribution) # 前提：独立重复试验、有放回、只有两个结果 # 二项分布指出，随机一次试验出现事件A的概率如果为p，那么在重复n次试验中出现k次事件A的概率为： # f(n,k,p) = choose(n, k) * p**k * (1-p)**(n-k) ‘‘‘# ①定义二项分布的基本信息 p = 0.4 # 事件A概率0.4 n = 5 # 重复实验5次 k ...

PYTHON - 技术教程分类

Python3 教程 Python3 简介 Python3 环境搭建 Python3 基础语法 Python3 基本数据类型 Python3 解释器 Python3 注释 Python3 运算符 Python3 数字(Number) Python3 字符串 Python3 列表 Python3 元组 Python3 字典 Python3 集合 Python3 编程第一步 Python3 条件控制 Python3 循环语句 Python3 迭代器与生成器 Python3 函数 Python3 数据结构 Python3 模块 Python3 输入和输出 Python3 File Python3 OS Python3 错误和异常 Python3 面向对象 Python3 命名空间/作用域 Python3 标准库概览 Python3 实例 Python3 CGI编程 Python3 MySQL(PyMySQL) Python3 网络编程 Python3 SMTP发送邮件 Python3 多线程 Python3 日期和时间 Python3 内置函数 Python3 MongoDB Python3 urllib python 全部

PYTHON - 最热教程

python如何统计字符串中字母个数？使用Python进行微信公众号开发（三）回...Python+PyQT5的子线程更新UI界面的实例 python时间戳怎么获得？如何获得当前时...vscode调试python时提示无法将“conda”...python接口自动化全局变量access_token...python收取邮件(腾讯企业邮箱)python如何绘制降水图详解python并发获取snmp信息及性能测试...怎么卸载Python3.6？