反向传播算法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了反向传播算法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7781字，纯文字阅读大概需要12分钟。

内容图文

假设，你有这样一个网络层：

技术分享图片

　　第一层是输入层，包含两个神经元i1，i2，和截距项b1；第二层是隐含层，包含两个神经元h1,h2和截距项b2，第三层是输出o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。

　　现在对他们赋上初值，如下图：

技术分享图片

　　其中，输入数据 i1=0.05，i2=0.10;

　　　　　输出数据 o1=0.01,o2=0.99;

　　　　　初始权重 w1=0.15,w2=0.20,w3=0.25,w4=0.30;

　　　　　　　　　 w5=0.40,w6=0.45,w7=0.50,w8=0.55

　　目标：给出输入数据i1,i2(0.05和0.10)，使输出尽可能与原始输出o1,o2(0.01和0.99)接近。

　　Step 1 前向传播

　　1.输入层---->隐含层：

　　计算神经元h1的输入加权和：

技术分享图片

神经元h1的输出o1:(此处用到激活函数为sigmoid函数)：

技术分享图片

　　同理，可计算出神经元h2的输出o2：

　　2.隐含层---->输出层：

　　计算输出层神经元o1和o2的值：

技术分享图片

这样前向传播的过程就结束了，我们得到输出值为[0.75136079 , 0.772928465]，与实际值[0.01 , 0.99]相差还很远，现在我们对误差进行反向传播，更新权值，重新计算输出。

Step 2 反向传播

1.计算总误差

总误差：(square error)

技术分享图片

但是有两个输出，所以分别计算o1和o2的误差，总误差为两者之和：

技术分享图片

2.隐含层---->输出层的权值更新：

以权重参数w5为例，如果我们想知道w5对整体误差产生了多少影响，可以用整体误差对w5求偏导求出：（链式法则）

技术分享图片

下面的图可以更直观的看清楚误差是怎样反向传播的：

技术分享图片

现在我们来分别计算每个式子的值：

计算：

技术分享图片

计算技术分享图片：

技术分享图片

（这一步实际上就是对sigmoid函数求导，比较简单，可以自己推导一下）

计算技术分享图片：

技术分享图片

最后三者相乘：

技术分享图片

这样我们就计算出整体误差E(total)对w5的偏导值。

回过头来再看看上面的公式，我们发现：

技术分享图片

为了表达方便，用来表示输出层的误差：

技术分享图片

因此，整体误差E(total)对w5的偏导公式可以写成：

技术分享图片

如果输出层误差计为负的话，也可以写成：

技术分享图片

最后我们来更新w5的值：

技术分享图片

（其中，是学习速率，这里我们取0.5）

同理，可更新w6,w7,w8:

技术分享图片

3.隐含层---->隐含层的权值更新：

　方法其实与上面说的差不多，但是有个地方需要变一下，在上文计算总误差对w5的偏导时，是从out(o1)---->net(o1)---->w5,但是在隐含层之间的权值更新时，是out(h1)---->net(h1)---->w1,而out(h1)会接受E(o1)和E(o2)两个地方传来的误差，所以这个地方两个都要计算。

技术分享图片

计算：

技术分享图片

先计算技术分享图片：

技术分享图片

同理，计算出：

两者相加得到总值：

技术分享图片

再计算：

技术分享图片

再计算：

技术分享图片

最后，三者相乘：

技术分享图片

为了简化公式，用sigma(h1)表示隐含层单元h1的误差：

技术分享图片

最后，更新w1的权值：

同理，额可更新w2,w3,w4的权值：

技术分享图片

　　这样误差反向传播法就完成了，最后我们再把更新的权值重新计算，不停地迭代，在这个例子中第一次迭代之后，总误差E(total)由0.298371109下降至0.291027924。迭代10000次后，总误差为0.000035085，输出为[0.015912196,0.984065734](原输入为[0.01,0.99]),证明效果还是不错的。

python代码：

#coding:utf-8
import random
import math

#
#   参数解释：
#   "pd_" ：偏导的前缀
#   "d_" ：导数的前缀
#   "w_ho" ：隐含层到输出层的权重系数索引
#   "w_ih" ：输入层到隐含层的权重系数的索引

class NeuralNetwork:
    LEARNING_RATE = 0.5

    def __init__(self, num_inputs, num_hidden, num_outputs, hidden_layer_weights = None, hidden_layer_bias = None, output_layer_weights = None, output_layer_bias = None):
        self.num_inputs = num_inputs

        self.hidden_layer = NeuronLayer(num_hidden, hidden_layer_bias)
        self.output_layer = NeuronLayer(num_outputs, output_layer_bias)

        self.init_weights_from_inputs_to_hidden_layer_neurons(hidden_layer_weights)
        self.init_weights_from_hidden_layer_neurons_to_output_layer_neurons(output_layer_weights)

    def init_weights_from_inputs_to_hidden_layer_neurons(self, hidden_layer_weights):
        weight_num = 0for h in range(len(self.hidden_layer.neurons)):
            for i in range(self.num_inputs):
                if not hidden_layer_weights:
                    self.hidden_layer.neurons[h].weights.append(random.random())
                else:
                    self.hidden_layer.neurons[h].weights.append(hidden_layer_weights[weight_num])
                weight_num += 1

    def init_weights_from_hidden_layer_neurons_to_output_layer_neurons(self, output_layer_weights):
        weight_num = 0for o in range(len(self.output_layer.neurons)):
            for h in range(len(self.hidden_layer.neurons)):
                if not output_layer_weights:
                    self.output_layer.neurons[o].weights.append(random.random())
                else:
                    self.output_layer.neurons[o].weights.append(output_layer_weights[weight_num])
                weight_num += 1

    def inspect(self):
        print(‘------‘)
        print(‘* Inputs: {}‘.format(self.num_inputs))
        print(‘------‘)
        print(‘Hidden Layer‘)
        self.hidden_layer.inspect()
        print(‘------‘)
        print(‘* Output Layer‘)
        self.output_layer.inspect()
        print(‘------‘)

    def feed_forward(self, inputs):
        hidden_layer_outputs = self.hidden_layer.feed_forward(inputs)
        return self.output_layer.feed_forward(hidden_layer_outputs)

    def train(self, training_inputs, training_outputs):
        self.feed_forward(training_inputs)

        # 1. 输出神经元的值
        pd_errors_wrt_output_neuron_total_net_input = [0] * len(self.output_layer.neurons)
        for o in range(len(self.output_layer.neurons)):

            # ?E/?z?
            pd_errors_wrt_output_neuron_total_net_input[o] = self.output_layer.neurons[o].calculate_pd_error_wrt_total_net_input(training_outputs[o])

        # 2. 隐含层神经元的值
        pd_errors_wrt_hidden_neuron_total_net_input = [0] * len(self.hidden_layer.neurons)
        for h in range(len(self.hidden_layer.neurons)):

            # dE/dy? = Σ ?E/?z? * ?z/?y? = Σ ?E/?z? * w??
            d_error_wrt_hidden_neuron_output = 0for o in range(len(self.output_layer.neurons)):
                d_error_wrt_hidden_neuron_output += pd_errors_wrt_output_neuron_total_net_input[o] * self.output_layer.neurons[o].weights[h]

            # ?E/?z? = dE/dy? * ?z?/?
            pd_errors_wrt_hidden_neuron_total_net_input[h] = d_error_wrt_hidden_neuron_output * self.hidden_layer.neurons[h].calculate_pd_total_net_input_wrt_input()

        # 3. 更新输出层权重系数
        for o in range(len(self.output_layer.neurons)):
            for w_ho in range(len(self.output_layer.neurons[o].weights)):

                # ?E?/?w?? = ?E/?z? * ?z?/?w??
                pd_error_wrt_weight = pd_errors_wrt_output_neuron_total_net_input[o] * self.output_layer.neurons[o].calculate_pd_total_net_input_wrt_weight(w_ho)

                # Δw = α * ?E?/?w?
                self.output_layer.neurons[o].weights[w_ho] -= self.LEARNING_RATE * pd_error_wrt_weight

        # 4. 更新隐含层的权重系数
        for h in range(len(self.hidden_layer.neurons)):
            for w_ih in range(len(self.hidden_layer.neurons[h].weights)):

                # ?E?/?w? = ?E/?z? * ?z?/?w?
                pd_error_wrt_weight = pd_errors_wrt_hidden_neuron_total_net_input[h] * self.hidden_layer.neurons[h].calculate_pd_total_net_input_wrt_weight(w_ih)

                # Δw = α * ?E?/?w?
                self.hidden_layer.neurons[h].weights[w_ih] -= self.LEARNING_RATE * pd_error_wrt_weight

    def calculate_total_error(self, training_sets):
        total_error = 0for t in range(len(training_sets)):
            training_inputs, training_outputs = training_sets[t]
            self.feed_forward(training_inputs)
            for o in range(len(training_outputs)):
                total_error += self.output_layer.neurons[o].calculate_error(training_outputs[o])
        return total_error

class NeuronLayer:
    def __init__(self, num_neurons, bias):

        # 同一层的神经元共享一个截距项b
        self.bias = bias if bias else random.random()

        self.neurons = []
        for i in range(num_neurons):
            self.neurons.append(Neuron(self.bias))

    def inspect(self):
        print(‘Neurons:‘, len(self.neurons))
        for n in range(len(self.neurons)):
            print(‘ Neuron‘, n)
            for w in range(len(self.neurons[n].weights)):
                print(‘  Weight:‘, self.neurons[n].weights[w])
            print(‘  Bias:‘, self.bias)

    def feed_forward(self, inputs):
        outputs = []
        for neuron in self.neurons:
            outputs.append(neuron.calculate_output(inputs))
        return outputs

    def get_outputs(self):
        outputs = []
        for neuron in self.neurons:
            outputs.append(neuron.output)
        return outputs

class Neuron:
    def __init__(self, bias):
        self.bias = bias
        self.weights = []

    def calculate_output(self, inputs):
        self.inputs = inputs
        self.output = self.squash(self.calculate_total_net_input())
        return self.output

    def calculate_total_net_input(self):
        total = 0for i in range(len(self.inputs)):
            total += self.inputs[i] * self.weights[i]
        return total + self.bias

    # 激活函数sigmoid
    def squash(self, total_net_input):
        return1 / (1 + math.exp(-total_net_input))


    def calculate_pd_error_wrt_total_net_input(self, target_output):
        return self.calculate_pd_error_wrt_output(target_output) * self.calculate_pd_total_net_input_wrt_input();

    # 每一个神经元的误差是由平方差公式计算的
    def calculate_error(self, target_output):
        return0.5 * (target_output - self.output) ** 2

    
    def calculate_pd_error_wrt_output(self, target_output):
        return -(target_output - self.output)

    
    def calculate_pd_total_net_input_wrt_input(self):
        return self.output * (1 - self.output)


    def calculate_pd_total_net_input_wrt_weight(self, index):
        return self.inputs[index]


# 文中的例子:

nn = NeuralNetwork(2, 2, 2, hidden_layer_weights=[0.15, 0.2, 0.25, 0.3], hidden_layer_bias=0.35, output_layer_weights=[0.4, 0.45, 0.5, 0.55], output_layer_bias=0.6)
for i in range(10000):
    nn.train([0.05, 0.1], [0.01, 0.09])
    print(i, round(nn.calculate_total_error([[[0.05, 0.1], [0.01, 0.09]]]), 9))


#另外一个例子，可以把上面的例子注释掉再运行一下:

# training_sets = [
#     [[0, 0], [0]],
#     [[0, 1], [1]],
#     [[1, 0], [1]],
#     [[1, 1], [0]]
# ]

# nn = NeuralNetwork(len(training_sets[0][0]), 5, len(training_sets[0][1]))
# for i in range(10000):
#     training_inputs, training_outputs = random.choice(training_sets)
#     nn.train(training_inputs, training_outputs)
#     print(i, nn.calculate_total_error(training_sets))

原文：https://www.cnblogs.com/Archer-Fang/p/10639112.html

内容总结

以上是互联网集市为您收集整理的反向传播算法全部内容，希望文章能够帮你解决反向传播算法所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1053179.html

来源：【匿名】

【上一篇】Java数据结构和算法(八)--红黑树与2-3树【下一篇】浅谈php实现映射的两种方法（链表和二叉树）

更多 ►

【反向传播算法】教程文章相关的互联网学习教程文章

假设，你有这样一个网络层：　　第一层是输入层，包含两个神经元i1，i2，和截距项b1；第二层是隐含层，包含两个神经元h1,h2和截距项b2，第三层是输出o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。　　现在对他们赋上初值，如下图：　　其中，输入数据 i1=0.05，i2=0.10;　　　　　输出数据 o1=0.01,o2=0.99;　　　　　初始权重 w1=0.15,w2=0.20,w3=0.25,w4=0.30;　　　　　　　　　 w5=0.40,w...

深度学习入门 01----- 神经网络，反向传播算法---轻易理解【图】

机器学习AI算法工程公众号： datayx 深度学习学习7步骤 1．学习或者回忆一些数学知识因为计算机能做的就只是计算，所以人工智能更多地来说还是数学问题[1]。我们的目标是训练出一个模型，用这个模型去进行一系列的预测。于是，我们将训练过程涉及的过程抽象成数学函数：首先，需要定义一个网络结构，相当于定义一种线性非线性函数；接着，设定一个优化目标，也就是定义一种损失函数（loss function）。而训练的过程，就是求解最...

深度学习神经网络中的前向传播和反向传播算法推导【图】

??????????????????????? ??????????????????????? ??????????????????????? ??????????????? 1. 神经网络这是一个常见的神经网络的图：设置学习速率，计算的到w1的权重值3. 计算获取最佳的权重我们将获取的新的权重不停的迭代，迭代一定的次数后直到接近期望值o1:0.5 o2:0.9后，所的到权重w1...w8，就是所需要的权重。???????????? ???????????????????

深度学习-反向传播算法【图】

以此网络为例进行反向传播分析前向传播算法从输入\(x\)经过第一层网络\(W_1\)有 \(W_1 = \begin{equation} \left( \begin{array}{ccc} w_{11} & w_{12} & w_{13} \\ w_{21} & w_{22} & w_{23} \\ w_{31} & w_{32} & w_{33} \\ b_{11} & b_{12} & b_{13} \\ \end{array} \right) \end{equation}\) , \(X_1=\begin{equation}\left( \begin{array}{ccc} i_1 \\ i_2 \\i_3 \\ 1 \end{array}\right)\end{equation}\), \(Z_1 = \begin{e...

零基础入门深度学习(3) - 神经网络和反向传播算法【图】

向量化编程参考： https://www.zybuluo.com/hanbingtao/note/476663

深度学习之神经网络（反向传播算法）（三）【图】

神经网络神经网络最开始是受生物神经系统的启发，为了模拟生物神经系统而出现的。大脑最基本的计算单元是神经元，人类的神经系统中大概有86亿的神经元，它们之间通过1014-1015的突触相连接。每个神经元从它的树突(dendrites)接受输入信号，沿着唯一的轴突（axon）产生输出信号，而轴突通过分支（branches of axon），通过突触（synapses）连接到其他神经元的树突，神经元之间就这通过这样的连接，进行传递。如下图。链式法则先来...

深度学习基础2--神经网络参数的反向传播算法【图】

1 代价函数假设神经网络的训练样本有m个，每个包含一组输入x和一组输出信号y，L表示神经网络层数，S_I表示每层的neuron个数(S_l表示输出层神经元个数)，S_L代表最后一层中处理单元的个数。　　将神经网络的分类定义为两种情况：二类分类和多类分类，二类分类：表示哪一类；K类分类：表示分到第i类；k>2 　　我们回顾逻辑回归问题中我们的代价函数为：在逻辑回归中，我们只有一个输出变量，又称标量（scalar），也只有一个因变量y，...

深度学习之反向传播算法【图】

直观理解反向传播反向传播算法是用来求那个复杂到爆的梯度的。上一集中提到一点，13000维的梯度向量是难以想象的。换个思路，梯度向量每一项的大小，是在说代价函数对每个参数有多敏感。如上图，我们可以这样里理解，第一个权重对代价函数的影响是是第二个的32倍。我们来考虑一个还没有被训练好的网络。我们并不能直接改动这些激活值，只能改变权重和偏置值。但记住，我们想要输出层出现怎样的变动，还是有用的。我们希望图像...

DeepLearning系列（2）：NN（神经网络）及反向传播算法【图】

前一章介绍了Deep Learning 中DBN算法（DL 系列一），发现当参数W经过stacked RBM 后，还需要Supervised Learning，即NN来优化参数。然而怎样去优化呢？参见 UFLDL教程之神经网络与反向传导算法，以及 Dark_Scope 的NN代码解读。本章将结合DBN与NN的算法前一章介绍了Deep Learning 中DBN算法（DL 系列一），发现当参数W经过stacked RBM 后，还需要Supervised Learning，即NN来优化参数。然而怎样去优化呢？参见 UFLDL教程之神...

神经网络反向传播算法数学原理【图】

原文链接：https://blog.csdn.net/weixin_41718085/article/details/79381863原文地址：https://blog.csdn.net/weixin_41718085/article/details/79381863 摘要: 最近在学习 Coursera 上 Andrew Ng 的 Machine Learning 课程。这是一个面向应用，注重实践而尽量避免数学证明的课程，好处在于能快速帮助更多新人入门。然而从新手到高手的路是绕不开数学的。第五周的课程讲授了人工神经网络参数的训练，其中用到了反向传播算法。本文...

神经网络——反向传播算法【图】

神经网络的损失函数为 \[J\left( \Theta \right) = - \frac{1}{m}\left[ {\sum\limits_{i = 1}^m {\sum\limits_{k = 1}^k {y_k^{\left( i \right)}\log {{\left( {{h_\Theta }\left( {{x^{\left( i \right)}}} \right)} \right)}_k} + \left( {1 - y_k^{\left( i \right)}} \right)\log \left( {1 - {{\left( {{h_\Theta }\left( {{x^{\left( i \right)}}} \right)} \right)}_k}} \right)} } } \right] + \frac{\lambda }{{2m}}\...

算法 - 最热教程

浅谈SQLServer查询优化器中的JOIN算法有没那种可逆算法是密文比明文短的呢？...javascript-类似Excel里面的NORMDIST函...C++中的分治算法及常见题目汇总压缩感知重构算法综述-学习笔记 c++中内置函数qsort（快速排序）和bsea...一、fpga图像处理算法整合基于遗传算法（deap）的非线性函数寻优...集成学习-Bagging集成学习算法随机森林...机器学习笔记（九）聚类算法及实践（K-...

首页 / 算法 / 反向传播算法

反向传播算法

内容导读

内容图文

内容总结

内容备注

内容手机端

【反向传播算法】教程文章相关的互联网学习教程文章