构建神经网络2

更新网络参数

• 更新参数最简单的算法就是SGE（随机梯度下降）
• 具体的算法公式表达式为：weight=weight-learning_rate*gradient

import torch.optim as optiom

# 构建优化器
optiomizer=optiom.SGD(net.parameters(),lr=0.01)
# 第二部将优化器梯度清零
optiomizer.zero_grad()
# 第三部执行网络计算并计算损失值
output=net(input)
loss=criterion(output,target)
# 第四步执行反向传播
loss.backward()
# 第五步更新参数
optiomizer.step()
小结：
学习构建一个神经网络的典型流程：
　　定义一个拥有可学习参数的神经网络；
　　遍历训练数据集
　　处理输入数据使其流经神经网络
　　计算损失值
　　将网络参数的梯度进行反向传播
　　以一定的规则更新网络的权重
学习了损失函数的定义：
　　采用torch.nn.MSELoss()计算均方误差
　　通过loss.backward()进行反向传播计算时，整张计算图将对loss进行自动求导，所有属性requires_grad=True 都将参与梯度求导的运算，并将梯度累加到Tensors中的.grad属性中。
学习了反向传播的计算方法：
　　在pytorch中执行反向传播非常简便，全部的操作就是loss.backward()
　　在执行反向传播之前，要先将梯度清零，否则梯度会在不同的批次数据之间被累加。
　　　　net.zero_grad()
　　　　loss.backward()
学习了参数的更新方法：
　　定义优化器来执行参数的优化与更新：
　　　　optimizer=optim.SGD(net.parameters(),lr=0.01)
　　通过优化器来执行具体的参数更新：
　　　　optimizer.step()

原文：https://www.cnblogs.com/jacobshuo/p/14783059.html