pytorch 神经网络的优化函数

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了pytorch 神经网络的优化函数，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2026字，纯文字阅读大概需要3分钟。

内容图文

下面展示四种优化器使用代码。

// optimizer
import torch
import torch.utils.data as Data
import matplotlib.pyplot as plt
#超参数
LR = 0.01
BATCH_SIZE = 32
EPOCH = 12

#生成伪数据
x=torch.unsqueeze(torch.linspace(-1,1,1000),dim= 1) # x data (tensor) ,shape=(100,1)
y = x.pow(2) +0.2*torch.rand(x.size()) # y=x的平方
# plt.scatter (x.data.numpy(),y.data.numpy())
# plt.show()
torch_dataset=Data.TensorDataset(x,y)
loader=Data.DataLoader(
    dataset=torch_dataset ,
    batch_size=BATCH_SIZE ,
    shuffle= True ,  #随机打乱处理的数据
    num_workers=0,  #dataloader一次性创建num_worker个工作进程
)
#定义网络结构
class Net(torch.nn.Module):
    def __init__(self):
        super(Net,self ).__init__()
        self.hidden= torch.nn.Linear(1,20)
        self.predict=torch.nn.Linear(20,1 )
    def forward(self,x):
            x=torch.relu(self.hidden(x) )
            x=self.predict(x)
            return x

# 四个不同的神经网络
net_SGD         = Net()
net_Momentum    = Net()
net_RMSprop     = Net()
net_Adam        = Net()
nets = [net_SGD, net_Momentum, net_RMSprop, net_Adam]

#四个不同的优化器
opt_SGD =torch.optim.SGD(net_SGD.parameters(), lr=0.5)
opt_Momentum    = torch.optim.SGD(net_Momentum.parameters(), lr=LR, momentum=0.8)
opt_RMSprop =torch.optim.RMSprop(net_RMSprop.parameters(), lr=LR,alpha= 0.9)
opt_Adam =torch.optim.Adam(net_Adam.parameters(), lr=LR,betas=(0.9,0.99) )
optimizers = [opt_SGD, opt_Momentum, opt_RMSprop, opt_Adam]

loss_function = torch.nn.MSELoss()
loss_his=[[],[],[],[]]

for epoch in range(EPOCH):  #训练全部数据EPOCH次
    for step,(batch_x,batch_y) in enumerate(loader):   #enumerate返回(枚举)对象。
        for net,opt,l_his in zip(nets,optimizers ,loss_his ):
            output=net(batch_x )
            loss=loss_function(output ,batch_y )
            opt.zero_grad()  # 清空上一步的残余更新参数值
            loss.backward()  # 误差反向传播, 计算参数更新值
            opt.step()  # 将参数更新值施加到 net 的 parameters 上
            l_his.append(loss.data.numpy())  # loss recoder

labels=['SGD','Momentum','RMSprop','Adam']
for i,l_his in enumerate(loss_his ):
    plt.plot(l_his, label=labels[i] )
plt.legend(loc='best')
plt.xlabel('steps')
plt.ylabel('loss')
plt.ylim(0,0.2)
plt.show()

结果

内容总结

以上是互联网集市为您收集整理的pytorch 神经网络的优化函数全部内容，希望文章能够帮你解决pytorch 神经网络的优化函数所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---