pytorch 神经网络 Optimizer 优化器（SGD，Momentum，RMSprop，Adam）

以下是使用PyTorch实现神经网络分类器的基本步骤： 1. 准备数据集：首先需要准备好数据集，包括训练集、验证集和测试集。可以使用PyTorch内置的数据集，例如MNIST手写数字数据集。 2. 定义模型：定义神经网络模型，包括输入层、隐藏层和输出层。可以使用PyTorch内置的模型，如nn.Sequential()，也可以自定义模型。 3. 定义损失函数：选择适当的损失函数，例如交叉熵损失函数。 4. 定义优化器：选择适当的优化器，例如随机梯度下降（SGD）。 5. 训练模型：使用训练集训练模型，通过反向传播优化模型参数。 6. 验证模型：使用验证集验证模型的性能。 7. 测试模型：使用测试集测试模型的性能，计算模型的准确率、精度、召回率等指标。下面是一个简单的PyTorch代码示例，实现对MNIST手写数字数据集的分类： ```python import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms # 准备数据集 transform=transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))]) trainset=torchvision.datasets.MNIST(root='https://blog.csdn.net/WhiffeYF/article/details/data', train=True, download=True, transform=transform) trainloader=torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True) testset=torchvision.datasets.MNIST(root='https://blog.csdn.net/WhiffeYF/article/details/data', train=False, download=True, transform=transform) testloader=torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False) # 定义模型 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1=nn.Conv2d(1, 6, 5) self.pool=nn.MaxPool2d(2, 2) self.conv2=nn.Conv2d(6, 16, 5) self.fc1=nn.Linear(16 * 4 * 4, 120) self.fc2=nn.Linear(120, 84) self.fc3=nn.Linear(84, 10) def forward(self, x): x=self.pool(torch.relu(self.conv1(x))) x=self.pool(torch.relu(self.conv2(x))) x=x.view(-1, 16 * 4 * 4) x=torch.relu(self.fc1(x)) x=torch.relu(self.fc2(x)) x=self.fc3(x) return x net=Net() # 定义损失函数和优化器 criterion=nn.CrossEntropyLoss() optimizer=optim.SGD(net.parameters(), lr=0.001, momentum=0.9) # 训练模型 for epoch in range(10): running_loss=0.0 for i, data in enumerate(trainloader, 0): inputs, labels=data optimizer.zero_grad() outputs=net(inputs) loss=criterion(outputs, labels) loss.backward() optimizer.step() running_loss +=loss.item() if i % 100==99: print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 100)) running_loss=0.0 # 验证模型 correct=0 total=0 with torch.no_grad(): for data in testloader: images, labels=data outputs=net(images) _, predicted=torch.max(outputs.data, 1) total +=labels.size(0) correct +=(predicted==labels).sum().item() print('Accuracy of the network on the 10000 test images: %d %%' % (100 * correct / total)) ``` 这段代码首先准备了MNIST数据集，并定义了一个名为Net的神经网络模型，包含两个卷积层、两个池化层和三个全连接层。接着定义了损失函数和优化器，并使用训练集对模型进行训练。最后使用测试集测试模型的性能，计算模型的准确率。