Python Pytorch深度学习之图像分类器
时间：2022-09-26 09:35:07 | 栏目：Python代码 | 点击：次
一、简介
通常，当处理图像、文本、语音或视频数据时，可以使用标准Python将数据加载到numpy数组格式，然后将这个数组转换成torch.*Tensor
- 对于图像，可以用Pillow，OpenCV
- 对于语音，可以用scipy，librosa
- 对于文本，可以直接用Python或Cython基础数据加载模块，或者用NLTK和SpaCy
特别是对于视觉，Pytorch已经创建了一个叫torchvision的package，该报包含了支持加载类似Imagenet，CIFAR10，MNIST等公共数据集的数据加载模快torchvision.datasets和支持加载图像数据数据转换模块torch.utils.data.DataLoader。这提供了极大地便利，并避免了编写“样板代码”
二、数据集
对于本小节，使用CIFAR10数据集，它包含了是个类别：airplane，automobile，bird，cat，deer，dog，frog，horse，ship，truck。CIFAR10中的图像尺寸是33232，也就是RGB的3层颜色通道，每层通道内的尺寸为32*32
三、训练一个图像分类器
训练图像分类器的步骤：
- 使用torchvision加载并且归一化CIFAR10的训练和测试数据集
- 定义一个卷积神经网络
- 定义一个损失函数
- 在训练样本数据上训练网络
- 在测试样本数据上测试网络
1、导入package吧
# 使用torchvision，加载并归一化CIFAR10 import torch import torchvision import torchvision.transforms as transforms
2、归一化处理+贴标签吧
# torchvision数据集的输出是范围在[0,1]之间的PILImage,将他们转换成归一化范围为[-1,1]之间的张量Tensor
transform=transforms.Compose(
[transforms.ToTensor(),
transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))]
)
# 训练集
trainset=torchvision.datasets.CIFAR10(root='./data',train=True,download=False,transform=transform)
trainloader=torch.utils.data.DataLoader(trainset,batch_size=4,shuffle=True,num_workers=2)
# 测试集
testset=torchvision.datasets.CIFAR10(root='./data',train=False,download=False,transform=transform)
testloader=torch.utils.data.DataLoader(testset,batch_size=4,shuffle=False,num_workers=2)
classes=("plane","car","bird","cat","deer","dog","frog","horse","ship","truck")
3、先来康康训练集中的照片吧
# 展示其中的训练照片
import matplotlib.pyplot as plt
import numpy as np
# 定义图片显示的function
def imshow(img):
img=img/2+0.5
npimg=img.numpy()
plt.imshow(np.transpose(npimg,(1,2,0)))
plt.show()
# 得到随机训练图像
dataiter=iter(trainloader)
images,labels=dataiter.next()
# 展示图片
imshow(torchvision.utils.make_grid(images))
#打印标签labels
print(' '.join("%5s"%classes[labels[j]] for j in range(4)))
运行结果
注：初学的猿仔们如果Spyder不显示图片，自己设置一下就OK，在Tools――>Preferences中设置如下：
4、定义一个神经网络吧
此处，复制前一节的神经网络（在这里），并修改为3通道的图片（之前定义的是1通道）
#%%
# 定义卷积神经网络
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
def __init__(self):
super(Net,self).__init__()
# 1个输入，6个输出，5*5的卷积
# 内核
self.conv1=nn.Conv2d(3,6,5)#定义三个通道
self.pool=nn.MaxPool2d(2,2)
self.conv2=nn.Conv2d(6,16,5)
# 映射函数：线性――y=Wx+b
self.fc1=nn.Linear(16*5*5,120)#输入特征值：16*5*5，输出特征值：120
self.fc2=nn.Linear(120,84)
self.fc3=nn.Linear(84,10)
def forward(self,x):
x=self.pool(F.relu(self.conv1(x)))
x=self.pool(F.relu(self.conv2(x)))
x=x.view(-1,16*5*5)
x=F.relu(self.fc1(x))
x=F.relu(self.fc2(x))
x=self.fc3(x)
return x
net=Net()
Tips:在Spyder中可用使用“#%%”得到cell块，之后对每个cell进行运行，快捷键（Ctrl+Enter）――>我太爱用快捷键了，无论是什么能用键盘坚决不用鼠标（是真的懒吧！！！）
5、定义一个损失函数和优化器吧
使用分类交叉熵Cross-Entropy做损失函数，动量SGD做优化器
#%% # 定义一个损失函数和优化器 import torch.optim as optim criterion=nn.CrossEntropyLoss() optimizer=optim.SGD(net.parameters(), lr=0.001,momentum=0.9)
6、训练网络吧
此处只需要在数据迭代器上循环输入网络和优化器
#%%训练网络
for epoch in range(2):
running_loss=0.0
for i,data in enumerate(trainloader,0):
#得到输入
inputs,labels=data
# 将参数的梯度值置零
optimizer.zero_grad()
#反向传播+优化
outputs=net(inputs)
loss=criterion(outputs,labels)
loss.backward()
optimizer.step()
#打印数据
running_loss+=loss.item()
if i% 2000==1999:
print('[%d,%5d] loss: %.3f'%(epoch+1,i+1,running_loss/2000))#每2000个输出一次
print('Finished Training')
运行结果
7、在测试集上测试一下网络吧
已经通过训练数据集对网络进行了两次训练，但是我们需要检查是否已经学到了东西。将使用神经网络的输出作为预测的类标来检查网络的预测性能，用样本的真实类标校对，如过预测正确，将样本添加到正确预测的列表中
#%%
#在测试集上显示
outputs=net(images)
# 输出是预测与十个类的相似程度，与某一个类的近似程度越高，网络就越认为图像是属于这一类别
# 打印其中最相似类别类标
_, predictd=torch.max(outputs,1)
print('Predicted:',' '.join('%5s'% classes[predictd[j]]
for j in range(4)))
运行结果
把网络放在整个数据集上看看具体表现
#%% 结果看起来还好55%，看看网络在整个数据集的表现
correct=0
total=0
with torch.no_grad():
for data in testloader:
images,labels=data
outputs=net(images)
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted==labels).sum().item()
print('Accuracy of the network on the 10000 test images:%d %%' % (
100*correct/total))
运行结果
8、分别查看一下训练效果吧
#%%分类查看
class_correct=list(0. for i in range(10))
class_total=list(0. for i in range(10))
with torch.no_grad():
for data in testloader:
images,labels=data
outputs=net(images)
_, predictd=torch.max(outputs,1)
c=(predictd==labels).squeeze()
for i in range(4):
label=labels[i]
class_correct[label]+=c[i].item()
class_total[label]+=1
for i in range(10):
print('Accuracy of %5s:%2d %%'% (classes[i],100*class_correct[i]/class_total[i]))
运行结果
