[深度学习] pytorch学习笔记（4）(Module类、实现Flatten类、Module类作用、数据增强)

from torch import nn# Mylinear继承Module
class Mylinear(nn.Module):
# 传入输入维度和输出维度
def __init__(self,in_d,out_d):
# 调用父类构造函数
super(Mylinear,self).__init__()
# 使用Parameter类将w和b封装，这样可以通过nn.Module直接管理，并提供给优化器优化
self.w = nn.Parameter(torch.randn(out_d,in_d))
self.b = nn.Parameter(torch.randn(out_d)) # 实现forward函数，该函数为默认执行的函数，即计算过程，并将输出返回
def forward(self, x):
x = x@self.w.t() + self.b
return x

# 网络结构
class MLP(nn.Module):
def __init__(self):
super(MLP, self).__init__() self.model = nn.Sequential(
#nn.Linear(784, 200),
Mylinear(784,200),
nn.BatchNorm1d(200, eps=1e-8),
nn.LeakyReLU(inplace=True),
#nn.Linear(200, 200),
Mylinear(200, 200),
nn.BatchNorm1d(200, eps=1e-8),
nn.LeakyReLU(inplace=True),
#nn.Linear(200, 10),
Mylinear(200,10),
nn.LeakyReLU(inplace=True)
)

# Mylinear继承Module
class Mylinear(nn.Module):
# 传入输入维度和输出维度
def __init__(self, in_d, out_d):
# 调用父类构造函数
super(Mylinear, self).__init__()
# 使用Parameter类将w和b封装，这样可以通过nn.Module直接管理，并提供给优化器优化
self.w = nn.Parameter(torch.randn(out_d, in_d))
self.b = nn.Parameter(torch.randn(out_d)) # 实现forward函数，该函数为默认执行的函数，即计算过程，并将输出返回
def forward(self, x):
x = x @ self.w.t() + self.b
return x# 将几个nn.Module组件综合成一个
class Mylayer(nn.Module):
def __init__(self, in_d, out_d):
super(Mylayer, self).__init__()
# 包含一个全连接层，一个BN层，一个Leaky Relu层
self.lin = Mylinear(in_d, out_d)
self.bn = nn.BatchNorm1d(out_d, eps=1e-8)
self.lrelu = nn.LeakyReLU(inplace=True) # 按顺序跑一遍3种网络，返回最终结果
def forward(self, x):
x = self.lin(x)
x = self.bn(x)
x = self.lrelu(x)
return x# 网络结构
class MLP(nn.Module):
def __init__(self):
super(MLP, self).__init__() self.model = nn.Sequential(
Mylayer(784, 200),
Mylayer(200, 200),
# nn.Linear(200, 10),
Mylinear(200, 10),
nn.LeakyReLU(inplace=True)
)

# Flatten继承Module
class Flatten(nn.Module):
# 构造函数，没有什么要做的
def __init__(self):
# 调用父类构造函数
super(Flatten, self).__init__() # 实现forward函数
def forward(self, input):
# 保存batch维度，后面的维度全部压平，例如输入是28*28的特征图，压平后为784的向量
return input.view(input.size(0), -1)

# 每隔N epoch保存一次模型
torch.save(net.state_dict(),'ckpt_n_epoch.mdl')
# 下次训练时可以直接导入接着训练
net.load_state_dict(torch.load('ckpt_n_epoch.mdl'))

### 不同模式对于某些层的操作时不同的，例如BN，dropout层等
# 切换到train模式
net.train()
# 切换到validation模式
net.eval()

# 定义GPU设备
device = torch.device('cuda')
# 将网络转移到GPU，注意to函数返回的是net的引用（引用是不变的）
# 不同的是net中的参数都转移到GPU上去了
net.to(device)# 不同于参数直接转移，转移后的w2(在GPU上)和转移前的w(在CPU上)两者完全是不一样的
# 我们要使之在GPU上运行，则必须使用w2
#w2 = w.to(device)

# 获取由每一层参数组成的列表
para_list = list(net.parameters())
# 获取一个(name,每层参数)的tuple组成的列表
para_named_list = list(net.named_parameters())
# 获取一个{'model.0.weight': 参数,'model.0.bias': 参数, 'model.1.weight': 参数}
para_named_dict = dict(net.named_parameters())

from torchvision import datasets, transformstrain_data_trans = datasets.MNIST('../data', train=True, download=True,
transform=transforms.Compose([
# 水平翻转，50%执行
transforms.RandomHorizontalFlip(),
# 垂直翻转，50%执行
transforms.RandomVerticalFlip(),
# 随机旋转范围在正负15°之间，也可以写(-15,15)
transforms.RandomRotation(15),
# 旋转范围在90-270之间
#transforms.RandomRotation([90,270]),
# 将图片方缩放到指定大小
transforms.Resize([32,32]),
# 随机剪裁图片到指定大小
transforms.RandomCrop([28,28]), transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
]))