『PyTorch』第十三弹_torch.nn.init参数初始化

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

初始化参数的方法

nn.Module模块对于参数进行了内置的较为合理的初始化方式，当我们使用nn.Parameter时，初始化就很重要，而且我们也可以指定代替内置初始化的方式对nn.Module模块进行补充。

除了之前的.data进行赋值，或者.data.初始化方式外，我们可以使用torch.nn.init进行初始化参数。

from torch.nn import init

linear = nn.Linear(3, 4)

t.manual_seed(1)

init.xavier_normal(linear.weight)

print(linear.weight.data)

import math

std = math.sqrt(2)/math.sqrt(7.)

linear.weight.data.normal_(0, std)

不同层类型定制化初始化

除此之外，我们可以使用如下的方式对不同的类型的层（卷积层、全连接层……）进行不同的赋值方式，

for name, params in net.named_parameters():

    if name.find('linear') != -1:

        params[0]  # weights

        params[1]  # bias

    elif name.find('conv') != -1:

        pass

    elif name.find('norm') != -1:

        pass

这里使用了str.find()方法，如下：