PyTorch里面的torch.nn.Parameter()

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

在刷官方Tutorial的时候发现了一个用法 self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)) ,看了官方教程里面的解释也是云里雾里，于是在栈溢网看到了一篇解释，并做了几个实验才算完全理解了这个函数。首先可以把这个函数理解为类型转换函数，将一个不可训练的类型 Tensor 转换成可以训练的类型 parameter 并将这个 parameter 绑定到这个 module 里面( net.parameter() 中就有这个绑定的 parameter ，所以在参数优化的时候可以进行优化的)，所以经过类型转换这个 self.v 变成了模型的一部分，成为了模型中根据训练可以改动的参数了。使用这个函数的目的也是想让某些变量在学习的过程中不断的修改其值以达到最优化。

出现这个函数的地方

在 concat 注意力机制中，权值 V 是不断学习的所以要是 parameter 类型，不直接使用一个 torch.nn.Linear() 可能是因为学习的效果不好。
通过做下面的实验发现， linear 里面的 weight 和 bias 就是 parameter 类型，且不能够使用 tensor 类型替换，还有 linear 里面的 weight 甚至可能通过指定一个不同于初始化时候的形状进行模型的更改。