正文
sparse autoencoder
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
1.autoencoder
autoencoder的目标是通过学习函数
，获得其隐藏层作为学习到的新特征。
从L1到L2的过程成为解构，从L2到L3的过程称为重构。
每一层的输出使用sigmoid方法，因为其输出介于0和1之间，所以需要对输入进行正规化
使用差的平方作为损失函数
2.sparse
spare的含义是，要求隐藏层每次只有少数的神经元被激活：
隐藏层的输出a，a接近于0，称为未激活
a接近1，成为激活
使用如下方法衡量：
每个隐藏层的神经元有p的概率为激活，1-p的概率未激活（p一般取0.05、0.01等接近0的値）
用
作为p的估计
使用KL散度，衡量两个分布的差异性
