hosteons中文网

上一节中的自动编码机更像是一个识别网络，只是简单重构了输入。而重点应是在像素级重构图像，施加的唯一约束是隐藏层单元的数量。

有趣的是，像素级重构并不能保证网络将从数据集中学习抽象特征，但是可以通过添加更多的约束确保网络从数据集中学习抽象特征。

稀疏自编码器（又称稀疏自动编码机）中，重构误差中添加了一个稀疏惩罚，用来限定任何时刻的隐藏层中并不是所有单元都被激活。如果 m 是输入模式的总数，那么可以定义一个参数 ρ_hat，用来表示每个隐藏层单元的行为（平均激活多少次）。基本的想法是让约束值 ρ_hat 等于稀疏参数 ρ。具体实现时在原始损失函数中增加表示稀疏性的正则项，损失函数如下：

如果 ρ_hat 偏离 ρ，那么正则项将惩罚网络，一个常规的实现方法是衡量 ρ 和 ρ_hat 之间的 Kullback-Leiber(KL) 散度。

准备工作

在开始之前，先来看一下 KL 散度 D_KL 的概念，它是衡量两个分布之间差异的非对称度量，本节中，两个分布是 ρ 和 ρ_hat。当 ρ 和 ρ_hat 相等时，KL 散度是零，否则会随着两者差异的增大而单调增加，KL 散度的数学表达式如下：