理解变分自编码器VAE(一)
发布网友
共1个回答
热心网友
VAE的目标与GAN类似，都是通过构建模型X=g(Z)将隐变量Z的分布映射到真实数据X的分布。不同的是，VAE假设Z服从标准正态分布，并试图训练一个模型，使其将Z的采样转换为X的采样，从而实现分布变换。生成模型面临困难在于无法直接比较生成分布与真实分布的精确度，因为概率分布的表达式未知，仅凭样本难以计算KL散度。
VAE采用了一种巧妙的方法，通过在每个真实样本Xk上构建一个专属的正态分布p(Z|Xk)，而不是使用固定的正态分布p(Z)。这个方法需要通过神经网络预测每个样本的专属均值μ和方差σ^2，以便采样Z并生成X̂。VAE通过最小化(X̂k-Xk)^2来重构数据，同时通过让所有p(Z|X)趋向标准正态分布，确保模型的生成能力。
在训练过程中，VAE面临的挑战是平衡重构的噪声和生成的随机性，防止模型退化为简单的AutoEncoder。为了实现这一目标，VAE采用了重参数技巧，通过神经网络预测噪声强度，并在损失函数中加入KL散度，使得模型在保持生成多样性的同时，能更好地重构数据。
VAE与GAN的区别在于，GAN通过神经网络直接学习度量，而VAE则是混合了重构与生成的对抗过程。虽然VAE在某些方面可能更直观，但GAN的直接度量训练也有其独特之处。至于分布选择，正态分布因其灵活性和易于处理而通常被选择，尽管均匀分布也是一种可能性，但正态分布更符合VAE的需求。
在条件VAE（CVAE）中，标签信息被融入VAE，使得模型能够生成具有特定标签的样本。通过修改KL loss，CVAE能够控制生成的类别，如在简单的CVAE例子中，通过调整专属均值来实现类别控制。
VAE的案例展示了概率图模型与深度学习的结合，提供了深入学习和理解的好例子。
