GAN的数学原理

KL散度（Kullback–Leibler divergence）：用于刻画概率分布Q拟合概率分布P的程度，P为真实数据的概率分布，Q为随机噪声生成数据的概率分布，对抗的目的是让Q充分拟合P，如果Q拟合P不充分，就会产生信息损耗，整个信息损耗就是P和Q的KL散度。

离散的概率分布公式定义：

 连续的概率分布定义：

想要将一个随机高斯噪声z通过生成网络G得到一个和真实数据分布P_data(x)差不多的生成分布P_G(x;Θ)，其中参数Θ是网络的参数决定的，希望找到Θ使得P_G(x;Θ)和P_data(x)尽可能接近。

 判别器D中D是一个函数，用来衡量P_G(x)和P_data(x)之间的差距，可用来取代极大似然估计。