GAN的数学原理

算法与数学之美 2020-01-12

KL散度(Kullback–Leibler divergence):用于刻画概率分布Q拟合概率分布P的程度,P为真实数据的概率分布,Q为随机噪声生成数据的概率分布,对抗的目的是让Q充分拟合P,如果Q拟合P不充分,就会产生信息损耗,整个信息损耗就是P和Q的KL散度。

离散的概率分布公式定义:

GAN的数学原理

 连续的概率分布定义:

GAN的数学原理

想要将一个随机高斯噪声z通过生成网络G得到一个和真实数据分布Pdata(x)差不多的生成分布PG(x;Θ),其中参数Θ是网络的参数决定的,希望找到Θ使得PG(x;Θ)和Pdata(x)尽可能接近。

GAN的数学原理

 GAN的数学原理

GAN的数学原理

 GAN的数学原理

 判别器D中D是一个函数,用来衡量PG(x)和Pdata(x)之间的差距,可用来取代极大似然估计。

 GAN的数学原理

 GAN的数学原理

GAN的数学原理

GAN的数学原理

GAN的数学原理

 GAN的数学原理

相关推荐