5/5/2020第七章生成对抗网络·第七章生成对抗网络·7.1.1如何通俗理解GAN?·7.12GAN的形式化表达■7.13GAN的目标数是什么？·7.14GAN的目标数和交叉熵有什么区别？·7.1.5GAN的Los为什么降不下去？·7.1.6生成式模型、判别式模型的区别？■7.1.7f什么是mode collapsing?。72GAN的生成能力评价·72.1如何客观评价GAN的生成能力？·72.2 Inception Score7.2.3 Mode Score7.2.5 Wasserstein distance7.2.6 Frechet Inception Distance (FID)7.2.7 1-Nearest Neighbor classifier·728其他评价方法·74.1如何生成指定类型的图像一条件GAN·742CNN与GAN--DCGAN■7.43如何理解GAN中的输入随机燥声？·74.4GAN为什么容易训练崩遗？■7.4.5WGAN如问解决训练崩清问题？■7.4.6WGAN-GP:带有梯度正则的WGAN■7.4.7 LSGAN·74.8如何尽量避免GAN的训练崩渍问题？。73GAN的应用（图像翻译）■732有监督图像翻译：px2p■733其他图像翻译的tricks·73.4如何生成高分辨率图像和高分辨率视频？■73.5有监督的图像翻译的缺点？·73.6无监督图像翻译：CydeGAN·73.7多领域的无监督图像翻译：StarGAN。74GAN的应用（文本生成）"74.1GAN为什么不适合文本任务？■7.42 segGAN用于文本生成07.5GAN在其他领域的应用■7.52图像超分辨与图像补全■7.53语音领域第七章生成对抗网络7.1GAN基本概念7.1.1如何通俗理解GAN?负责生成样本，判别器负责荆断生成器生成的样本是香为真。生成器要尽可能迷惑荆判别器，而荆别器要尽可能区分生成器生成的样本和真实样本。在GAN的原作]中，作者将生成器比喻为印假钞票的犯罪分子，判别器则类比为警察。犯罪分子努力让钞票看起来逼真，警察则不断提升对于假钞的辨识能力。二者互相博弈，随着时问的进行，都会越来越强。那么类此于图像生成任务，生成器不断生成尽可能逼真的假图像。判别器则判断图像是否是真实的因像，还是生成的图像，二者不断博弈优化。最终生成器生成的图像使得判别器完全无法别真假。7.1.2GAN的形式化表达上述例子只是简要介绍了一下GAN的思想，下面对于GAN做一个形式化的，更加具体的定义。通常情况下，无论是生成卷还是判别器，我们都可以用神经网络来实现。那么，我们可以把通俗化的定义用下面这个偶型来表示：fle://home/shishuai/Desktop/chO7_生成对抗网络(GAN).html1/155/5/2020第七章生成对抗网络判别器D生成器G制造上述模型左边是生成器G,其输入是z,对于原始的GAN,2是由高撕斯分布随机采样得到的噪声。噪声z通过生成器得到了生成的假样本。生成的假样本与真实样本放到一起，被随机抽取送入到判别器D,由判别器去区分输入的样本是生成的假样本还是真实的样本。整个过程简单明了，生成对抗网络中的生成对抗主要体现在生成器和申判别器之问的对抗。7.1.3GAN的目标西数是什么？对于上述神经网络模型，如果想要学习其参数，首先需要一个目标两数。GAN的目标函数定义如下：这个目标函数可以分为两个部分来理解：本，其被削别器削定为真实样本概率的数学期望。对于真实数据分布中采样的样本，其预测为正样本的概率当然是越接近1越好。因此希望最大化这一项。第二项正：，问lg(1一D(G(2》川表示：对于从噪声P(2)分布当中采样得到的样本，经过生成器生成之后得到的生成图片，然后送入判别器，其预测摄率的负对数的期望，这个值自然是越大越好，这个值越大，越接近0，也就代表判别器越好。第二部分：生成器的优化通过m(m8xV(D,G)来实现。注意，生成器的目标不是m血V(D,G),即生成器不是最小化判别器的目标西数，二是最小化判别器目标否数的最大值，制别器目标否数的最大值代表的是真实数据分布与生成数据分布的S散度[详情可以参阅附录的推导)，S散度可以度量分布的相似性，两个分布越接近，JS敝度越小。7.1.4GAN的目标西数和交叉熵有什么区别？判别器目标图数写成离散形式即为：可以看出，这个目标西数和交叉螭是一致的，即判别器的目标是最小化交叉熵损失，生成器的目标是最小化生成数据分布和真实数据分布的5散度。[1]:Goodfellow,lan,et al.Generative adversarial nets."Advances in neural information processing systems.2014.7.1.5GAN的oss为什么降不下去？对于很多GAN的初学者在实跌过程中可能会纳闷，为什么GAN的Loss一直降不下去。GAN到底什么时候扌算收敛？其实，作为一个训练良好的GAN,其L5s就是降不下去的。衡量GAN是否训练好了，只能由人肉眼去看生成的图片质量是否好。不过，对于没有一个很好的评价是否收敛指标的问题，也有许多学者做了一些研究，后文提及的WGAN就提出了一种新的Loss设计方式，较好的解决了难以判断收敛性的问题。下面我们分析一下GAN的Oss为什么降不下从m中maxV(D,G)可以看出，生成器和判别器的目的相反，也就是说两个生成器网络和判别器网络互为对抗，此消彼长。不可能La5s一直降到一个收敛的状态。·对于生成器，其L5s下降快，很有可能是判别器太弱，导致生成器很轻易的就愚弄了判别器。·对于判别器，其L5s下降快，意味着判别器很强，别器很强则说明生成器生成的图像不够福真，事使得判别器轻易判别，导致L05s下降很快。看到这里可能有点让人绝望，似乎判断模型是否收敛就只能看生成的图像质量了。实际上，后文探讨的WGAN,提出了一种新的oss度量方式，让我们可以通过一定的手段来判断模型是否收敛。7.1.6生成式模型、判别式模型的区别？对于机器学习模型，现们可以根起模型对数掘的建模方式将模型分为两大类，生成式模型和判别式梗型。如果我们要训练一个关于猫狗分类的模型，对于判别式模型，只需要学习二者差异即可。比如说猫的体型会此狗小一点。而生成式模型则不一样，需要学习猫张什么样，狗张什么样。有了二者的长相以后，再根摇长相去区分。具体而营：fle://home/shishuai/Desktop/chO7_生成对抗网络(GAN).html2/155/5/2020第七章生成对抗网络生成关系·判别式模型：由数摇直接学习决策面数Y=冈或案件概率分布)作为预测模型，即判别模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Ya对于上述两种模型，从文字上理解起来似乎不太直观。我们举个例子来阐述一下，对于性别分类问题，分别用不网的模型来做：1)如果用生成式模型：可以训练一个模型，学习输入人的特以和性别的关系。比如现在有下面一批数掘：01X(特征)01/43413/414这个数据可以统计得到，即统计人的特征X=Q,1的时侯，其类别为Y=0,1的概率。统计得到上述联合摄率分布P仪门后，可以学习一个模型，比如让二维高斯分布去拟合上述数据，这样就学习到了X,Y的联合分布。在预测时，如果我门希望给一个输入特征以，预测其类别，则需要通过贝叶所公式得到案件概率分布能进行推断：P(X,Y)P(X)P(XY)P(Y)2)如果用判别式模型：可以训练一个模型，输入人的特征以，这些特征包括人的五官，穿衣风格，发型等。输出则是对于性别的判断餐率，这个概率服从一个分布，分布的取值只有两个，要么男，要么女，记这个分布为Y。这个过程学习了一个条件概率分布Y),即输入特征以的分布已知条件下，Y的概率分布。显然，从上面的分析可以看出。判别式模型似乎要方便很多，因为生成式模型要学习一个X,Y的联合分布往往需要很多数据，而判别式模型需要的数据则相对少，因为判别式模型更关注输入特征的茫异性。不过生成式既然使用了更多数框来生成联合分布，自然也能够提供更多的信息，现在有一个样本(仪Y),其联合：率P仪Y)经过计算特别小，那么可以认为这个样本是异常样本。这种模型可以用来做outlier detection。7.1.7什么是node collapsing?某个模式mode)出现大量重复样本，例如：Mode CollapseTraining with too many iterations .....★：real data★：generated data上图左侧的蓝色五角星表示真实样本空间，黄色的是生成的。生成样本缺乏多样性，存在大量重复。比如上图右侧中，红挺里面人物反复出现方法一：针对目标函数的政进方法为了避免前面提到的由于优化naxmin导致mode跳来跳去的问题，Unrol ledGAN采用修改生成器loss来解决。具体而言，UnrolledGAN在更新生成器时更新方式使得生成器考虑到了后面k次判别器的变化情况，避免在不同0de之间切换导致的模式前清问题。此处务必和选代次生成器，然后选代1次判别器区分开周。DRAGAN则引入博弈论中的无后悔算法，改造其ass以解决node collapse问题9乳。前文所述的BGAN则是加入VAE的重构误差以解决mode方法二：针对两络结构的成进方法Multi agent diverse GAN(MAD-GAN)采用多个生成器，一个判别器以保障样本生成的多样性。具体结构如下：fle://home/shishuai/Desktop/chO7_生成对抗网络(GAN).html3/15