搜索速度快9倍！Uber创建新的GAN网络，可媲美当前最好架构

大数据文摘出品

来源：venturebeat

编译：奥vi丫、武帅

生成对抗网络（GAN）可以分为两部分，创建样本的生成器和区分生成样本和真实样本的判别器。它的用途很多，其中之一就是生成合成数据。

Uber的研究人员最近在题为“通过学习加快神经结构的搜索速度”的论文中利用这一点提出了一种特殊的GAN——生成式教学网络（GTN）。该网络可以先从生成的数据或训练环境中学习，再在目标任务上进行测试。

论文指出，与仅使用真实数据的方法相比，GTN最多可将搜索速度提高9倍；并且在使用低“数量级”数据计算的情况下，GTN可媲美目前性能最高的架构。

论文链接：

https://arxiv.org/abs/1912.07768

利用机器学习创建训练数据

特约作者在博客文章中解释道，大多数模型搜索都需要“大量”资源，因为它们依靠在数据集上训练模型来评估模型，直到模型性能不再提高为止。单个周期内可能会训练数千个或更多模型架构，这在计算上很昂贵又特别耗时。

因此，某些算法只是减少模型训练的时间并将训练结果作为真实情况的估计值，从而降低训练成本，但是也可以利用机器学习（即GTN）来创建训练数据，从而达到加速训练的目的。

GTN通过在学习过程中创建有用的非真实数据来取得成功。它们能够将不同类型对象的信息组合在一起，或者专注于最难训练的示例，并根据在真实数据上的训练结果来评估模型表现。此外，GTN通过使用一组特定顺序的训练样本来提高生成器的性能，从而生成样本的无序随机分布序列。

GTN训练的数据集准确度高，学习速度更快

研究小组表示，实验表明GTN训练流行的开源MNIST数据集时，在32步（约0.5秒）内达到了98.9％的准确度。在此过程中，模型一次摄取了4096张合成图像，是MNIST训练集中图像数的不到10%。在用于衡量模型搜索性能的数据集CIFAR-10上进行评估，即使与同表现水平的优化的真实数据学习算法相比，GTN的学习速度也要快四倍。

此外，事实证明，GTN生成的数据通常可以用于预测模型的真实性能，也就是说，模型在GTN生成的数据上执行仅128步即可获得在真实数据上执行至少1200步才能获得的效果。

论文合著者说：“由于GTN可以更快地评估每种架构，因此在固定的计算预算内它们可以评估更多的总体架构。在我们尝试过的每种情况下，使用GTN生成的数据都比使用真实数据要更快地得到结果，并且伴随着更高的性能。即使模型在真实数据上训练十天，与在GTN生成的数据上训练三分之二天相比，后者仍然更快且效果更好。通过研究，我们证明了GTN生成的训练数据创建了一种可与最优算法媲美的方法，这个方法速度更快且采用的是完全不同于最优算法的方法。Uber甚至全球所有公司和科学家都可以借助GTN这种额外的工具提高深度学习的性能。”

搜索速度快9倍！Uber创建新的GAN网络，可媲美当前最好架构

相关推荐