Google Brain提出新型生成建模算法MemGEN：只需记忆，性能突出

近日，谷歌大脑在 arXiv 上发表论文，提出新型生成建模算法 MemGEN。该算法使用研究者提出的新型学习范式「Deep Memory」，通过记忆模仿人类行为。该范式在生成建模任务上实现的算法 MemGEN 优点突出，性能很好。

论文：MemGEN: Memory is All You Need

论文链接：https://arxiv.org/abs/1803.11203

摘要：我们提出了一种叫做深度记忆（deep memory）的新型学习范式。它有可能彻底变革机器学习领域。令人惊讶的是，与深度学习不同，该范式还没有被重新改造。这个方法的核心是「背诵」（Learning By Heart）原则，这一原则在世界各地的小学得到了很好的研究。受诗歌背诵或圆周率小数点记忆的启发，我们提出了一种模仿人类行为的具体算法。我们在生成建模的任务上实现了该范式，该范式可应用于图像、自然语言甚至π小数点记忆，只要将它们打印成文本。该算法甚至在单样本学习环境下生成了该论文。我们精心设计的实验表明，在任何统计测试或分析时，我们都难以区分生成的样本与训练样本。

1 引言

我们遵循由 [LaLoudouana and Tarare, 2003] 开始、经 [Albanie et al., 2017] 和 [Garfinkel et al., 2017] 扩展的科研基本路线。受这些方法启发，我们关注生成建模的最终目标：输出与输入同分布。「垃圾输入，垃圾输出（Garbage In, Garbage Out）」是机器学习领域的一句格言，我们的主要贡献就是如实实现它。

在详细介绍该理论和实验之前，我们先来想一下，为何要生成建模？我们可以在会议的 deadline 之后思考这个问题，因为在下一次会议之前还有很多时间，至少目前看来是这样。

我们很多人知道，生成建模就像蛋糕一样好，谁不喜欢蛋糕呢？但是让我们暂时假装蛋糕只是一个谎言。生成模型从给定数据分布中采样，然后从中学习模型。然后我们希望能够用这个模型去解决另一个问题。通过仔细的研究 [Shannon, 1948]，你可以注意到，尽可能多地保留样本中信息的最佳方式就是对它进行实际的存储——就是这样。毕竟，如果没有遗漏任何东西，我们又会失去什么呢？

不幸的是，仅此想法是不够的。一个关键的新想法是利用高级数据结构进行生成建模，例如列表，甚至 hashmap。利用这些最新的顶尖技术（[Knuth, 1997], [Cormen, 2009]），我们可以超越 80 年代的老技术，即所谓的神经网络，它们不仅仅是加法和乘法。

我们的主要贡献有：

提出了一种新的学习范式。作为具体的应用，我们展示了如何导出最终的生成建模算法，证明这种方式最终输出与输入同分布。
由于 CPU 上的算法效率，GPU 将再次自由地用于游戏。计算效率的主要缺点是博士生现在可以与大型组织竞争，大型组织无法利用其更先进的基础设施；这是不公平的，因为基础设施很难建设。
生成的样本在统计上无法与真实样本进行区分，因此我们提出了 Rademacher 硬币翻转（Rademacher Coin Flipping）度量，它给出了更可靠的相似结果。这最终结束了关于生成性建模度量的长期争论。

MemGEN：记住它

我们提出了一个 MemGEN 的具体实现作为阐述。最开始是以伪代码的形式写的，但是随后我们动用了最好的软件工程师，因为代码至关重要。

细节内容详见 Algorithm 1。我们强调该算法是灵活的，并且可以应用更复杂的数据结构，例如 hashmap。

Google Brain提出新型生成建模算法MemGEN：只需记忆，性能突出