百度提出交互式学习方法：让人工智能代理在对话中学习说话

选自baidu.research

机器之心编译

参与：黄小天、李泽南

自然语言处理一直是人工智能发展道路上面临的巨大挑战。此前，大多数研究都是让机器学习模型在大量已标记数据集上进行训练的。最近，百度研究院人员提出了一种全新的方法，研究人员让人工智能系统通过与「教师」的口语对话来学习自然语言和知识。这种类似婴儿学习语言过程的方法展现出了很大的潜力。机器之心对该文及其研究论文摘要进行了编译，原文链接见文末。

四月上旬，百度研究团队通过由虚拟教师（a virtual teacher）发出自然语言指令，成功地教会了人工智能代理（agent）在迷宫中导航（参阅：用自然语言教育人工智能：百度新算法发展出 zero-shot 学习能力）。今天，百度研究团队又很高兴地宣布，通过与虚拟老师之间的交互，其人工智能代理成功地学会了说话。

说话，以及其他人类基本能力，在创建通用人工智能的道路上不可或缺。尽管今天与机器进行简单的交谈很常见，但是百度研究团队教机器说话的方法与传统方法大不相同。

百度的人工智能代理以一种类似于婴儿互动的方式学习说话。相反，传统方法依赖于有监督训练，使用包含大量预搜集训练集的静态语料库，难以捕捉到语言学习过程中的动态交互属性。结果，通过传统方法训练的系统主要反映了数据集中的行为，适应性和泛化能力有限。百度的人工智能代理通过交互学习说话，旨在获取语言学习与理解能力而不仅仅是捕捉到数据之中的统计模式。

当一个婴儿学习说话时，他与人产生交互，并通过模仿和反馈进行学习。婴儿最初通过模仿其会话者来产生言语行为，掌握字句生成的技巧。婴儿也会向其父母发出声音，并根据父母的纠正和鼓励调节其言语行为。

研究概述

百度研究人员提出了一种基于自然语言学习的交互式方法，其中人工智能代理通过与虚拟教师（教授者）交互、获得反馈来学习自然语言，从而学习和提高自然语言技能以达到参与对话的程度。在这里，没有带标签数据形式的监督学习来引导学习者；取而代之的是，系统必须通过不断尝试说来学习说话，而教授者会提供口头反馈（如是/否）和非口头反馈（如点头/微笑）。

下图显示了训练中几种不同形式的对话。在一开始，代理只能生成无意义的句子，它只能在纯粹对话中提升自己的技能。而到了最后，代理可以正确运用自然语言回答教授者提出的问题。

另一方面的实验进一步证明了新方法具备学习自然语言的能力。研究人员证明训练后的人工智能代理可以回答由已知知识或问题中的概念组成，但经过重组后形成的全新问题。例如，在训练中，「avocado，east」组合从未出现在问答中；而 orange 仅被描述过，从未被教授者问到过。而在测试中，代理可以回答有关在「east」的「avocado」的问题，或有关「orange」的问题，如上图所示。

百度的研究人员表示，他们会在未来进一步增加语言学习环境的复杂性，以训练出更为复杂的语言行为。另外，他们还计划探索机器学习系统的知识建模与快速学习，让人工智能代理能够与人类进行自然交互，并让它可以从物理世界中进行有效的学习。

论文：Listen, Interact and Talk: Learning to Speak via Interaction

论文链接：https://arxiv.org/abs/1705.09906

摘要：人工智能的一个长期目标是构建一种可与人类进行自然语言交互的代理。然而，目前的大部分自然语言学习的研究都依赖大量带注释标签的数据集以进行训练，这导致人工智能代理的任务变成了外部数据集的统计学抓取。由于训练数据本质上是由标注者对知识进行的静态表述，人工智能代理经过学习后的适应性和拓展性受到了限制。此外，这种训练方法与人类学习自然语言的过程非常不同，后者是一个交流的过程，通过说话和获得反馈来进行。

在本论文中，我们提出了一种交互形式的自然语言学习方法。其中，人工智能代理通过与教授者（teacher）用自然语言互相交流，从而在谈话中学习和提高语言技能。为了达成这个目标，我们构建了一个包含模仿和强化学习方法的模型，用以比较句子和教授者的反馈。我们进行了实验，证明了这种方法的有效性。