DeepMind结合逻辑和神经网络从噪声数据中提取规则

人工智能研究员佩德罗·多明戈斯（Pedro Domingos）在其著作《主算法》（The Master Algorithm）一书中探讨了单一算法的概念，该算法可以结合机器学习的主要流派。毫无疑问，这个想法非常好，我们已经看到了它的一些迭代。去年，谷歌发布了一篇研究论文“One Model to Learn Them All”，它将异构学习技术结合在一个机器学习模型中。去年，Alphabet的子公司DeepMind通过引入一种称为可微分逻辑编程（∂ILP）的新技术向多模型算法迈出了一步，该技术将逻辑和神经网络结合到一个模型中，从噪声数据中提取规则。

∂ILP汇集了两所主要的机器学习学校。连接主义者试图通过以神经网络的形式模仿大脑的表现来建模知识，并且一直是深度学习等运动背后的驱动力。象征主义者依靠逻辑来根据易于理解的规则对知识进行建模。两所学校都有众所周知的优点和缺点。基于归纳逻辑程序设计（ILP）的符号系统倾向于有效地推广知识，并且它们对过度拟合具有半免疫性。此外，ILP系统往往非常适合迁移学习场景，其中训练的模型可以被复制并在其他模型中重用。ILP系统的主要局限性是它们难以处理在深度学习场景中非常常见的噪声或模糊数据。

连接主义系统倾向于在具有嘈杂数据的环境中良好地工作，并且可以有效地处理不确定性和模糊性。然而，它们的训练和版本往往是昂贵的。此外，从连接系统中学到知识很难理解，并且与符号模型的清晰度形成了鲜明对比。多年来，许多专家都强调了将强大的联结主义学习与符号关系学习相结合的理论价值。 ∂ILP无疑是朝着正确方向迈出的一步。

从概念上讲，∂ILP将神经网络与ILP相结合，提供了一个模型，可以处理噪声和模糊数据，同时也可以很好地推广和避免恶化。通过结合两者的优点，∂ILP是一种技术，它不同于连接主义模型，它可以象征性地概括知识，同时也可以通过视觉概括知识来区别传统的符号模型。以下矩阵可能有助于说明三种思想流派之间的比较。

为了解释∂ILP的功能，让我们使用一个基本的任务，其中一对图像代表数字，并输出一个标签（0或1），指示左图像的数量是否小于右图像的数量的图片。解决这个问题涉及两种思维：你需要直观的感性思维来将图像识别为特定数字的表示，并且你需要概念性思维来理解小于关系的全貌。

下面说明的任务不是特别新的，可以使用标准的深度学习模型，例如卷积神经网络（CNN）来解决。虽然CNN模型完全能够识别新的数字图像，但很可能无法识别数字本身。换句话说，诸如CNN之类的深度学习策略能够实现视觉概括而不是符号概括。

∂ILP与标准神经网络不同，因为它能够象征性地进行概括，并且它与标准符号程序不同，因为它能够在视觉上进行概括。它从可读、可解释和可验证的示例中学习显式程序。 ∂ILP给出了一组部分示例，并生成满足它们的程序。它使用梯度下降搜索程序空间。如果程序的输出与参考数据的期望输出冲突，则系统修改程序以更好地匹配数据。

先前实验的结果表明，∂ILP能够通过其他逻辑和深度学习模型在符号和视觉上超越既定基线。

∂ILP是将机器学习中的两个主要部落聚集在一起的非常有创意的方法。将连接主义系统的直观知识与符号主义者的概念知识相结合，更接近于模拟人类认知，并且可能更接近多明戈的主算法。

编译出品