再见AI黑匣子：研究人员教会AI进行自我解释

新智元编译

来源：thenextweb

作者：艾霄葆

【新智元导读】AI决策过程的黑匣子问题一直是AI领域最大的担忧之一，但近期黑匣子决策问题似乎被破解。来自加州大学伯克利分校、阿姆斯特丹大学、Facebook AI Research团队的研究人员创建出一个AI自我解释模型，该模型可使AI在回答问题时指出问题对应的证据，在回答相关图像问题时，其能够为其决策提供自然语言理由并指出图像显示证据。

来自加州大学伯克利分校、阿姆斯特丹大学、Facebook AI Research团队的研究人员创建出一个AI自我解释模型，该模型可使AI在回答问题时指出问题对应的证据，在回答相关图像问题时，其能够为其决策提供自然语言理由并指出图像显示证据。

“黑匣子”变得透明，这是一件大事。

在许多环境中，深度模型既有效又可解释;先前可解释的模型是单峰模型，提供了基于图像的注意权重的可视化或基于文本的事后理由的生成。

这次的研究提出了一种多模式的解释方法，并且认为这两种模式提供了互补的说明性优势。

团队收集两个新的数据集来定义和评估这个任务，并提出一个新的模型，可以提供联合文本理性和可视化生成。我们的数据集定义了活动识别任务（ACT-X）和视觉问题解答任务（VQA-X）的分类决策的视觉和文本理由。

在数量上表明，使用文本解释进行培训不仅可以产生更好的文本理由模型，还可以更好地定位支持决策的证据。我们还定性地展示了视觉解释比文本解释更具洞察力的情况，反之亦然，支持我们的论点：多模式解释模型提供了超越单峰方法的显着优势。

VQA-X定性结果：对于每个图像，PJ-X模型提供了答案和理由，并指出了该理由的证据。

弄清楚为什么一个神经网络做出它所做的决定是人工智能领域最大的担忧之一。正如它所称的那样，黑盒问题实际上使我们不能相信AI系统。

像人类一样，它可以“指出”它用来回答问题的证据，并且通过文本可以描述它如何解释证据。它的开发旨在回答那些需要九岁小孩平均智力的问题。

这是人们第一次创建了一个可以用两种不同方式解释自己的系统：

我们的模型是第一个能够为决策提供自然语言理由并指向图像中的证据的人。

研究人员开发了AI来回答关于图像的简单语言查询。它可以回答关于给定场景中的对象和动作的问题。它通过描述它看到的内容并突出显示图像的相关部分来解释它的答案。

它并不总是让事情正确。在实验过程中，人工智能感到困惑，无法确定一个人是否在微笑，也无法分辨出一个人在使用吸尘器的人和一个正在使用吸尘器的人之间的区别。

但是，这是一个重点：当电脑出现问题时，我们需要知道原因。

为了达到任何可衡量的成熟度，AI的领域需要调试，错误检查和理解机器决策过程的方法。神经网络发展并成为我们数据分析的主要来源时尤其如此。

为人工智能展示其工作并以外行人员的角度解释自己，这是一个巨大的飞跃，可以避免每个人似乎都很担心的机器人启示。

论文地址：https://arxiv.org/pdf/1802.08129.pdf