还在做模型解释的“隐形人”？解释NLP模型你应该这样做

点击上方关注，All in AI中国

机器学习(ML)和人工智能(AI)改变了商业领域的面貌。许多公司聘请数据科学家(作者是其中之一)来研发数据产品。

研发一个"高"精度的引擎是非常容易的(作者重复引用这句话的原因是：https://towardsdatascience.com/how-can-use-player-name-to-predict-world-cup-with-80-accuracy-262d076544c4)。如果有人问为什么，我们可以说这个模型是黑匣子或者是几年前的统计计算，但是现在我们不能再说了。我们还需要说服产品团队和管理层相信我们的模型，但不能简单地说引擎是从数据中"学习"得来的，或者它是一个无法解释的黑匣子。

当然，在某些特殊情况下，我们可能不需要解释模型。例如，你不希望向公众解释欺诈检测模型。否则，公众可能会找到一种"黑进"系统的方法。

在阅读本文之后，你将了解：

什么是模型解释？
为什么我们需要解释模型？
解释NLP模型
相关
参照内容。

什么是模型解释

模型解释意味着提供模型背后的理由和逻辑，以使模型具有可靠性和透明性。有许多类型的模型解释，包括:

在探索性数据分析(EDA)中，我们可以应用主成分分析(PCA)或t-分布邻域嵌入算法(t-SNE)来了解特征
在建立模型之后，我们将使用各种测量来检测分类和回归模型。分类中使用的准确性、精确性和查全率，回归中使用的均方误差(MSE)。这种做法有助于我们理解模型的性能。
除了性能之外，我们还可以从模型中检索诸如静态特性摘要（即特征重要性）。但是，它只存在于随机森林和XGBoost等决策树库算法中。
在评价模型时，我们想知道为什么我们对模型的预测是错误的。我们可以利用库来解释错误的原因。

在解释模型之前，我们可以先了解模型解释的标准：

还在做模型解释的“隐形人”？解释NLP模型你应该这样做

可解释性

我们不需要训练另一个模型来解释目标。例如，它使用决策树或线性模型时

该模型类似黑匣子模型，我们需要用另一个模型来解释它。我们将在下面的部分集中讨论这个领域

途径

特定模型:有些工具仅限于特定模型，如线性模型和神经网络模型

与模型无关（Model-agnostic）:一些工具可以通过构建write-box模型来解释其他模型。

层次

全局:解释整体模型，如特性权重。

局部:解释具体的预测结果

为什么我们要解释模型？

如前所述，在大多数场景中我们必须做出解释，因为：

可追究性。模型有责任向消费者提供（相对）正确的答案。作为一名模型的开发人员，我们应该对模型特性进行验证，以确保它有助于做出正确的决策，而不是只专注于尽可能多地包含特性。

透明度。机器学习不是一个黑闸子，我们应该向客户和管理层提供该模型的透明性。让他们知道你为什么这么做。就像开源一样，人们更愿意使用开源的产品，因为他们知道你在做什么。

可信赖性。这是消费者使用分类或预测结果的基本要求。在大多数情况下，使用者拥有一些领域知识，例如交易员需要了解你为某一股票做出决策的理由在哪里。

解释NLP模型

如你所知，作者主要关注NLP。因此，只演示解释NLP模型的方法，尽管下面的库还可以解释其他问题，如回归分析和图像。

对于下面的演示，为了便于理解，作者没有做任何预处理。但在现实的商业问题中，我们应该做好预处理。否则，垃圾信息会越来越多。

有几个库可以帮助解释模型，包括"解释我5岁了(ELI5) https://github.com/TeamHG-Memex/eli5"、"对未知模型的局部解释(LIME) https://github.com/marcotcr/lime"和"溜冰者（Skater）https://github.com/datascienceinc/Skater"。

作者将演示如何使用ELI5和LIME[1] 以及Skater呢?请继续关注，这将解释为什么作者不在NLP中使用它。

算法:在接下来的演示中，将包括线性模型(scikit-learn中的逻辑回归)、集合模型(scikit- learn、XGBoost中的随机森林)和深度学习模型（在Keras中嵌入自构建字）。对于字嵌入的具体细节，你可以点击链接：https://towardsdatascience.com/3-silver-bullets-of-word-embedding-in-nlp-10fa8f50cc5a。

ELI5

还在做模型解释的“隐形人”？解释NLP模型你应该这样做

ELI5提供了全局模型解释和局部模型解释。你可以简单地将全局模型解释视为特性的重要性，但它不仅支持诸如随机森林和XGBoost等决策树算法，而且还支持所有的scikit学习估计器。

作者将其介绍为全局解释中置换的重要性。为了计算成绩，特征(一个单词)将被其他单词(噪音)所代替并进行预测。这一概念之所以重要是在于它可以通过对特定单词的评分来表示特征的重要性。例如，"我喜欢苹果"。它可能会变成"我喜欢橙色"，然后它会对新创建的记录进行分类，以了解"苹果"有多重要。当然，我们需要假设替换的词(如橙色)是噪音，它不应该提供重大的分数变化。

还在做模型解释的“隐形人”？解释NLP模型你应该这样做

上图表示，如果输入包含"keith"，则y=0的分数增加2.138。另一个例子是"the"，它将分别在y=1和y=2中分别减少-0.731和-1.387。

对于局部模型解释，ELI5使用了LIME算法。显示格式不同于LIME，但使用相同的思想。

还在做模型解释的“隐形人”？解释NLP模型你应该这样做

ELI 5解释了测试数据，并确定可能是y=0，概率为0.031。同时它还对高分与低分的词进行了突出。

LIME

正如前面提到的，LIME只关注局部模型解释和与模型无关的部分。

将训练好的模型和目标记录传递给LIME库。然后创建一个 bag-of-words模型（A liner bag-of-words model will be created ），并为模型提供大量生成的记录。作为二进制分类器的盒子模型表明了词存在的影响。（The while box model work as a binary classifier indicating the impact of word existence.）例如，"我喜欢苹果"。它可能会变成"我喜欢"，然后它会对新创建的记录进行分类，以了解"苹果"有多重要。

因此，无论提供的模型是什么，它也可以通过生成记录来解释模型。无论它是scikit-learn库、XGBoost，甚至Keras字嵌入模型。在作者的示例代码中，成功的让sci-kit学习API界面实现了Keras，这样也可以使用LIME来解释Keras的字嵌入模型。

还在做模型解释的“隐形人”？解释NLP模型你应该这样做