掌握LDA算法，让你轻轻松松搞清大型文档中的奥秘

点击上方关注，All in AI中国

导言:

主题模型是一组旨在发现大型文档主题信息的算法。主题模型算法是一种统计方法，通过分析原始文本中的同一单词的出现频率来判断主题。

隐含狄利克雷分布（LDA）是由哥伦比亚大学的David M Blei、斯坦福大学的吴恩达和Michael Jordan (加州大学伯克利分校)开发的一种主题模型算法。简单的说，LDA属于自然语言处理领域中的无监督机器学习领域。

在这篇文章中，作者将尝试对LDA进行一些基本的演算，但不打算深入到具体细节。然后，带领我们使用python对NASA网站上公开提供的文档进行主题模型。

基本判断

LDA的主要目的是判断文档展示了多少个主题。Blei和他的团队用"Seeking Life's Bare (Genetic) Necessities"这篇文章进行LDA算法的演练。其中，彩色标亮的地方是他们需要着重注意的部分。

其中，不同颜色的单词分别代表着不同的主题。我们可以笼统的说，主题就是文本中词汇的分布情况。例如，在上面的文档中，单词的分布情况如下，表示计算预测的部分用蓝色标记。表示基因、基因组的地方用黄色标记等等。如果Blei博士和他的团队花费更多的时间对每一个单词都进行颜色标记(不包括停止词)，我们将看到这篇文章将遗传学、数据分析和进化生物学融为一体。其中不同颜色（的单词）占文本的比例，表示这三门学科在文本中的应用情况。

在这里需要强调的是，本文使用LDA得出的结果是建立在以下前提上的，具体内容如下：

1. 对于主题文本的分析都采用条形图居右的样式。
2. 不同的颜色代表着不同的主题。
3. 你需要确定不同颜色代表的具体含义。如果说，你选择黄色代表与遗传学相关的单词。主题模型会不断的分析每一个单词与与遗传学的关系。
4. 当主题模型确定你的单词与黄色无关，它会转向其他颜色并且重复第3（步骤）。

通过LDA你会对文章不同阶段主题的变化有着更深的理解。换句话说，我们可以假设一篇文章是不同主题结合的模型。LDA就是对文章包含哪些主题作出的具体分析。

使用python开始主题模型:

我们从导入python库开始。

就像建模前的任何数据一样，我们必须对文本数据进行预处理。我们的预处理步骤包括消除停止词等等。在提取数据之前，我们将创建一个预处理函数，以便在我们对数据进行处理。

我们现在需要取出存储在本地的数据，然后使用刚才所述的步骤进行预处理。

在建模之前，让我们先看看我们的数据是什么样子的。

现在，我们将把数据拟合到我们的LDA算法中。

现在是时候对LDA主题化建模进行可视化处理。从上面的代码中可以看出，我们将参数num_spects设置为3，也就是说我们的模型将给我们提供3个主题。我们需要对每个主题进行可视化处理。

我们看到臭氧、大气、飞行、排放等词。这告诉我们，我们的文件包含与地球大气中臭氧层有关的研究内容。

接下来，让我们看看主题2要告诉我们的关于我们文档的内容。

我们看到像飞行、超音速、商业、声波等词。这告诉我们这篇文章与航空工程有关。最后，我们对主题3进行可视化处理。

火星、任务和漫游者等主题的分布揭示了与火星探索有关的主题。

结语:

像LDA这样的主题建模是无监督的机器学习代表，因为它能在文档集中发现潜在的主题。主题模型对出版、内容推荐以及处理大量法律、科研文件都有着广泛的作用。

补充链接：http://www.cs.columbia.edu/~blei/papers/Blei2012.pdf

运营：李佳惠