MIT 推出机器翻译新算法，破译已消失的古语言

麻省理工学院计算机科学与人工智能实验室(Computer Science and Artificial Intelligence Laboratory，CSAIL)的研究人员最近开发出了一种新的计算机算法，可以帮助语言学家自动破译历史上消失已久失的古语言。

官方指出，该系统能够自动破译已消失的语言，且无需对这一语言与其他语言的关系有深入的了解。他们还表明，该系统自身就可以确定语言之间的关系，并可以用它来证实最近的一项表明 Iberian 语言实际上与 Basque 语言无关的学术研究。

CSAIL 方面称，最近的研究表明，大多数曾经存在过的语言已经不再被使用。其中有数十种已灭绝语言也已被认为是“未破译”的语言。这就意味着，大众对它们的语法(grammar)、词汇(vocabulary)或句法(syntax)都了解不足，也无法理解其文本的意思。

而研究这些“未破译”的语言，除了是出于学术上的好奇心。还在于，不理解语言我们就会错过与讲这些语言的人有关的一整套知识体系。然而不幸的是，大多数灭绝语言的相关记录都非常的少，导致科学家无法使用谷歌翻译之类的机器翻译工具或 AI 算法来对其进行解密。

因此，此次 CSAIL 团队推出这一新算法的最终目的就是，旨在只用几千个单词，就可以破译语言学家几十年来难以理解的失传语言。

本次研究由 MIT 教授 Regina Barzilay 牵头，依赖于基于历史语言学(historical linguistics)见解的几项原则。例如，语言通常仅以某些可预测的方式发展。具体表现为：一种给定的语言很少会直接添加或删除整个音节，但是很可能会发生某些近似发音的替换。像母语中带有“p”发音的单词就可能会在其后代演变中变为“b”，但是由于明显的发音差异，变为“k”的可能性则较小。

通过整合这些原则和其他语言学约束，Barzilay 和 MIT 博士生 Jiaming Luo 开发了一种解密算法，该算法可以处理可能的转换的巨大空间以及输入中引导信号的稀缺性。该算法学习将语言声音嵌入多维空间，在该多维空间中，相应矢量之间的距离反映了不同发音的差异。这种设计使他们能够捕获语言变化的相关模式，并将其表达为计算约束(computational constraints)。生成的模型可以将古代语言中的单词进行细分，并将其映射到相关语言中的对应单词。

该项目建立在 Barzilay 和 Luo 去年写的一篇论文的基础上， 这篇论文解密了已灭绝的 Ugaritic 和 Linear B 语言，后者以前需要数十年的时间才能被人类解码。但是，两个项目之间的主要区别在于，该团队此前就已经知道这些语言分别与希伯来语和希腊语的早期形式有关。

新算法可以推断语言之间的关系，这是语言解密中的最大挑战之一。该算法可以评估两种语言之间的相似度，当对已知语言进行测试时，它甚至可以准确地识别出该语言属于哪个语系(language families)。不仅如此，算法生成的模型可以将古语言中的单词进行细分，并将其一一映射到“相关”语言中的对应单词上去。

在未来的工作中，该团队希望扩展到将文本与已知语言的相关单词相关联的范围之外，这种方法被称为“基于同源的破译方法”。其表示，“例如，我们可以识别文本中涉及到的所有人或地点的信息，然后可以根据已知的历史证据对其进行进一步的调查。这些实体识别(entity recognition)方法如今已广泛用于各种文本处理应用程序中，并且具有很高的准确性。但是关键的研究问题在于，在没有任何古代语言训练数据的情况下，这项任务是否可行? ”

本文转自OSCHINA。