中英文机器翻译模型(Machine Translation)

1 引言

机器翻译是(Translation)自然语言处理的一项重要任务，迄今为止虽然取得了很大进步，但仍任有许多不确定因素，导致翻译出来的结果啼笑皆非。百度翻译，谷歌翻译，微软翻译是机器翻译界的主要开发者。机器翻译也是双语教学方法改进的其中一个目标。在过去，我使用的一个非常简单的方法是直接调用Google的API来实现实时翻译，但由于这种方法受到许多条件限制，极大地影响了翻译效果。近年来，机器翻译的研究主要集中在Seq2Seq和BERT上。Transformers目前有两个支持多语言的模型: XML和BERT。不过这两个都不是专门应用于机器翻译的模型。本笔记测试了Transformers专门的机器翻译数据集Helsinki-NLP。

2 Helsinki-NLP

测试虚拟环境为tfs4，具体参数见《生成摘要(Summarization)的新方法》。2020年5月，赫尔辛基大学(University of Helsinki)的语言技术研究小组(Helsinki-NLP)向Transformers库发布了一套大的翻译模型数据集。这些模型使用MarianNMT框架和开放平行语料库(OPUS)数据集进行了训练。该模型集包括超过1000个语言对，以及169个源语言或语系对英语的翻译，当然其中包括中英文的互译。每个模型的权重和标记器文件约为310MB)。

3 中文->英文

测试代码: translation-zh-to-en.py. 测试目的是把中文翻译成英文。测试使用的句子为: "智利北部的丘基卡马塔矿是世界上最大的露天矿之一，长约4公里，宽3公里，深1公里。" 翻译出来的结果为"The Chuquicamata mine in northern Chile is one of the largest open-air mines in the world, some 4 km long, 3 km wide and 1 km deep."

这个句子基本上表达出原中文的意思，但把“露天矿(open pits mine)”翻译错了，此外这个句子也存在着明显的语法错误，some前面缺少动词引导语，没有翻译出“约(about, approximately)这个词的真实含义 ”。下面比较了四个主流翻译系统给出的结果：

(1) 微软翻译: "The Chukicamata mine in northern Chile is one of the largest open pit mines in the world, about 4 km long, 3 km wide and 1 km deep."

(2) 百度翻译: "Chuquicamata mine in northern Chile is one of the largest open-pit mines in the world, about 4km long, 3km wide and 1km deep."

(3) 谷歌翻译: "The Chuquicamata mine in northern Chile is one of the largest open-pit mines in the world, about 4 kilometers long, 3 kilometers wide and 1 kilometer deep."

(4) DeepL翻译:"The Chuquicamata mine in northern Chile is one of the largest open-pit mines in the world, measuring approximately 4 km long, 3 km wide and 1 km deep."

仅就这个句子的翻译质量而言，DeepL>Google>Baidu>Bing.

4 英文->中文

测试代码: translation-en-to-zh.py. 测试目的是把英文翻译成中文。测试使用的句子为: "Recent research indicates that brittle fracture and step-path failure are important considerations in both natural high-mountain and engineered rock slopes. Newly developed techniques for field survey and numerical modeling of brittle fracture and step-path failure are presented in this research in an attempt to overcome many of the limitations of traditional approaches." 这是一个专业性非常强的句子，已经预计到训练模型不会产生出太好的结果。翻译结果如下: "最近的研究表明,易碎裂和继体失灵是自然高山坡和工程岩坡的重要考虑因素。这项研究介绍了新开发的实地勘察技术和易碎裂和继体失灵数字模型模型,试图克服传统方法的许多局限性。"可以看出，尽管翻译出句子的整体结构，但一些关键词翻译质量非常差。下面比较了四个主流翻译系统给出的结果：

(1) 微软翻译: "最近的研究表明，脆性断裂和步道故障是天然高山和工程岩坡的重要考虑因素。本研究介绍了新开发的脆性骨折和步道故障的实地勘察和数值建模技术，试图克服传统方法的许多局限性。"

(2) 百度翻译: "最近的研究表明，脆性断裂和台阶路径破坏是天然高山和工程岩石边坡的重要考虑因素。为了克服传统方法的许多局限性，本研究提出了脆性断裂和台阶路径破坏的现场调查和数值模拟的新技术。"

(3) 谷歌翻译: "最近的研究表明，脆性断裂和阶梯路径破坏是天然高山和工程岩石边坡的重要考虑因素。本研究介绍了用于现场勘测和数值模拟的新开发技术，旨在克服传统方法的许多局限性。"

(4) DeepL翻译:"最近的研究表明，脆性断裂和阶梯式破坏是自然高山和工程岩坡的重要考虑因素。本研究提出了新开发的现场调查和脆性断裂和阶梯式破坏的数字模型技术，试图克服传统方法的许多限制。"

仅就这个句子的翻译质量而言，Baidu>Google>DeepL>Bing.

5 结束语

本文测试了Helsinki-NLP机器翻译模型。通过测试发现：一方面这个模型可以很好地实现中英文互译，另一方面，对于专业性过强的术语，这个模型不能给出正确的翻译。通过改进GeotechSet数据集的质量，能够进一步改进机器翻译在岩土工程领域的应用。此外，一个非故意得出的结论：无论是英译中还是中译英，Bing的翻译质量最差。