谷歌神经网络研究报告：Transformer解决翻译难题

【编者按】我们所熟知的机器翻译工具在翻译过程中，其效果可能并不是非常好，会出现一些明显的错误。最近，利用神经网络技术来处理语言理解，优化其翻译效果。

本文中介绍了谷歌研发的新工具，这是一种基于自我关注机制的新型神经网络架构。

本文来源于research.googleblog，作者Jakob Uszkoreit；由编译。

神经网络，特别是循环神经网络（RNNS），是语言建模、机器翻译和问答系统等语言理解任务的主要核心方法。本文中我们将介绍Transformer，是一种基于自我关注机制的新型神经网络架构，并且非常适用于语言理解。

Transformer优于英语到德语及英语到法语之间翻译基准的反复性和卷积模型。对于更高的翻译质量而言，Transformer只需要较少的计算来进行训练，同时更加适合于现代机器学习硬件。