网站设计的布局,免费域名注册推荐,少儿编程自学网站,全景网站模版来源#xff1a;AI科技评论作者#xff1a;张家俊编辑#xff1a;丛 末机器翻译旨在利用计算机实现自然语言之间的自动翻译#xff0c;一直是自然语言处理与人工智能领域的重要研究方向#xff0c;近年来更是取得了突破性进展#xff0c;已成为大众较为熟知和常用的技术… 来源AI科技评论作者张家俊编辑丛 末机器翻译旨在利用计算机实现自然语言之间的自动翻译一直是自然语言处理与人工智能领域的重要研究方向近年来更是取得了突破性进展已成为大众较为熟知和常用的技术。现在一提起机器翻译技术的起源对该研究领域稍有了解的人们都知道是美国的瓦伦·韦弗Warren Weaver后面简称韦弗最先于1947年提出机器翻译概念并于1949年7月正式记录于名为《翻译》的备忘录。不过可能大多数人不是特别了解韦弗究竟是何许人也以及他怎么会提出机器翻译的概念。作为机器翻译领域的一名研究者我对这些问题非常感兴趣也希望让更多人了解机器翻译概念诞生的那些趣事和史实。瓦伦·韦弗如果让大家猜测的话可能会认为韦弗是一位从事语言翻译的学者由于人工翻译任务繁重从而产生利用计算机进行自动翻译的想法。其实不然他的人生经历着实会让人惊叹不已。如果您认为他提出了机器翻译的概念已经足够伟大那么可以再告诉您韦弗是位数学家二战期间曾帮助美军革新了防控火控系统和轰炸机技术而且他首次提出了分子生物学的概念他还与信息论之父香侬一同撰写了划时代意义的著作《通信的数学原理》The Mathematical Theory of Communication。有点尴尬的发现机器翻译似乎仅仅是他的一个小小爱好而已。如此多不同领域的贡献竟然集中于一人之身足见韦弗的不凡之处。可能我们会有疑问韦弗到底从事哪种职业呢实际上很难用教授、研究员或者科学家某个称谓概括他的职业生涯。下面让我们慢慢走进韦弗的人生。1从威斯康星到纽约韦弗1894年7月17日出生于美国威斯康星州的里兹堡市从小酷爱各种捣鼓立志成为一名工程师。进入威斯康星大学后受到查尔斯·斯莱希特Charles Slichter和马克思·马森Max Mason两位老师的影响需要重点记得马森他似乎要对韦弗的职业生涯负责到底韦弗发现自己的兴趣和热情并不在工程技术而是应用数学和理论物理从而毅然转向数学于1916年获得数学学位并于1917年获得了土木工程的学位看来他还是没有完全放弃工程技术。大学毕业后在马森的推荐下去施罗普大学大名鼎鼎的加州理工学院的前身做过短暂的数学老师之后在美国空军服役了两年。退役后回到威斯康星大学继续博士研究1921年获得博士学位。毕业后留校担任数学教授并于1928年起担任威斯康星大学数学系主任按照韦弗自己的说法他不太擅长数学研究如果这样下去人生注定平淡无奇。这时候韦弗的人生导师马森再次出场先是邀请韦弗一起撰写了经典物理教科书《电磁场》The electromagnetic field并且在其担任洛克菲勒基金会总裁后力邀韦弗担任马森之前负责的该基金会自然科学部的主任。洛克菲勒基金会总部位于纽约换工作的话意味着不仅要搬家还要面临职业方向的转变从大学教授变成科研项目管理人员可能并不那么吸引人。但是韦弗思考良久后决定跟随老师到纽约去1932年正式就任洛克菲勒基金会自然科学部主任从此开启了他不凡的科学探索、规划和管理生涯。这里要稍微介绍一下给韦弗提供充分施展其才华的洛克菲勒基金会。洛克菲勒基金会正式成立于1913年已经是一个百年老字号也差不多是世界范围内慈善事业做得规模最大成果最多的私人基金会。这里简单列举几点我们可能比较熟知的成就1医学领域洛克菲勒基金会建立了现代公共卫生领域开发疫苗帮助根除黄热病和疟疾等疾病2农业领域推动了20世纪第三世界国家农业生产技术改革的绿色革命3信息领域资助了于1956年召开的标志人工智能起源的达特茅斯会议4在中国资助建立了北京协和医学院及其附属北京协和医院。洛克菲勒基金会的伟大成就还有很多很多。有了这样的舞台韦弗得以大展拳脚尽情展现其对未来科学趋势把控和科研管理的才能。2向生物领域进军洛克菲勒基金会的钱很多理论上想资助什么就资助什么那么资助方向就显得尤为重要。上任伊始韦弗凭借其物理学背景以及对生物技术即将爆发的敏锐嗅觉成功说服洛克菲勒基金会的董事会将资助重点从物理学转向生物学中的新兴领域当然这个过程应该也得到了总裁兼老师马森的大力支持。方向只要对了一切就会顺利。仅仅5-6年时间这些新兴领域被资助的科研项目进展十分迅速1938年韦弗在基金会自然科学年报中将这些生物学中新兴技术统称为分子生物学。由此分子生物学的概念诞生了从而开辟了一个崭新的生物、化学与物理交叉融合的学科方向。现在我们熟知的DNA研究以及新冠肺炎中的核酸检测都属于分子生物学领域。在韦弗的推动下洛克菲勒基金会资助了这一领域的诸多研究者其中很多学者若干年后都成为了具体学术方向的执牛耳者。举个例子1954-1965年分子生物学相关领域洛克菲勒基金会资助的学者中有15位获得了诺贝尔奖该领域一共18位可以说韦弗的最大贡献之一就是极大地推动了20世纪全球生物学的发展。3为信息论做点贡献在担任洛克菲勒基金会自然科学部主任期间韦弗一直保留着他对应用数学特别是概率和统计的研究热情。其中一个突出成就是1949年与克劳德·香侬Claude Shannon共同撰写了划时代意义的著作《通信的数学原理》。不过香侬一直在贝尔实验室工作实际上两人并没有交集那么为什么会成为这部巨著的共同作者呢其中的故事非常有趣。1948年香侬在贝尔系统科学杂志《Bell System Technical Journal》上发表了《通信的一个数学理论》A Mathematical Theory of Communication奠定了信息论和通信理论的基石。这样来看信息论的奠基性工作跟韦弗一点关系没有。但是香侬著作中的数学描述比较晦涩难懂而且阐述该理论仅适用于工程通信领域因此该著作的受众很少。韦弗一直对信息论保持很高的兴趣并且理解非常深刻也有自己独到的见解他于是采用通俗易懂的语言阐述并扩展了香侬的理论并于1949年在《科学美国人》Science American杂志上发表了《通信中的数学》The Mathematics of Communication。时任美国伊利诺伊大学出版社主编的威尔伯·施拉姆教授传播学之父认为两者结合最完美因此将韦弗和香侬的文章分别作为第一和第二部分重新修正编排出版了划时代意义的《通信的数学原理》The Mathematical Theory of Communication著作从低调的“通信的一个数学理论”直接修改成了霸气的“通信的数学原理”。现在“香侬-韦弗模式”已经成为通信和传播领域无人不知的基本理论足见韦弗在信息论的发展和传播中扮演了何其重要的作用。4机器翻译概念的诞生现在让我们回归正题探寻韦弗提出机器翻译概念的过程以及对后续机器翻译发展的影响。据韦弗本人回忆整个过程源于他的一位杰出数学家朋友经历的真实故事。我们称这位数学家朋友为P他之前是德国人在土耳其伊斯坦布尔待过一段时间并且学习过土耳其语。该故事发生于二战期间由于战争的需要那些年密码学的研究十分盛行。有一天P的一位同事F声称想出了一个解密算法于是请P设计一段密文然后测试一下这个解密算法。P对密码学也十分感兴趣鉴于F不懂土耳其语P想为难一下F于是用土耳其语写下包含100个词语的一段话然后将土耳其语中的非英文字母替换为英文字母最后经过稍微复杂点的替换等操作生成了一段数字序列的密文。没想到F第二天就将解码结果呈现给P。虽然F声称没能成功解码出结果只得到一串没有意义的英文字母组成的字符串序列由于不懂土耳其语所以认为没有意义但是P稍加修改后就能还原土耳其语的信息。这个故事深深触动了概率论和统计学背景的韦弗。本来韦弗就对语言翻译有点兴趣这个在后面会提到。经过深入思考韦弗认为不同语言中字母频率和组合方式等都具有相似的规律因而可以通过利用这些特征进行语言的解密也即语言的自动翻译。但是利用什么工具进行自动翻译成为一个关键性问题。正好1946年诞生了世界上第一台电子计算机ENIAC受语言解密和计算机的启发韦弗于1947年提出了机器翻译的思想并与控制论之父诺伯特·维纳针对机器翻译的可行性进行了书信探讨。首先一个疑问是韦弗为什么要和维纳讨论呢实际上一方面韦弗主导洛克菲勒基金会资助了维纳帮助其创立了控制论学科彼此应该比较熟悉另一方面韦弗认为语言的自动翻译是一个复杂系统而维纳是复杂系统研究的权威讨论机器翻译非维纳不可。只不过维纳和韦弗仅讨论了一个回合并且认为机器翻译面临的假设空间太大、歧义性太强基本不可行。韦弗非常失望希望摆事实讲道理继续和维纳探讨最终想说服维纳可是然后就没有了然后。韦弗深知要让机器翻译的概念被人们当然也包括维纳接受就需要提出切实可行的设计方案和实现技术证明其可行性。于是韦弗经过两年的思考并且在1948年与有类似想法的英国伦敦大学伯克贝克学院的布斯Andrew D. Booth进行了深入探讨最终于1949年7月正式在《翻译》备忘录中提出机器翻译概念以及四种可能的实现策略。第一种实现策略基于简单的词语替换方法其核心是解决词义消岐问题。韦弗认为一种自然语言到另一种自然语言的自动转换面临的关键问题是不同语境中的词语多义现象。他提出的一个可行方案是用N个词语窗口的上下文信息来帮助预测中心词语的语义并且认为N不需要太大。该思想在最初实现的基于直接转换的机器翻译方法中得到了应用。第二种实现策略假设语言是一种逻辑表达。语言之间的自动转换就可以形式化为一种逻辑表达到另一种逻辑表达的自动推导。韦弗希望利用这个策略说明机器翻译是形式上可解决的。后来基于规则的翻译方法和统计机器翻译中基于同步上下文无关文法的译文推导模型与该策略的基本思想可以说是一致的。第三种实现策略假设语言间的自动翻译实际上可以看作通信过程即一种输入信号未知的目标语言文本也可以称为密码学中的明文经过信道输出另一种信号可观察的源语言密码学中的密文翻译过程就是根据输出信号恢复输入信号的过程。作为信息论先驱的韦弗受到二战期间破译密码的启发认为机器翻译实际上与密码破译问题十分类似挖掘两种语言之间的统计模式就可以实现语言的自动转换。1990年左右统计机器翻译的兴起就是基于这个策略的基本思想。第四种实现策略假设所有语言之间存在相同的逻辑特征可以视为一种通用语言或者中间语言。韦弗认为源语言到目标语言的自动翻译可以首先将源语言转换为中间语言然后再从中间语言转换为目标语言。后来美国卡内基梅隆大学开发的JANUS机器翻译系统就采用了基于中间语言的翻译方法。不过中间语言的定义和表示一直是一个未解难题。当前基于统一编码器和解码器的多语言神经机器翻译框架本质上类似于基于中间语言的翻译思想。所有语言通过相同的编码器生成分布式的语义表示然后解码器从分布式语义表示生成目标语言。可以看出上述第一种策略到第四种策略想法越来越大胆难度也越来越大。不过从历史的发展来看基本上符合机器翻译方法的进阶过程不得不佩服韦弗对未来科学发展的战略眼光。机器翻译的概念诞生后逐渐吸引了越来越的学者进入这个新兴研究领域。三年后韦弗主导洛克菲勒基金会资助了1952年6月17-20日于麻省理工学院召开的第一届机器翻译会议会议由另一位机器翻译先驱巴尔-希列尔Yehoshua Bar-Hillel大数学家、哲学家、罗辑学家和语言学家组织一共18位专家与会。后来的事情大家就比较熟悉了例如1954年第一个机器翻译系统在纽约公开演示1976年加拿大的天气预报机器翻译系统让人眼前一亮1990年左右IBM的统计机器翻译模型诞生推动了谷歌、微软和百度等在线翻译系统的开发2014年之后深度学习给机器翻译带来了突破性进展。5退休后的生活从1932年担任自然科学部主任到1959年退休韦弗将其大半的职业生涯都贡献给了洛克菲勒基金会。退休后被邀请继续担任了5年斯隆基金会Alfred P Sloan Foundation的副总裁。退休后直至1978年去世的十几年韦弗一方面利用更多时间陪伴家人以另一方面开始将更多精力放在自己的兴趣上。从后续的著作来看韦弗的兴趣主要集中于概率论和语言翻译。1963年韦弗出版了一本科普专著《幸运女神概率理论》Lady Luck: The Theory of Probability希望将概率理论介绍给更广泛的人群。在语言翻译方面韦弗并没有继续研究机器翻译方法而是对文学作品的不同语言的翻译版本产生了兴趣。作为刘易斯·卡罗尔Lewis Carroll的超级粉丝韦弗对《爱丽丝梦游仙境》不同语言的翻译版本特别感兴趣。1964年韦弗出版了另一本专著《很多语言中的爱丽丝》Alice in Many Tongues在这部著作中他详细对比了40种不同语言的版本希望传递给大家一个信息将《爱丽丝梦游仙境》翻译为其他语言面临非常大的挑战。但是韦弗不可能懂40种语言于是他采用了一种back-translation的方法将其他语言回翻为英语然后再对比不同的英语版本。Back-translation的概念对如今神经机器翻译的研究者来说太熟悉不过了已经成为神经机器翻译领域的流行技术也是各种机器翻译竞赛的必备技术。不过back-translation的技术应用于神经机器翻译也只是在2016年被正式提出没想到的是韦弗老爷子早在半个多世纪前就已经在利用back-translation的思想了还能说什么呢除了佩服还是佩服。从韦弗的人生经历以及所取得的成就中我们至少可以得到两点启示。首先兴趣是成功的关键因素。其次对趋势和方向的把控和选择不仅决定个人的成就也将对国家和全球的技术发展起到至关重要的作用。参考文献Warren Weaver. 1955. Translation. Machine Translation of Languages, 14:15-23, 1955.Weaver, Warren. 1964. Alice in Many Tongues: The Translations of “Alice in Wonderland.” Madison: University of Wisconsin Press.Warren Weaver. National Academy of Sciences. 1987. Biographical Memoirs: V.57. Washington, DC: The National Academies Press.Lily E. Kay. 1996. The Molecular Vision of Life: Caltech, the Rockefeller Foundation, and the Rise of the New Biology, Oxford University Press, Reprint 1996.John Hutchins.1998. Milestones in machine translation. Language Today, no. 13. 1998. pp. 12-13.本文作者张家俊中国科学院自动化研究所研究员主要研究方向为机器翻译、自然语言处理、深度学习。知乎专栏https://www.zhihu.com/people/zhang-jia-jun-29-18未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
