关于统计机器翻译的思考

关于统计机器翻译的思考

姚天顺

自然语言处理实验室

东北大学

tsyao@https://www.360docs.net/doc/da3731852.html,

2004.7.11

前言

有这么两条消息：

5月10日《参考消息》

“随着又有10个国家加入欧盟，欧盟现有20种官方语言。年度翻译预算增加到10亿美元。”

5月28日《参考消息》

“欧盟新通过一项议案，所有成员国在欧盟会议上的

文件不得超过15页A4纸，以减轻翻译人员的工作量。”

有计算机的那一天就有机器翻译的研究。

计算机事业蓬勃发展，但机器翻译的道路至今仍然十分艰难。

语料库语言学在计算语言学界兴起。

最近的五年到十年，机器学习方法又受到学术界特别的重视，数学方法大量地引进了语言信息处理。

自然语言处理的研究是进了一大步，

但对于机器翻译而言，真实的效果在哪里呢？

不管怎么样？多少还出现过一些有市场价值的系统，例如译星、华建和史晓东等的汉英翻译系统。

华建的机器翻译，居然取得了国内单项软件出口的最高出售价。

欧洲和日本情况也是这样，当前主流的机器翻译还都是基于规则的机器翻译系统。

一类是基于统计的机器翻译系统，

另一类和基于模板的机器翻译方法。

基于统计的机器翻译，简称为统计机器翻译。

统计机器翻译把源语言中任何一个句子都可能是目标语言中某些句子相似，这些句子的相似程度可能都不相同。那么，一个好的机器翻译系统就是那种能找到最相似句子的系统。

但是这样的汉外机器翻译系统在我们国家从来也没有出现过。

年，IBM公司的A. Berger, P. Brown 等人发表了一个技术报告，即著名的论文：

“The candide System of Machine Translation。”

他们用统计方法，各种不同的对齐技术，给出了命名为Candide 的统计机器翻译系统.

利用汉莎语料库（Hansard corpus，英法双语语料库），总共有2,205,733 英法句对作为训练语料，

实现了国际上第一个较为著名的英语到法语的统计机器翻译系统。

解释、转换、和生成的规则系统。

ARPA（美国国防部高级研究计划署）把这个Candide 翻译系统进行评测，并和国际上利用常规的规则系统构造的SYSTRAN 机器翻译系统作比较，结果是，

适当程度时间比率率

1992 1993 1992 1993 1992 1993 SYSTRAN .466 .540 .686 .743

Candide .511 .580 .575 .670

Transman .819 .838 .837 .850 .688 .625

Manual .833 .840

Transman is the part of the Candide system used as a translation assis-tance tool, i.e.a machine-aided translation system.

这个结果很了不起，在某种程度上推动了经验主义思潮更进一步向前发展。

Candide系统还请了一些语言学家来帮助他们做形态分析、语义标注、和词典等。

Candide系统仍不是一个纯统计的系统。

这样的系统，看来很有希望，不知为什么，由于IBM 公司外部和内部财政方面的原因，支持被撤走，他们的工作坚持到1995年，就被迫停止。呼声很高的系统被中断了。

有人说，纯统计的机器翻译注定是要失败的！

Yorick Wilks在批评Candide系统

时指出：

“他们在系统中引入符号结构就说明了，纯统计的假设已经失败了”（“Incorporating symbolic structure shows the pure statistics hypothesis has failed”）

可见，统计方法是令人鼓舞的，可是它还没有解决所有困

难的问题。

．新统计机器翻译系统的出现

2000年，在Johns Hopkins 的暑假Workshop，有来自南加州大学、

罗切斯特大学、约翰.霍普金斯大学、施乐公司、宾州大学、斯丹福大学等学校的研究人员，

以Och为主的13人，写了一个Final Report：

Syntax for Statistical Machine Translation

Och博士发表的论文：

“Discriminative Training and Maximum Entropy Models for Statistical

Machine Translation”,

获ACL2002大会最佳论文奖。

2001—2003年七月，在美国马里兰州Johns Hopkins美国商业部的NIST/TIDES (National Institute of Standards and Technology) at University in Baltimore, Maryland 评比过程中获最好成绩。

构造了23种阿拉伯和汉语到英语的机器翻译系统。

TIDES: Translingual Information Detection, Extraction and Summarization

的气很盛，他说，

伟大的希腊科学家Archimedes说：

“Give me a place to stand on, and I will move the world.”

Och说：

“Give me enough parallel data, and you can have translation system for

any two languages in a matter of

hours.”

这是不是说，Och博士已经找到

机器翻译的有效方法了?

．统计机器翻译语法

Berger 关于机器翻译的失败,一个主要问题是：

统计机器翻译（SMT）往往有显而易见的语法错误。

Och希望在SMT里整体组合语法结构。

不断添加反映语法知识的特征函数来解决不同语法层次的翻译问题，按照最大熵的模型，在各个语法层次都能给出可能的特征函数

希望从最简单的二元特征到复杂的树--树的结构分析都能够造翻译模型。

．1 逻辑-线性模型

机器翻译的目的是：给定一个源句子Chinese ）,

翻译成可能的目标句子（English ）

那么，所有可能的目标句的最大概率：

,

,...,,...,11J j J f f f f f ==.,...,,...,11I i I

e e e e e =

=)}({max arg 1111J

I r e I f e

P e I =∧

和Ney 在2002年提出的翻译模型, 不同于Brown 等的设想

（1993），是一种后验概率的直接模型（称为直接最大熵翻译模型）。其中e 和f 的位臵正好颠倒.

利用Berger 等人(1996)提出的最大熵框架，在这个框架里，有一组特征函数: 对于每一个特征函数，存在一个模型参数,

按照最大熵理论，直接概率模型：

这是标准的最大熵计算公式。其中分母可以不计。

M

m f e h J I m ,...,1),,(11=M

m m ,...,1,=λ∑∑∑????????????====I M e M m J I m m M m J I m m J I J I r f e h f e h f e p f e P 1

1

1111111111),(exp ),(exp ),(),(λλλ

-线性模型总体结构如下图所示：

切分（短语）、对齐、重排、生成。

由汉语句子：

中国十四个边境开放城市经济建设成就显著.

翻译成英文句子：

China’s 14 open border cities marked economic achievements.切分：

本质上存在一个隐变量，再取参数，

就有

特征函数由原来的转换成

K z 1K 1πK

K z 11,π)

,,,(),(111111K K J I m J I m z f e h f e h π→

浅层语法的特征函数

W o RD Selection

Phrase Al ignment

A lignment T emplate Selection

L anguage M odel Features

∏=-=K k j j k K K J I AT k k f z p z f e h 11

111)

(log ),,,(1πππ)

,}),({(log ),,,(11111i I

i j i K K J I WRD E A j i f e p z f e h ∏=∈=π∑+=+=-=111

11111),,,(K k K K J I AL k k j j z f e h πππ∏+=--=1

1121111)

,(log ),,,(I i i i i K K J I LM e e e p z f e h π