關(guān)于統(tǒng)計(jì)機(jī)器翻譯的思考姚天順.ppt

關(guān)于統(tǒng)計(jì)機(jī)器翻譯的思考,姚天順 自然語(yǔ)言處理實(shí)驗(yàn)室 東北大學(xué) 2004.7.11,1. 前言 有這么兩條消息： 5月10日參考消息 “隨著又有10個(gè)國(guó)家加入歐盟，歐盟現(xiàn)有20種官方語(yǔ)言。年度翻譯預(yù)算增加到10億美元。” 5月28日參考消息 “歐盟新通過(guò)一項(xiàng)議案，所有成員國(guó)在歐盟會(huì)議上的文件不得超過(guò)15頁(yè)A4紙，以減輕翻譯人員的工作量。”,機(jī)器翻譯的現(xiàn)狀和未來(lái)到底怎么樣了？ 有計(jì)算機(jī)的那一天就有機(jī)器翻譯的研究。 計(jì)算機(jī)事業(yè)蓬勃發(fā)展，但機(jī)器翻譯的道路至今仍然十分艱難。,上世紀(jì)的八十年代，特別是九十年代， 語(yǔ)料庫(kù)語(yǔ)言學(xué)在計(jì)算語(yǔ)言學(xué)界興起。 最近的五年到十年，機(jī)器學(xué)習(xí)方法又受到學(xué)術(shù)界 特別的重視，數(shù)學(xué)方法大量地引進(jìn)了語(yǔ)言信息處理。 自然語(yǔ)言處理的研究是進(jìn)了一大步， 但對(duì)于機(jī)器翻譯而言，真實(shí)的效果在哪里呢？,回憶基于規(guī)則的機(jī)器翻譯系統(tǒng)作為主流技術(shù)的時(shí)代， 不管怎么樣？多少還出現(xiàn)過(guò)一些有市場(chǎng)價(jià)值的系統(tǒng)， 例如譯星、華建和史曉東等的漢英翻譯系統(tǒng)。 華建的機(jī)器翻譯，居然取得了國(guó)內(nèi)單項(xiàng)軟件出口的最 高出售價(jià)。 歐洲和日本情況也是這樣，當(dāng)前主流的機(jī)器翻譯還都 是基于規(guī)則的機(jī)器翻譯系統(tǒng)。,基于語(yǔ)料庫(kù)的機(jī)器翻譯方法，一般說(shuō)來(lái)可以分為兩類： 一類是基于統(tǒng)計(jì)的機(jī)器翻譯系統(tǒng)， 另一類和基于模板的機(jī)器翻譯方法。 基于統(tǒng)計(jì)的機(jī)器翻譯，簡(jiǎn)稱為統(tǒng)計(jì)機(jī)器翻譯。 統(tǒng)計(jì)機(jī)器翻譯把源語(yǔ)言中任何一個(gè)句子都可能是目標(biāo)語(yǔ)言中 某些句子相似，這些句子的相似程度可能都不相同。那么，一個(gè) 好的機(jī)器翻譯系統(tǒng)就是那種能找到最相似句子的系統(tǒng)。 但是這樣的漢外機(jī)器翻譯系統(tǒng)在我們國(guó)家從來(lái)也沒(méi)有出現(xiàn) 過(guò)。,1994年，IBM公司的A. Berger, P. Brown 等人發(fā)表了一個(gè)技術(shù)報(bào) 告，即著名的論文： “The candide System of Machine Translation?！?他們用統(tǒng)計(jì)方法，各種不同的對(duì)齊技術(shù)，給出了命名為Candide 的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng). 利用漢莎語(yǔ)料庫(kù)（Hansard corpus，英法雙語(yǔ)語(yǔ)料庫(kù)），總共 有 2,205,733 英法句對(duì)作為訓(xùn)練語(yǔ)料， 實(shí)現(xiàn)了國(guó)際上第一個(gè)較為著名的英語(yǔ)到法語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯系 統(tǒng)。,一開始，系統(tǒng)的成績(jī)不錯(cuò)，整體的系統(tǒng)的譯準(zhǔn)率超過(guò)了基于 解釋、轉(zhuǎn)換、和生成的規(guī)則系統(tǒng)。 ARPA（美國(guó)國(guó)防部高級(jí)研究計(jì)劃署）把這個(gè) Candide 翻譯 系統(tǒng)進(jìn)行評(píng)測(cè)，并和國(guó)際上利用常規(guī)的規(guī)則系統(tǒng)構(gòu)造的 SYSTRAN 機(jī)器翻譯系統(tǒng)作比較，結(jié)果是，,流利程度 適當(dāng)程度 時(shí)間比率率 1992 1993 1992 1993 1992 1993 SYSTRAN .466 .540 .686 .743 Candide .511 .580 .575 .670 Transman .819 .838 .837 .850 .688 .625 Manual .833 .840 Transman is the part of the Candide system used as a translation assis- tance tool, i.e. a machine-aided translation system. 這個(gè)結(jié)果很了不起，在某種程度上推動(dòng)了經(jīng)驗(yàn)主義思潮更進(jìn)一步向前 發(fā)展。,由于計(jì)算語(yǔ)言的復(fù)雜性，Candide系統(tǒng)還請(qǐng)了一些語(yǔ)言學(xué)家來(lái)幫助他們做形態(tài)分析、語(yǔ)義標(biāo)注、和詞典等。 Candide系統(tǒng)仍不是一個(gè)純統(tǒng)計(jì)的系統(tǒng)。 這樣的系統(tǒng)，看來(lái)很有希望，不知為什么，由于IBM 公司外部和內(nèi)部財(cái)政方面的原因，支持被撤走，他們的工作堅(jiān)持到1995年，就被迫停止。呼聲很高的系統(tǒng)被中斷了。 有人說(shuō)，純統(tǒng)計(jì)的機(jī)器翻譯注定是要失敗的！,美國(guó)著名機(jī)器翻譯學(xué)者Yorick Wilks在批評(píng) Candide系統(tǒng) 時(shí)指出： “他們?cè)谙到y(tǒng)中引入符號(hào)結(jié)構(gòu)就說(shuō)明了，純統(tǒng)計(jì)的假設(shè)已經(jīng)失敗了” （“Incorporating symbolic structure shows the pure statistics hypothesis has failed”） 可見(jiàn)，統(tǒng)計(jì)方法是令人鼓舞的，可是它還沒(méi)有解決所有困 難的問(wèn)題。,2新統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)的出現(xiàn) 2000年，在Johns Hopkins 的暑假Workshop，有來(lái)自南加州大學(xué)、 羅切斯特大學(xué)、約翰.霍普金斯大學(xué)、施樂(lè)公司、賓州大學(xué)、斯丹福大學(xué)等學(xué) 校的研究人員， 以O(shè)ch為主的13人，寫了一個(gè)Final Report： Syntax for Statistical Machine Translation Och博士發(fā)表的論文： “Discriminative Training and Maximum Entropy Models for Statistical Machine Translation”, 獲ACL2002大會(huì)最佳論文獎(jiǎng)。 20012003年七月，在美國(guó)馬里蘭州Johns Hopkins美國(guó)商業(yè)部的 NIST/TIDES (National Institute of Standards and Technology) at University in Baltimore, Maryland 評(píng)比過(guò)程中獲最好成績(jī)。 構(gòu)造了23種阿拉伯和漢語(yǔ)到英語(yǔ)的機(jī)器翻譯系統(tǒng)。 TIDES: Translingual Information Detection, Extraction and Summarization,Och的氣很盛，他說(shuō)， 偉大的希臘科學(xué)家Archimedes說(shuō)： “Give me a place to stand on, and I will move the world.” Och說(shuō)： “Give me enough parallel data, and you can have translation system for any two languages in a matter of hours.” 這是不是說(shuō)，Och博士已經(jīng)找到 機(jī)器翻譯的有效方法了?,3統(tǒng)計(jì)機(jī)器翻譯語(yǔ)法 Berger 關(guān)于機(jī)器翻譯的失敗,一個(gè)主要問(wèn)題是： 統(tǒng)計(jì)機(jī)器翻譯（SMT）往往有顯而易見(jiàn)的語(yǔ)法錯(cuò)誤。 Och希望在SMT里整體組合語(yǔ)法結(jié)構(gòu)。 不斷添加反映語(yǔ)法知識(shí)的特征函數(shù)來(lái)解決不同語(yǔ)法層次的翻 譯問(wèn)題，按照最大熵的模型，在各個(gè)語(yǔ)法層次都能給出可能的特 征函數(shù) 希望從最簡(jiǎn)單的二元特征到復(fù)雜的樹 - 樹的結(jié)構(gòu)分析都能夠 造翻譯模型。,31 邏輯-線性模型 機(jī)器翻譯的目的是：給定一個(gè)源句子Chinese） , 翻譯成可能的目標(biāo)句子（English） 那么，所有可能的目標(biāo)句的最大概率：,Och 和 Ney 在 2002年提出的翻譯模型, 不同于 Brown 等的設(shè)想 （1993），是一種后驗(yàn)概率的直接模型（稱為直接最大熵翻譯模型）。 其中 e 和 f 的位置正好顛倒. 利用Berger等人(1996)提出的最大熵框架，在這個(gè)框架里，有一組 特征函數(shù): 對(duì)于每一個(gè)特征函數(shù)，存在一個(gè)模型參數(shù), 按照最大熵理論，直接概率模型： 這是標(biāo)準(zhǔn)的最大熵計(jì)算公式。其中分母可以不計(jì)。,邏輯-線性模型總體結(jié)構(gòu)如下圖所示：,一個(gè)統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)設(shè)計(jì)成為： 切分（短語(yǔ)）、對(duì)齊、重排、生成。 由漢語(yǔ)句子： 中國(guó)十四個(gè)邊境開放城市經(jīng)濟(jì)建設(shè)成就顯著. 翻譯成英文句子： Chinas 14 open border cities marked economic achievements. 切分：,對(duì)齊模板處理形象理解為： 本質(zhì)上存在一個(gè)隱變量 ，再取參數(shù) ， 就有 特征函數(shù)由原來(lái)的轉(zhuǎn)換成,各種語(yǔ)法現(xiàn)象的特征函數(shù) 淺層語(yǔ)法的特征函數(shù) WoRD Selection Phrase Alignment Alignment Template Selection Language Model Features,深層句法特征函數(shù) 深層處理的句法特征函數(shù)是通過(guò)兩種模型形成： 1、Tree to String 的特征函數(shù) 1) 中文句子和英文分析樹,對(duì)齊概率和的特征函數(shù)， 2）計(jì)算對(duì)齊最好的特征函數(shù),2、Tree to Tree 的特征函數(shù) 樹到樹的對(duì)齊模型是十分復(fù)雜的。例如漢英句對(duì)： 中國(guó)十四個(gè)邊境開放城市經(jīng)濟(jì)建設(shè)成就顯著. Fourteen Chinese open border city make signficant achievements in economic construction. 標(biāo)注后的雙語(yǔ)句子： 中國(guó)_NR 14_CD 個(gè)_M 邊境_NN 開放_(tái)NN 城市_NN 經(jīng)濟(jì)_NN 建設(shè)_NN 成就_NN 顯著_VV。(不討論標(biāo)注的正確性） Fourteen_CD Chinese_JJ open_JJ border_NN cities_NNS make_VBP signficant_JJ achievements_NNS in_IN economic_JJ construction_NN. 他們的分析樹分別是：例如,這里有兩類標(biāo)注： The Part-of-Speech Tagging Guildelines for Penn Chinese Treebank。 The University of Pennsylvania Treebank Tag-set。 其中， NR proper noun 專有名字 CD cardinal number 基數(shù) M measure word 量詞 NN common noun 普通名字 VV other verb 是、有以外的動(dòng)詞 JJ other noun modifier 其他名字修飾符 VBP verb, present tense, 3rd person singular 動(dòng)詞，現(xiàn)在式，第3人稱 IN preposition or conjunction, subordinating 介詞或連詞，連接逐句或從句,中國(guó) 十四 個(gè) 邊境 開放 城市 經(jīng)濟(jì) 建設(shè) 成就 顯著.,同一個(gè)含義的兩種語(yǔ)言的分析樹有著不同的結(jié)構(gòu)。其中有的結(jié) 構(gòu)是可以自動(dòng)轉(zhuǎn)換和對(duì)齊的，如 A A B Z = X Y Z X Y 有的就不可以自動(dòng)對(duì)齊轉(zhuǎn)換 A B C W X Y Z 沒(méi)法對(duì)齊到 WYXZ,2002年，Hajie等人在他們（11人）的論文： “Natural language generation in the context of machine translation” 提出了非同構(gòu)的平行樹間的兩邊進(jìn)行多于兩個(gè)節(jié)點(diǎn)的 m-to-n 的匹配。給出一點(diǎn)彈性處理的許可。 例如兩個(gè)樹的詞序不變而結(jié)構(gòu)不同等的原來(lái)不可對(duì)齊問(wèn)題，在 沒(méi)有引起明顯的計(jì)算復(fù)雜度的情況下，也允許子樹對(duì)齊。 由于這樣的考慮，他們就提出了所謂克隆（Clone）操作的概 念。 克隆操作： 允許在源樹中，拷貝一個(gè)節(jié)點(diǎn)到目標(biāo)樹的任意地方。克隆以 后，就像以前一樣使用樹分解（decomposition）和子樹對(duì)齊。除 了克隆以外，其他的基本算法都不變。 硬性解決不解之難。,Och的設(shè)想取自于Gildea的工作。 Gildea在2003年的論文中提到，在他們的系統(tǒng)里選用韓英軍事領(lǐng)域雙語(yǔ)語(yǔ)料。 語(yǔ)料包括5083句，使用4982句作為訓(xùn)練語(yǔ)料，101句作評(píng)測(cè)。韓語(yǔ)句子的平均長(zhǎng)度是13個(gè)字。對(duì)齊結(jié)果的比較，如下表所示：,Och的狂妄，可能并沒(méi)有解決問(wèn)題。 就像阿基米德雖然偉大，但還是不能撬起一個(gè)地球， Och可能在幾個(gè)小時(shí)里，對(duì)于任何雙語(yǔ)拿出一個(gè)機(jī)器翻譯系統(tǒng)，但還是不能真正實(shí)用。機(jī)器翻譯任重而道遠(yuǎn)。 回過(guò)頭來(lái)想，Och 提出了一個(gè)完整的統(tǒng)計(jì)機(jī)器翻譯思想，在各個(gè)層次給出了各個(gè)特征函數(shù)，借用了克隆的思想，提出了統(tǒng)計(jì)機(jī)器翻譯語(yǔ)法的理論。不是點(diǎn)滴的，而是完整的構(gòu)思。我們似乎可以從中找到起步的光芒，那就是為什么他的論文是一篇最佳論文的原因。 但是，最終還沒(méi)有找到統(tǒng)計(jì)機(jī)器翻譯可遵循的研究道路。路在那里啊？,Tree to String, Tree to Tree 的對(duì)齊，可能是實(shí)現(xiàn)機(jī)器翻譯的一 個(gè)瓶頸問(wèn)題。 統(tǒng)計(jì)機(jī)器翻譯的領(lǐng)頭人物可能是南加州大學(xué)ISI的Kevin Knight。 提出了基于語(yǔ)法的語(yǔ)言模型（Syntax-based Language Models）, 與一種tree-to-string翻譯模型（YK01）組合在一起，得到較好的翻譯 精度。 這里所提的基于語(yǔ)法,不是普通意義上的人工規(guī)則,而是在樹庫(kù)條 件下自動(dòng)生成語(yǔ)法。是很有意思的。但其試驗(yàn)結(jié)果：346個(gè)句子,YC, 就是他們文章上寫的系統(tǒng)， 也就是 YK01翻譯模型， Cha01語(yǔ)言模型 和 基于森林的解碼器組成的系統(tǒng)。 YT， YK01翻譯模型， 標(biāo)準(zhǔn)三元語(yǔ)言模型 和 YK02解碼器 BT, BPPM93翻譯模型， 標(biāo)準(zhǔn)三元語(yǔ)言模型 和 GJM+01貪婪解碼器 注：E. Charniak, Kevin Knight and K. Yamada, Suntax-based Language Models for Statistical Machine Translation.,另一位是：約翰 霍普金斯大學(xué)計(jì)算機(jī)系的 Jason Eisner 討論非同構(gòu)樹（Non-Isomorphic Tree）映射問(wèn)題。 即通過(guò)訓(xùn)練美對(duì)齊的樹或者樹和串混合的隊(duì)，學(xué)習(xí) tree-to-tree 映 射。 提出一種所謂 STSG。 它是一種共時(shí)樹置換文法（Synchronous tree substitution grammar）。 這是對(duì)齊的基本樹隊(duì)（有序）的聚集。 它也是一個(gè)簡(jiǎn)單的共時(shí)樹鄰接文法（Synchronous tree-adjoining grammar）。 現(xiàn)已用所有的樹對(duì)作訓(xùn)練集，利用EM算法獲得基本樹的概率，和 Viterbi解碼器找到最優(yōu)的翻譯。 這些方法也是在暑期（2002）約翰 霍普金斯大學(xué)CLSP暑期研討會(huì) 開發(fā)和實(shí)現(xiàn)的。效果有待考驗(yàn)。 注：Jasson Eisner, Laerning Non-Isomorphic Tree Mapping for Machine Translation,不僅如此， 在機(jī)器學(xué)習(xí)方面，最近又有了新的發(fā)展。 自然語(yǔ)言處理的學(xué)習(xí)都被認(rèn)為是一種帶標(biāo)序列學(xué)習(xí)問(wèn)題： Label Sequence Learning 以前的 Hidden Markov Models Maximum Entropy Markov Models 都是帶標(biāo)序列學(xué)習(xí)問(wèn)題。 現(xiàn)在提出一種新的理論和方法 Condition Random Fields 那有事么不同呢？直觀地講：,可以比喻如下圖形： HMM MEMM CRF,這主要是解決了兩大問(wèn)題： Long-distance dependences 長(zhǎng)距離相關(guān) Overlapping features 重疊特征 這是個(gè)重大的改進(jìn),學(xué)術(shù)界出現(xiàn)了CRF熱。 HMM 方法早就不行了，Och用 MEMM 也可以改進(jìn), 出現(xiàn)了CRF。,當(dāng)初，NIST在2001年和2003年兩次評(píng)測(cè)得第一， 是漢英機(jī)器翻譯的評(píng)比獲得第一。 可能是專了一個(gè)空子，只是漢英機(jī)器翻譯。如果是其他語(yǔ)種 的機(jī)器翻譯，可能得不了第一。 這就是為什么多年來(lái) SYSTRAN 還是一直堅(jiān)持老辦法，為什么歐 洲和日本機(jī)器翻譯的主流技術(shù)還是基于規(guī)則的，為什么著名的計(jì)算 語(yǔ)言學(xué)家Wilkes 這么反對(duì)統(tǒng)計(jì)機(jī)器翻譯。 我們國(guó)內(nèi)也是如此，直到現(xiàn)在，甚至連一個(gè)實(shí)驗(yàn)性的統(tǒng)計(jì)機(jī)器 翻譯系統(tǒng)都沒(méi)有！ 機(jī)器翻譯是 NLP 領(lǐng)域的百科全書，如果樹串對(duì)齊、樹樹對(duì)齊， 這個(gè)瓶頸問(wèn)題不解決， 統(tǒng)計(jì)語(yǔ)言學(xué)的前景將黯然失色，對(duì)他們的信心將產(chǎn)生懷疑。 相信，這個(gè)瓶頸問(wèn)題總能解決。,為了進(jìn)一步開發(fā)基于語(yǔ)料庫(kù)的機(jī)器翻譯系統(tǒng)，必須解 決兩個(gè)問(wèn)題： 必須盡快構(gòu)造海量帶標(biāo)語(yǔ)料庫(kù)，帶標(biāo)樹庫(kù)。 盡快攻克漢外結(jié)構(gòu)化樹庫(kù)對(duì)齊的技術(shù)難點(diǎn)。 把統(tǒng)計(jì)機(jī)器翻譯的研究前進(jìn)一大步！ 語(yǔ)言標(biāo)注，樹庫(kù)的建設(shè)仍在國(guó)際上迅速展開。 可是我們國(guó)家的步伐太慢了！,2003年美國(guó)的計(jì)算語(yǔ)言學(xué)者們不滿足現(xiàn)有的，多達(dá) 2000 萬(wàn)詞 的英國(guó)國(guó)家語(yǔ)料庫(kù)（BNC，Beritish National Corpus）帶標(biāo)語(yǔ)料庫(kù)的 需求，向全世界發(fā)布了美國(guó)國(guó)家語(yǔ)料庫(kù)（ANC，American National Corpus）的第一個(gè)版本。 這是一個(gè)具有 11, 508, 216 詞匯的帶標(biāo)語(yǔ)料庫(kù)。由兩部分內(nèi)容組 成：其中口語(yǔ) 3, 224, 388字，書面語(yǔ)8, 283, 828字。 使用規(guī)范的 XML corpus Encoding Standard（XCES）書寫。并 宣布再做兩年，至少可以達(dá)到 100 million。 氣魄很大！ 為了開展這個(gè)活動(dòng)，組織了 ANC 聯(lián)盟，有 16 個(gè)大公司和學(xué)校 作為商業(yè)成員，8個(gè)大公司和學(xué)校作為學(xué)術(shù)成員，參加并支持這項(xiàng)研 究工作。,Commercial Members Pearson Education Langenscheidt Publishing Group HarperCollins Publishers Cambridge University Press Microsoft Corporation Shogakukan Inc. ALC Press Inc. Taishukan Publishing Company Oxford University Press Kenkyusha Ltd. IBM Corporation Obunsha Publishing Co. Ltd. Benesse Corporation Sanseido Co., Ltd. Sony Electronics Inc. Macmillan Publishers Academic Members Vassar College Northern Arizona University New York University Linguistic Data Consortium, University of Pennsylvania International Computer Science Institute University of California, Berkeley University of Colorado at Boulder,Penn Chinese Treebank 起源于1998年。目標(biāo)是500,000詞漢 語(yǔ)語(yǔ)料的語(yǔ)法樹。 2000年出了第一版，2001年進(jìn)一步校正，出了第二版。 Chinese Treebank 4.0 包含有 404,156 詞，664, 633 漢字, 15, 162個(gè)句子，和 838 個(gè)數(shù)據(jù)文件。 非會(huì)員價(jià)格：US$225。 部分資助來(lái)自DARPA-TIDES grant numb