TTAF 059-2020 面向智能終端的智能翻譯測(cè)試庫構(gòu)建方法

ICS33.050

M30

團(tuán)體標(biāo)準(zhǔn)

T/TAF059-2020

面向智能終端的智能翻譯測(cè)試庫構(gòu)建方法

TheConstructionMethodofIntelligentTranslationforSmartMobile

2020-06-17發(fā)布2020-06-17實(shí)施

電信終端產(chǎn)業(yè)協(xié)會(huì)發(fā)布

T/TAF059-2020

面向智能終端的智能翻譯測(cè)試庫構(gòu)建方法

1范圍

本標(biāo)準(zhǔn)建立的測(cè)試庫適用于針對(duì)智能翻譯系統(tǒng)進(jìn)行的自動(dòng)評(píng)測(cè)和人工評(píng)測(cè)。本標(biāo)準(zhǔn)對(duì)測(cè)試庫建立時(shí)

原文和譯文的來源以及質(zhì)量等進(jìn)行了要求，并提出了相應(yīng)的評(píng)估方法。測(cè)評(píng)時(shí)可根據(jù)產(chǎn)品的特性和測(cè)試

需求從本測(cè)試庫中選擇測(cè)試集，測(cè)試集可以是本測(cè)試庫的子集。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文

件。凡是不注日期的引用文件，其最新版本適用于本文件。

3原文要求

3.1來源

在原文的選取原則上應(yīng)保證原文語法正確、語序合理、用詞恰當(dāng)。基于以上原因，數(shù)據(jù)可來源于知

名的開放媒體、會(huì)議或期刊、政府或者國(guó)家機(jī)構(gòu)網(wǎng)站等。

原文需經(jīng)過人工二次確認(rèn)保證原文的準(zhǔn)確性方可作為自動(dòng)評(píng)測(cè)原文。

3.2內(nèi)容

評(píng)測(cè)數(shù)據(jù)集應(yīng)保證不含粗俗以及政治敏感內(nèi)容，價(jià)值觀正確，所有參與評(píng)測(cè)的數(shù)據(jù)應(yīng)使用正確的語

法、合理的語序、恰當(dāng)?shù)挠迷~等，不應(yīng)存在錯(cuò)誤信息。

評(píng)測(cè)數(shù)據(jù)應(yīng)具有普遍適用性及代表性。對(duì)于通用領(lǐng)域評(píng)測(cè)數(shù)據(jù)集，所選評(píng)測(cè)數(shù)據(jù)應(yīng)包含眾多領(lǐng)域，

可側(cè)重在社會(huì)、政治、經(jīng)濟(jì)、口語、科技、體育、教育和醫(yī)療方面，領(lǐng)域應(yīng)至少涵蓋以上八個(gè)領(lǐng)域中的

五個(gè)，所選的題材、句型、詞匯應(yīng)為這些領(lǐng)域常見而非生僻的，選擇有代表性的真實(shí)文本。對(duì)于特定專

業(yè)領(lǐng)域評(píng)測(cè)數(shù)據(jù)集，所選的題材、句型、詞匯應(yīng)體現(xiàn)出不同專業(yè)領(lǐng)域的普遍特點(diǎn)，選擇有代表性的真實(shí)

文本。

評(píng)測(cè)數(shù)據(jù)應(yīng)涵蓋特定語言不同于其他語言的詞、短語、句法等數(shù)據(jù)。

3.3數(shù)據(jù)規(guī)模

自動(dòng)評(píng)測(cè)中，可采用以下兩種數(shù)據(jù)規(guī)模：

1

T/TAF059-2020

——條件允許的情況下，為了減少同義詞、同詞干等問題對(duì)評(píng)測(cè)結(jié)果造成的影響，推薦使用采用一

比四的原文譯文句數(shù)比作為最終測(cè)試數(shù)據(jù)。例如使用1000句測(cè)試規(guī)模，應(yīng)包含1000句原文及4000句對(duì)應(yīng)

譯文。

——考慮到成本問題，也可使用一比一的原文和譯文配比。數(shù)據(jù)集規(guī)模建議不少于1000句。

人工測(cè)評(píng)中，數(shù)據(jù)集規(guī)模不宜少于500句。

3.4句子類型

不同智能翻譯系統(tǒng)對(duì)不同長(zhǎng)度的數(shù)據(jù)處理能力不同，為均衡評(píng)測(cè)數(shù)據(jù)本身帶來的影響，在評(píng)測(cè)數(shù)據(jù)

集制作過程中，遵循以下的規(guī)則：

其中，原文數(shù)據(jù)長(zhǎng)度及對(duì)應(yīng)長(zhǎng)度數(shù)據(jù)占比如下表所示：

語料長(zhǎng)度百分比

15個(gè)字（詞）以下20%

15-30個(gè)字（詞）30%

30-75個(gè)字（詞）40%

75-120個(gè)字（詞）10%

3.5數(shù)據(jù)格式

評(píng)測(cè)數(shù)據(jù)均使用UNIX純文本格式進(jìn)行存儲(chǔ)，評(píng)測(cè)數(shù)據(jù)編碼需為UTF-8無BOM編碼,若翻譯系統(tǒng)中的中

文為簡(jiǎn)體則中文評(píng)測(cè)數(shù)據(jù)需保證為中文簡(jiǎn)體。

4原文質(zhì)量評(píng)估

4.1詞語級(jí)

詞匯級(jí)評(píng)測(cè)關(guān)注的重點(diǎn)是詞語的含義以及詞性的問題。比如評(píng)測(cè)點(diǎn)根據(jù)英文單詞的詞性劃分為動(dòng)詞、

名詞、形容詞、副詞、代詞、介詞、連詞、專有名詞和新詞、數(shù)字和倍數(shù)、冠詞等10類。每一類中又將

容易譯錯(cuò)的內(nèi)容細(xì)分為小類，如：因單詞的多義、形態(tài)變化等引起的不同譯法，并列出了部分典型測(cè)試

點(diǎn)。

4.2短語級(jí)

短語一級(jí)評(píng)測(cè)關(guān)注的重點(diǎn)是詞語的搭配、成語、短語結(jié)構(gòu)歧義等翻譯中容易引起的問題。短語和搭

配、修飾關(guān)系的測(cè)試點(diǎn)包括：名詞短語、動(dòng)詞短語、成語和習(xí)語、并列結(jié)構(gòu)、語法歧義結(jié)構(gòu)等。

2

T/TAF059-2020

4.3句子級(jí)

句子一級(jí)評(píng)測(cè)關(guān)注的重點(diǎn)是句法結(jié)構(gòu)、從句和特定的句式的翻譯。舉例英文語料中測(cè)試點(diǎn)包括：否

定形式、強(qiáng)調(diào)句、倒裝句、省略句、therebe結(jié)構(gòu)、the…the從句、各種從句的翻譯以及復(fù)雜長(zhǎng)句的語

義層次劃分等評(píng)測(cè)點(diǎn)。

4.4篇章級(jí)

段落和語篇級(jí)評(píng)測(cè)重點(diǎn)是句子之間的銜接和連貫、語義邏輯關(guān)系的合理性。

5譯文要求

5.1來源

自動(dòng)評(píng)測(cè)數(shù)據(jù)集的參考譯文需由以目標(biāo)語言為母語的翻譯者或者精通目標(biāo)語言的專業(yè)譯員翻譯得

到。由于單條評(píng)測(cè)原文需對(duì)應(yīng)四條參考譯文，需保證四條參考譯文由四名不同的譯文翻譯者翻譯。同時(shí)

在翻譯過程中需在忠實(shí)度與流利度兩個(gè)維度上保證譯文的準(zhǔn)確性與專業(yè)性。在忠實(shí)度方面，要求原文能

夠與參考譯文內(nèi)容完全對(duì)應(yīng)，沒有錯(cuò)譯、漏譯和多譯等翻譯錯(cuò)誤現(xiàn)象產(chǎn)生；在流利度方面要求譯文較地

道、流利、無語法錯(cuò)誤、無錯(cuò)別字、無錯(cuò)誤標(biāo)點(diǎn)符號(hào)使用等。

參考譯文初步準(zhǔn)備完成后，需進(jìn)行二次人工檢查，確認(rèn)無重大問題方可作為最終參考譯文加入到自

動(dòng)評(píng)測(cè)數(shù)據(jù)集中參與后續(xù)評(píng)測(cè)。

5.2數(shù)據(jù)格式

評(píng)測(cè)數(shù)據(jù)均使用UNIX純文本格式進(jìn)行存儲(chǔ)，評(píng)測(cè)數(shù)據(jù)編碼需為UTF-8無BOM編碼,若翻譯系統(tǒng)中的中

文為簡(jiǎn)體則中文評(píng)測(cè)數(shù)據(jù)需保證為中文簡(jiǎn)體。

6譯文質(zhì)量評(píng)估方法

參考譯文初步準(zhǔn)備完成后，應(yīng)進(jìn)行二次人工檢查，確認(rèn)無重大問題方可作為最終參考譯文加入到自

動(dòng)評(píng)測(cè)數(shù)據(jù)集中參與后續(xù)評(píng)測(cè)。

3

T/TAF059-2020

附錄A

（規(guī)范性附錄）

標(biāo)準(zhǔn)修訂歷史

修訂時(shí)間修訂后版本號(hào)修訂內(nèi)容

4

T/TAF059-2020

附錄B

（資料性附錄）

附錄