4-6-跨越語言的鴻溝-電商系統(tǒng)中的多語言翻譯技術-曾曉東

“跨越語言的鴻溝”-電商系統(tǒng)中的多語言翻譯技術阿里巴巴集團B2B技術部-翻譯平臺技術專家澳門大學計算機碩士，2014年加入阿里，擔任聯(lián)盟，主要負責阿里機器負責多語言自然語言里之前，曾擔任澳門INESC-MACAU與澳門自然語言處理與葡中機器驗室的助理研究員。有超過7年的自然語言處項研究成果發(fā)表在國1阿里巴巴電商國際化2機器翻譯技術3人工(眾包)翻譯技術結CBB來自世界各地，說著“不同的語言”來自世界各地，說著“不同的語言”當當?戶瀏覽商品??的時候，必須能讀懂、理解?舉舉個“栗子”商品信…翻譯商品信…翻譯俄語多語?翻譯成英? v 1阿里巴巴電商國際化2機器翻譯技術3人工(眾包)翻譯技術結…2ndgenerationMTs基于規(guī)則的翻譯需…2ndgenerationMTs基于規(guī)則的翻譯需要制定大量的翻譯語法規(guī)則Ts3rdgenerationMTs基于統(tǒng)計的翻譯統(tǒng)計方式產生翻譯規(guī)則無需手工制定語法規(guī)則1stgenerationMTs詞對詞的翻譯少量的調序規(guī)則…..0.56340.23250.12310.0233尋找概率最大候選翻譯 概率計算特征=(I,特征=(I,saw,a,dog,bite,a,boy,.)ef=(我,看到,一只,狗,咬了,一個,男孩,。)……翻譯系統(tǒng)選型為Log-linearModel,融合大量的文本翻譯特征，支持傳統(tǒng)的FeatureEngineering方Maximizeanothermetric,e.g.,BLEUp(s)=p(狗|?只)xp(咬了|狗)..翻譯(解碼)特征t*=argmaxp(t|s)=argmaxtt expwifst*=argmaxp(t|s)=argmaxtt一只狗咬了一個男孩0.5634一只狗啃了一個男子一只狗咬了一個男孩0.5634一只狗啃了一個男子0.2325……f=(我,看到,一只,狗,咬了,一個,男孩,。)語言生成理解e=(I,saw,a,dog,bite,a,boy,.)f=(我,看到,一只,狗,咬了,一個,男孩,。)DecoderEncodere=(I,saw,a,dog,bite,a,boy,.)翻譯翻譯MEBTG記憶p(s)=p(狗|?只)xp(咬了|狗)..翻譯(解碼)特征t*=argmaxp(t|s)=argmaxtt t*=argmaxp(t|s)=argmaxtt……電商領域的單語語料電商專業(yè)詞表ebeb機器翻譯人員最大的一項技能...48~72小時48~72小時語料語料語料ww＝10232103BSP實現(xiàn)方式語料ww＝10232103BSP實現(xiàn)方式語語料200臺40臺200臺40臺20天1天語料運營平ebeb…不同行業(yè)(類目)專業(yè)詞的翻譯錯不同行業(yè)(類目)專業(yè)詞的翻譯錯誤譯文：…Черныйорехи(黑核桃)電商文本翻譯的評測方法標準測試集自動評測人工評測線上測試1阿里巴巴電商國際化2機器翻譯技術3人工(眾包)翻譯技術結翻譯質量高低“獨翻譯，不如眾翻譯”1阿里巴巴電商國際化2機器翻譯