語(yǔ)音識(shí)別中一種快速新詞增強(qiáng)方法

1、語(yǔ)音識(shí)別中一種快速新詞增強(qiáng)方法1. 背景介紹語(yǔ)音識(shí)別技術(shù)是信息技術(shù)領(lǐng)域十大重要的科技發(fā)展技術(shù)之一。它是一門交叉學(xué)科，正逐步成為信息技術(shù)中人機(jī)接口的關(guān)鍵技術(shù)。語(yǔ)音識(shí)別技術(shù)使人們能夠甩掉鍵盤，通過(guò)語(yǔ)音命令進(jìn)行操作。語(yǔ)音技術(shù)的應(yīng)用已經(jīng)成為一個(gè)具有競(jìng)爭(zhēng)性的高技術(shù)產(chǎn)業(yè)。近二十年來(lái)，語(yǔ)音識(shí)別技術(shù)取得顯著進(jìn)步，開(kāi)始從實(shí)驗(yàn)室走向市場(chǎng)，并且已經(jīng)進(jìn)入工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服務(wù)、消費(fèi)電子產(chǎn)品等各個(gè)領(lǐng)域。簡(jiǎn)單地說(shuō)，語(yǔ)音識(shí)別技術(shù)是將聲音轉(zhuǎn)變成文本的技術(shù)。一個(gè)語(yǔ)音識(shí)別系統(tǒng)基于一個(gè)語(yǔ)音模型和一個(gè)語(yǔ)言模型來(lái)表達(dá)識(shí)別語(yǔ)音所需要的知識(shí)，其中語(yǔ)音模型（通常用深度神經(jīng)網(wǎng)絡(luò)）用來(lái)描述語(yǔ)音在信號(hào)層的分布特性，而語(yǔ)言模型用

2、來(lái)表征語(yǔ)言信息，用以限制系統(tǒng)能識(shí)別的句子范圍。語(yǔ)言模型基于一個(gè)系統(tǒng)詞表，只有在詞表中出現(xiàn)的詞才有可能被識(shí)別出來(lái)。圖1給出了一個(gè)語(yǔ)音識(shí)別系統(tǒng)的基本框架。語(yǔ)音識(shí)別系統(tǒng)聲學(xué)模型語(yǔ)言模型系統(tǒng)詞表 你好.圖1: 語(yǔ)音識(shí)別框架2. 問(wèn)題描述信息社會(huì)的快速發(fā)展給語(yǔ)音識(shí)別系統(tǒng)帶來(lái)了巨大挑戰(zhàn)，特別是隨著人們接收的信息越來(lái)越多，新詞不斷涌現(xiàn)，如“顏值”、“吐槽”等。這些新詞因?yàn)椴辉谡Z(yǔ)音識(shí)別系統(tǒng)詞表中，因此很難被識(shí)別出來(lái)。傳統(tǒng)解決新詞的方法是收集每個(gè)新詞的訓(xùn)練語(yǔ)料，讓其與原語(yǔ)料合并，重新訓(xùn)練語(yǔ)言模型。這一方法需要大量的計(jì)算資源，無(wú)法適應(yīng)大規(guī)模在線系統(tǒng)的需求。3.發(fā)明要點(diǎn)3.1 基于FST附加邊的新詞增強(qiáng)方法本發(fā)明提

3、出一種基于有限狀態(tài)轉(zhuǎn)移機(jī)（FST）的新詞增強(qiáng)的方法，該方法將原始語(yǔ)言模型表示為FST，通過(guò)在FST圖上加入附加邊來(lái)代表新詞，從而使更新后的FST具有識(shí)別新詞的能力。由于現(xiàn)代語(yǔ)音識(shí)別系統(tǒng)多使用FST作為識(shí)別過(guò)程的數(shù)據(jù)結(jié)構(gòu)（解碼圖），因此我們的方法相當(dāng)于在構(gòu)造該數(shù)據(jù)結(jié)構(gòu)的過(guò)程中加入一個(gè)新詞增強(qiáng)步驟，從而提高系統(tǒng)對(duì)新詞的識(shí)別能力。如圖2所示。N-gram 語(yǔ)言模型語(yǔ)言模型到FST轉(zhuǎn)換FST新詞增強(qiáng)語(yǔ)言模型FST與其它FST組合解碼圖應(yīng)用于語(yǔ)音識(shí)別系統(tǒng)圖2: 基于FST的新詞增強(qiáng)示意圖具體而言，對(duì)一個(gè)待加入的新詞A，我們選擇它的一個(gè)近義詞A，尋找在語(yǔ)言模型FST中表示A的所有邊，并為每條邊加入一個(gè)“附

4、加邊”，這一附加邊的進(jìn)入和離開(kāi)狀態(tài)和A的邊一致，但其標(biāo)注符號(hào)為新詞A，其權(quán)值表示為A賦予的出現(xiàn)概率。如圖3所示，其中紅色曲線和標(biāo)注表示新加入的附加邊。由于附加邊的加入，新詞A會(huì)出現(xiàn)在解碼圖中，可以在解碼過(guò)程中被識(shí)別。特別重要的是，因?yàn)楦郊舆吺羌釉谛略~的近義詞所對(duì)應(yīng)邊上，這意味著新詞增強(qiáng)事實(shí)上利用了近義詞在詞義和句法上的相似性，具有很強(qiáng)的針對(duì)性和精確性。A:0.212A:0.5圖3：對(duì)應(yīng)近義詞A的一個(gè)新詞A的附加邊3.2 基于詞向量的新詞增強(qiáng)方法上述附加邊新詞增強(qiáng)方法需要定義近義詞，即需要人為定義，這對(duì)大規(guī)模新詞加入很不方便。本發(fā)明進(jìn)一步提出基于詞向量的自動(dòng)發(fā)現(xiàn)近義詞的方法。該方法將所有詞（系統(tǒng)

5、詞典中的詞和新詞）都映射到一個(gè)向量空間中，表示為詞向量，并利用在這一向量空間的中的余弦距離計(jì)算詞間的相似度。對(duì)任何一個(gè)新詞，可以通過(guò)該方法得到一個(gè)或若干個(gè)相似對(duì)，而不必人為定義。4. 發(fā)明內(nèi)容和系統(tǒng)實(shí)現(xiàn)4.1 系統(tǒng)架構(gòu)圖4為基于近義詞附加邊的新詞增強(qiáng)模型的系統(tǒng)結(jié)構(gòu)，該系統(tǒng)有兩種方式，一種是手動(dòng)定義近義詞，一種是基于詞向量的自動(dòng)計(jì)算近義詞。首先輸入n-gram語(yǔ)言模型，構(gòu)建FST?；贔ST，基于近義詞表加入附加邊表示新詞，生成可識(shí)別新詞的解碼圖。近義詞表由兩種方式生成，一種由手工定義近義詞，比較精確，但繁瑣，不適合大量新詞加入；另一種是基于詞向量的自動(dòng)加入，方法快捷，但需要包含新詞的數(shù)據(jù)對(duì)詞向

6、量進(jìn)行訓(xùn)練。N-gram語(yǔ)言模型構(gòu)建FST模型手動(dòng)定義近義詞用詞向量計(jì)算詞間距離自動(dòng)生成近義詞生成新詞附加邊生成解碼圖圖4. 基于近義詞附加邊的新詞增強(qiáng)模型4.2基于FST附加邊的新詞增強(qiáng)設(shè)有一個(gè)新詞集X=,，需要增強(qiáng)，對(duì)于每一個(gè)都有一個(gè)近義詞集=，。對(duì)任意一個(gè), 在FST中尋找所為標(biāo)注為的邊，加入附加邊并標(biāo)注為。為量化近義詞間的相似性，我們定義為與的相似度，并以該相似度作為新加入邊的權(quán)重。在基線系統(tǒng)中，近義詞集和相似度都由人為確定。圖5給出一個(gè)在FST中加入新詞c的過(guò)程，其中詞表內(nèi)詞a為新詞c的近義詞，且相似性定義為0.3。其中（a）表示在加入新詞前的FST，（b）表示加入新詞c后的FST。

7、012a:a/1012a:a/1b:b/2c:c/0.3b:b/2 （a） （b） 圖5：基于近義詞的新詞增強(qiáng)模型4.3基于詞向量的自動(dòng)增加新詞方法在4.2節(jié)中，我們手動(dòng)定義近義詞來(lái)增強(qiáng)新詞。當(dāng)面對(duì)大量新詞時(shí)，手動(dòng)定義的時(shí)間成本較高，且定義近義詞容易發(fā)生錯(cuò)誤。本發(fā)明提出利用詞向量自動(dòng)發(fā)現(xiàn)近義詞的方法來(lái)代替人工定義，節(jié)省了大量的時(shí)間和精力。詞向量將詞表達(dá)為連續(xù)向量空間中的點(diǎn)，如圖6所示?？梢钥吹?，由于吃飯和進(jìn)食這兩個(gè)詞在詞義上比較接近，都表示吃飯這個(gè)動(dòng)作，因此在詞向量空間距離較近；睡覺(jué)和吃飯?jiān)~義相差稍遠(yuǎn)，但同是休閑類動(dòng)作，因此在詞向量空間相差不大。而蘋果和梨則都表示食物，它們兩個(gè)之間距離很近，但

8、和吃飯、進(jìn)食、睡覺(jué)距離都較遠(yuǎn)。吃飯進(jìn)食蘋果睡覺(jué)梨0 圖6：詞向量示意圖圖7是利用詞向量增強(qiáng)新詞的一個(gè)例子。我們通過(guò)詞向量，確定詞c的近義詞是a，并通過(guò)詞向量計(jì)算出其距離為1.045。在詞a的邊上加入表示c的附加邊，并將其權(quán)重賦為1.045。圖7中，（a）是在增強(qiáng)之前的FST，（b）是增強(qiáng)之后的FST。相比于4.2中提到手工定義近義詞的方法，這種基于詞向量的方法更為方便，可用于大規(guī)模新詞處理。a:a/1b:b/2210a:a/1b:b/2210 （a）c:c/1.045 （b） 圖7：基于詞向量的自動(dòng)新詞增強(qiáng)模型 5. 發(fā)明優(yōu)勢(shì)l 本發(fā)明利用FST模型，可以在不用改變解碼器的前提下對(duì)新詞進(jìn)行增強(qiáng)，彌補(bǔ)了傳統(tǒng)n-gram模型