《面向跨領域多輪對話系統(tǒng)的設計案例》3500字

面向跨領域多輪對話系統(tǒng)的設計案例綜述系統(tǒng)設計流程本文集成上述方法和模型設計了系統(tǒng)的開發(fā)流程，如圖1.1所示，實現了面向跨領域的多輪對話系統(tǒng)。圖1.1系統(tǒng)設計用文字來總結為：第一步，針對數據集中跨景點、餐館、酒店和交通等四個領域，設計了相對應的意圖請求和語義表示；第二步，數據集預處理。按照預定義的意圖以及語義槽，基于中文預訓練的BERT模型對對話數據進行意圖檢測和領域識別，進而對語料進行語義槽填充；第三步，數據集劃分為訓練集、驗證集和測試集，首先在訓練集上訓練得到性能穩(wěn)定的模型，然后通過驗證集和測試集的實驗，獲得性能表現最優(yōu)的模型；第四步，設計實現基于規(guī)則的對話狀態(tài)追蹤模塊，為驗證規(guī)則的合理性，評估了該方法在數據集上的表現；第五步，在數據集上基于模仿學習的方法進行監(jiān)督學習，根據語料庫中相對應的系統(tǒng)回復，構建并訓練得到最優(yōu)的動作預測模型；第六步，設計與定義每個系統(tǒng)動作對應的應答回復模板或者訓練系統(tǒng)回答的SC-LSTM模型；最后一步，進行系統(tǒng)的統(tǒng)一部署與測試。數據集的介紹通過調研任務型對話常見的的應用場景，對比了不同數據集之間的優(yōu)劣以及特點，最終確定使用一種面向多領域交互任務的大規(guī)模中文對話數據集。表1.1為基于該數據集的一個對話示例。表1.1對話示例對話標注你好，幫我找一個免費的景點。Id=1(景點)：門票=免費，名稱=？，周邊酒店=？天安門廣場怎么樣？景點：門票=免費多謝，我還想在天安門廣場旁邊找一家有叫醒服務的酒店住宿。Id=2(酒店)：名稱=附近(Id=1)，叫醒服務=yes，評分=？向您推薦北京首都賓館。酒店：附近=天安門廣場，酒店設施=叫醒服務這是一個中文大規(guī)模多領域任務導向對話數據集，包含6千次對話，10萬個句子，涉及5個領域（景點、酒店、餐館、地鐵、出租）。各領域包含的信息如下表1.2所示：表1.2數據集描述景點域名稱*、評分*、門票*、游玩時間*、地址、電話、周邊景點、周邊餐館、周邊酒店餐館域名稱*、評分*、人均消費*、推薦菜*、地址、電話、營業(yè)時間、周邊景點、周邊餐館、周邊酒店酒店域名稱*、評分*、價格*、酒店類型*、酒店設施*、電話、地址、周邊景點、周邊餐館出租域出發(fā)地、目的地、車型、車牌號碼地鐵域出發(fā)地、目的地、粗體部分可以是跨域的信息槽；帶星號的為信息槽；除了出租車和地鐵域中的“from”和“to”插槽外，所有插槽都是可請求的插槽?！爸苓吘包c/餐館/酒店”槽和“推薦菜”槽可以以列表形式表示。“酒店設施”的值用1和0表示有無。實驗將數據集劃分為訓練集、驗證集和測試集，各部分的信息如下表1.3所示：表1.3數據集描述TrainValidTest對話總數5012500500對話總輪次8469284588476標記1376033137736137427詞匯量1250252025143平均涉及領域3.243.263.26平均語義圖14.814.915.0平均輪次16.916.917.0平均標記16.316.316.2針對本文的對話系統(tǒng)，定義的部分意圖類型如下表1.4所示：表1.4意圖類型示例意圖類型含義General+greet+none+none問候General+thank+none+none感謝Inform+景點+門票告知景點價格Inform+景點+評分告知景點評分信息Request+景點+名稱+請求推薦景點的名稱Request+景點+游玩時間+請求景點的開放時間區(qū)間Request+景點+周邊餐館+請求景點周邊的餐館Inform+餐館+人均消費告知餐館人均消費Inform+餐館+評分告知餐館評分信息Request+餐館+名稱+請求推薦餐館的名稱Request+餐館+電話+請求餐館的電話Request+餐館+營業(yè)時間+請求餐館的營業(yè)時間Request+餐館+周邊酒店+請求餐館周邊的酒店Inform+酒店+價格告知酒店價格Inform+酒店+評分告知酒店評分信息Inform+酒店+酒店設施-叫醒服務+是告知系統(tǒng)需要酒店提供叫醒服務Inform+酒店+酒店設施-無煙房+是告知系統(tǒng)需要酒店提供無煙房Inform+出租+目的地告知系統(tǒng)乘坐出租的目的地General+bye+none+none再見接口的設計與實現本節(jié)主要介紹系統(tǒng)代理接口的設計與實現，接口中主要包括的方法是回復函數和對話進程管理函數。在接口的實現中，要求給定該管道方法各個模塊所需要使用的方法和模型，并詳細定義了各個成員函數的實現過程。管道對話代理基類，包括NLU，DST，Policy和NLG。流水線代理模塊的組合方式非常靈活，可以根據客戶的需求制定各個模塊使用的模型和方法，從而實現對話系統(tǒng)的對多樣性。例如，在對話狀態(tài)追蹤模塊是使用RuleDST還是TRADE模型等。在對話系統(tǒng)被投入使用之前，便可以按照預定義的NLU，DST，Policy和NLG預先完成系統(tǒng)代理的部署。而各個模塊的具體實現就會按照第三章中介紹的流程，一步步地完成各模塊的任務實現。本文搭建的對話系統(tǒng)將系統(tǒng)動作的具體實現過程以及信息處理的細節(jié)都封裝在代理類中，系統(tǒng)通過代理類的實現來設計在線客服。在多輪對話的過程中，用戶只需要向系統(tǒng)發(fā)出自己信息咨詢的具體請求，通過系統(tǒng)內部方法的實現向用戶提供合適的回復。但是正如同現實中人類之間的交互一樣，雙方會存在表意不明或者要求不具體的因此，因而也需要通過用戶和系統(tǒng)的多次交互來收集用戶的需求以完成系統(tǒng)任務。NLU接口的實現通過意圖識別和命名實體識別我們就可以完成自然語言理解，本文提出了一種BERTNLU-context的模型來做多輪對話下的自然語言理解。表1.5NLU接口的使用示例BERTNLU輸入：你好，給我推薦一個評分是5分，價格在100-200元的酒店。歷史信息：無NLU輸出：['General','greet','none','none'],['Request','酒店','名稱',''],['Inform','酒店','評分','5分'],['Inform','酒店','價格','100-200元']輸入：北京布提克精品酒店酒店是什么類型，有健身房嗎？歷史信息：'你好，給我推薦一個評分是5分，價格在100-200元的酒店。','推薦您去北京布提克精品酒店。'NLU輸出：['Request','酒店','酒店類型',''],['Request','酒店','酒店設施-健身房',''],['Inform','酒店','名稱','北京布提克精品酒店']DST接口的實現對話狀態(tài)跟蹤負責從對話上下文識別用戶目標，然后將目標編碼到預定義的系統(tǒng)狀態(tài)中。傳統(tǒng)的狀態(tài)跟蹤模型以自然語言理解模塊解析的用戶對話行為作為輸入，而近年來出現了直接從上下文獲取系統(tǒng)狀態(tài)的聯合模型。我們在這個實驗中既實現了一個基于規(guī)則的模型(RuleDST)，也使用了TRADE(TransferableDialogueStateGenerator)模型REF_Ref71109008\r\h[27]。下面表1.6展示了該基于RuleDST實現的一個示例。表1.6RuleDST的實現示例RuleDSTDST輸入：['General','greet','none','none'],['Request','酒店','名稱',''],['Inform','酒店','評分','5分'],['Inform','酒店','價格','100-200元']圖1.2狀態(tài)更新示例DPL接口的實現該接口的預測示例如下表1.7所示：表1.7對話策略預測示例對話策略預測示例DPL輸入：{'user_action':[['General','greet','none','none'],['Request','景點','名稱',''],['Inform','景點','門票','免費']],'system_action':[],'belief_state':{'景點':{'名稱':'','門票':'免費','游玩時間':'','評分':'','周邊景點':'','周邊餐館':'','周邊酒店':''},'餐館':{'名稱':'','推薦菜':'','人均消費':'','評分':'','周邊景點':'','周邊餐館':'','周邊酒店':''},'酒店':{'名稱':'','酒店類型':'','酒店設施':'','價格':'','評分':'','周邊景點':'','周邊餐館':'','周邊酒店':''},'地鐵':{'出發(fā)地':'','目的地':''},'出租':{'出發(fā)地':'','目的地':''}},'cur_domain':'景點','request_slots':[['景點','名稱']],'terminated':False,'history':[['sys',''],['user','你好，麻煩幫我推薦一個門票免費的景點。']]}預測輸出：[['Inform','景點','名稱','天安門廣場']]NLG接口的實現在TemplateNLG模塊中，我們預先定義了系統(tǒng)動作對應的回復模板。表1.8TemplateNLG的生成示例TemplateNLG輸入：['Inform','景點','名稱','天安門廣場']輸出：您可以考慮天安門廣場這個景點。輸入：['Inform','景點','周邊餐館','北京全聚德(王府井店)']輸出：還真挺方便的，有一家飯店叫北京全聚德(王府井店)。如下表1.9所示為基于SC-LSTM的自然語言生成模塊的作用原理。表1.9SC-LSTM方法的作用原理SC-LSTM輸入：(Inform,Restaurant,name,$name)(Inform,Restaurant,cost,$cost)輸出：為您推薦$name，人均消費$cost。如下表1.10展示了基于SC-LSTM方法的自然語言生成模塊的作用示例：表1.10基于SC-LSTM方法的自然語言生成示例SC-LSTM系統(tǒng)端輸入：['Inform','景點','名稱','天安門廣場']系統(tǒng)端輸出：推薦您去天安門廣場游玩。用戶端輸入：['Inform','餐館','人均消費','100-150元'],['Request','餐館','電話','']用戶端輸出：好的，請給我推薦一家人均消費100-150元的餐館吃飯，這家的電話是多少？對話系統(tǒng)總體流程及成果展示對話系統(tǒng)總體設計流程圖1.3系統(tǒng)流程多輪對話系統(tǒng)測試如表1.11所示，在多輪對話系統(tǒng)的測試過程中，用戶輸入請求語句，系統(tǒng)會實時的反饋用戶意圖的識別情況，以及系統(tǒng)下一步行為的預測，并生成最終給用戶的答復。系統(tǒng)會根據預定義的對話狀態(tài)，每一輪交互中都會更新用戶的行為，直至語義槽填充完畢。在這里依次集成了BERTNLU模型、RuleDST模型、基于監(jiān)督學習的對話策略學習模型和基于語義控制的LSTM模型用于系統(tǒng)測試。表1.11系統(tǒng)測試示例系統(tǒng)測試結果用戶輸入：你好，麻煩幫我推薦一個門票免費的景點。系統(tǒng)輸出：推薦您去天安門廣場游玩。用戶輸入：天安門廣場不錯，這附