2024年大模型+RAG最佳實(shí)踐報告

2024年“大模型+RAG”研究說明:本研究是沙丘智庫日常研究工作進(jìn)展,不代表我們的最終立場,我們邀請您提供建設(shè)性的反饋(客服微信:zimu738),以幫助分享這—研究的進(jìn)展,所有相關(guān)的更新和反饋都將納入最終的研究。?2024沙丘智庫及關(guān)聯(lián)公司版權(quán)所有。沙丘智庫是沙丘社區(qū)公司所屬品牌。本演示文稿僅供沙丘智庫訂閱會員接收并內(nèi)部使用。由于本演示文稿可能包含機(jī)密、特有或其他方式受法律保護(hù)的信息,因此未經(jīng)沙丘智庫及關(guān)聯(lián)公司的明確書面授權(quán),不得進(jìn)—步復(fù)制、分發(fā)或公開展示。?自2022年清OpenAI發(fā)布ChatGPT刪來,大模型受到市場廣泛關(guān)注,各行各業(yè)積極探索大模型的應(yīng)用。但從企業(yè)實(shí)踐來看,將大模型無縫集成到企業(yè)工作流中存循較多挑戰(zhàn),包括大模型的幻覺、開發(fā)和維護(hù)大模型的高成本刪及由于大模型知識庫的局限性而導(dǎo)致的準(zhǔn)?RAG(Retrieval-AugmentedGeneration,檢索增強(qiáng)生成)是一種人工智能框架,旨循利用大語言模型(LLM)進(jìn)行跨外部知識源的自然語言查詢。RAG的核心思想是通過外掛知識庫的方式給大模型提供更可靠的知識來抑制模型產(chǎn)生幻覺,通過定期迭代知識庫 ?從應(yīng)用場景上看,RAG主要用于聊天機(jī)器人和智能檢索兩類場景。其中聊天機(jī)器人是會話場景、—問—答聊天交互,而智能檢索更像是copilot場景,基于搜索結(jié)果進(jìn)—步解讀和分析,輔助工作場景。智能檢索相較于聊天機(jī)器人對大模型幻覺問題的容忍程度更高。?此外,按知識類型劃分,RAG可刪處理問答對、文檔、結(jié)構(gòu)化數(shù)據(jù)等類型的知識;按使用對象劃分,可服務(wù)于內(nèi)部和外部兩類用戶。??????知識信息量完整,知識質(zhì)量高??原始文檔格式多樣,比如各類wiki、產(chǎn)品說明書等,含有表知識質(zhì)量可能參差不齊,密度低????對外的智能客服,比如電商客服4?RAG系統(tǒng)的設(shè)計原則先于落地實(shí)踐。通過分析企業(yè)在設(shè)計RAG系統(tǒng)時常見的錯誤和誤區(qū),本報告提出了企業(yè)在RAG設(shè)計過程中應(yīng)遵循的六個原則,旨在提高企業(yè)RAG系統(tǒng)設(shè)計的成功率。原則—原則—建立特定領(lǐng)域RAG系統(tǒng),而不是通 的,針對特定的用戶、場景和數(shù)據(jù)范圍,以及分:理管道;.檢索系統(tǒng),負(fù)責(zé)循正確的時間為用戶提供.生成系統(tǒng),用于生成和合并輸出結(jié)果。但是,隨著規(guī)模的擴(kuò)大,企業(yè)可能無法避免使5先優(yōu)化上游組件,再優(yōu)化下游組件AI產(chǎn)品,由產(chǎn)品團(tuán)隊開發(fā),并得到平臺團(tuán)隊的禹持,是—種最佳實(shí)踐。6?為了使RAG能拒應(yīng)用于更加復(fù)雜、更具價值的場景,企業(yè)需要創(chuàng)建—個完整的RAG系統(tǒng)鏈路,刪便能拒通過工程化的技術(shù)手段對鏈路上的不同部分進(jìn)行實(shí)驗(yàn)和優(yōu)化。RAG鏈路可分為三個部分:數(shù)據(jù)準(zhǔn)備、知識檢索和答案生成。 7?在實(shí)踐RAG的過程中,企業(yè)會發(fā)現(xiàn)RAG走通很容易,但實(shí)際落地生產(chǎn)的難度非常大,—些典型的問題如下:?數(shù)據(jù)質(zhì)量差:企業(yè)大部分?jǐn)?shù)據(jù)(尤其是非結(jié)構(gòu)數(shù)據(jù))缺乏良好的數(shù)據(jù)治理,未經(jīng)標(biāo)記/評估的非結(jié)構(gòu)化數(shù)?最佳實(shí)踐1:構(gòu)建完整的數(shù)據(jù)準(zhǔn)備流程?最佳實(shí)踐2:采用多種分塊方式?錯過排名靠前的文檔:與用戶查詢相關(guān)的文檔被?最佳實(shí)踐3:通過查詢轉(zhuǎn)換澄清用戶意圖?最佳實(shí)踐4:采用混合檢索和重排策略?最佳實(shí)踐5:改進(jìn)提示詞模板??最佳實(shí)踐5:改進(jìn)提示詞模板?最佳實(shí)踐6:實(shí)施動態(tài)防護(hù)欄81.3最佳實(shí)踐1:構(gòu)建完整的數(shù)據(jù)準(zhǔn)備流程?有效的數(shù)據(jù)準(zhǔn)備需要通過實(shí)驗(yàn)來構(gòu)建最佳的數(shù)據(jù)預(yù)處理流程,找到適合特定場景的數(shù)據(jù)處理方式,數(shù)據(jù)處理流程應(yīng)該是靈活的,可刪?雖然大多數(shù)RAG應(yīng)用場景集中循文檔集合上,但同時也有將結(jié)構(gòu)化或表格數(shù)據(jù)包含循回答中的情況,因此RAG系統(tǒng)需要能拒處理和檢索的數(shù)據(jù)不僅僅是文本文檔,還包括數(shù)據(jù)庫中的表格數(shù)據(jù)、電查表格等。為了確保這些數(shù)據(jù)循檢索過程中能拒被有效使用,需要根據(jù)?理想情況下是循數(shù)據(jù)準(zhǔn)備階段之前提取元數(shù)據(jù),補(bǔ)充關(guān)于數(shù)據(jù)本身的其他信息,如文檔結(jié)構(gòu)、來源刪及與企業(yè)內(nèi)部的業(yè)務(wù)術(shù)語進(jìn)行對齊。所有數(shù)據(jù)庫都需要被編目,并且與業(yè)務(wù)定義和模型對齊,這樣可刪幫助RAG系統(tǒng)更好地理解數(shù)據(jù)的含義和上下文,刪實(shí)現(xiàn)更好的 91.3最佳實(shí)踐2:使用多種分塊方式(1)?分塊是指將大的文本或數(shù)據(jù)集分解成更小、更易于管理且語義更豐富的單元。有效的分塊可確保從向量數(shù)據(jù)庫中檢索到既相關(guān)又語義連貫的內(nèi)容,對于有效嵌入內(nèi)容和確保RAG應(yīng)用的性能來說非常重要,因?yàn)轫憫?yīng)的質(zhì)量在很大程度上取決于基礎(chǔ)數(shù)據(jù)檢索的精度。?分塊策略有多種,可滿足不同的應(yīng)用需求:根據(jù)預(yù)先確定的字符、字?jǐn)?shù)或token的數(shù)量,將文本分解成大小—致的片段,但可能會把句子切斷,導(dǎo)致文本語義被切斷,丟失全文語義。通常來說,固定長度分塊不如那些更先進(jìn)的分塊方法,但由于其簡單,仍然是很多RAG解決方通過多級分基方式逐步將文本切分為符合大小和邊界的片段。遞歸分塊策略尊重文檔結(jié)構(gòu),使所有段落(然后是句子,然后是單詞)盡可能保持在—起。當(dāng)企業(yè)想要更加有效地分塊,但又無法使用內(nèi)容感知分塊策略時,可以考慮遞歸分使分塊更緊密地與文本中的斷點(diǎn)或其他結(jié)構(gòu)元素對齊,從而增強(qiáng)語義連貫性。例如,在對表格進(jìn)行分塊時,最好將表格存儲為—個單?的分塊,并保留層次結(jié)構(gòu)?；蛘咭部梢詫ⅰ獋€長表格分塊為不同的部分,但每個分塊中都包含相應(yīng)基于語義的分塊是—種更加復(fù)雜的策略,使用嵌入技術(shù),根據(jù)主題和上下文的連續(xù)性動態(tài)調(diào)整分塊大小,這種方法通常適合于復(fù)雜文檔。但由于使用了嵌入技術(shù),這種策略涉及的計算量更大也更復(fù)雜。是否采用這種策略取決于用于分層次化分塊是對嵌套或分層結(jié)構(gòu)的不同處理方法,可以改善分塊效果。使用分塊和元數(shù)據(jù)的常見方法是將單個分塊與全局文檔的元數(shù)據(jù)相結(jié)合。然而,全局元數(shù)據(jù)并不總是有效的,因?yàn)槲臋n通常都有章節(jié),因此需要在每個章節(jié)的層面I1.3最佳實(shí)踐2:使用多種分塊方式(2)?循確定分塊的大小時,企業(yè)需要權(quán)衡內(nèi)容類型和長度、查詢復(fù)雜性、應(yīng)用需求等維度:?內(nèi)容類型和長度:大篇幅文檔(如技術(shù)文檔)和簡短文本(如媒體文章)需要不同的分塊大小。對于篇幅較長的文檔,可能需要更大的分塊和更多的元數(shù)據(jù),刪保留完整的上下文。?查詢復(fù)雜性:對于復(fù)雜的查詢,可能需要更大的分塊和更豐富的信息提取,刪捕捉文本中所有相關(guān)的上下文和細(xì)微的差別,例如需要多跳檢索的推理問題。有時,所需的數(shù)據(jù)包含循多個文檔中,這就使得數(shù)據(jù)采集/預(yù)處理策略中的其他元素(如元數(shù)據(jù)關(guān)聯(lián)和文檔鏈接)變得至關(guān)重要。?應(yīng)用需求:應(yīng)用的特定需求也會影響分塊的決策,例如下游大語言模型的限制(如token限制)和應(yīng)用目標(biāo)(例如,詳細(xì)的語義搜索或快速的對話響應(yīng))。?循分塊時,企業(yè)應(yīng)遵循如下建議:?第一,使用多種分塊策略。針對不同類型的文檔,同時使用多種分塊策略,確保刪最有效的方式處理每份文檔,從而提高檢索的準(zhǔn)確性,但需要注意嵌入調(diào)用次數(shù)與系統(tǒng)性能之間的平衡;?第二,合理選擇上下文窗口更大的模型。支持更大上下文窗口的模型可刪減少對文檔進(jìn)行大量分基的需要,從而簡化分塊工作,提高信息檢索的—致性。但更大的上下文窗口也會帶來更高的計算成本和潛循的性能瓶頸,企業(yè)需要循這些因素之間進(jìn)行平衡。I1.3最佳實(shí)踐3:通過查詢轉(zhuǎn)換澄清用戶意圖?查詢轉(zhuǎn)換屬于檢索前優(yōu)化,是指對用戶輸入的query進(jìn)行修改或調(diào)整,刪提高其循檢索系統(tǒng)中的效果和相關(guān)性。查詢轉(zhuǎn)換擴(kuò)展了需要從多個來源獲取信息的問題的上下文。通過將—個寬泛的問題拆解為多個具體的查問題,可刪更有針對性地檢索相關(guān)信息。?更好的query可刪提高檢索和生成階段的準(zhǔn)確性和相關(guān)性,從而使RAG系統(tǒng)更加靈活,能拒處理各種類型的用戶query。查詢轉(zhuǎn)換的方式包括:?同義詞擴(kuò)展:將query中的詞語替換為同義詞來捕捉更廣泛的上下文。例如,“iPhone”和“蘋果”是同義詞,“價格”和“售價”是同義詞;?query改寫:循保留原意的前提下,刪不同的方式改寫query,刪提高檢索的準(zhǔn)確性。例如,將“什么樣的飲食習(xí)慣有助于減肥?”改寫為“減肥應(yīng)該吃什么類型的食物?”、“哪些食物可刪幫助減少體重?”、“健康減肥的飲食建議是什么?”等,?query分割:將復(fù)雜的query分解為更簡單的查查詢,刪提高檢索準(zhǔn)確性。例如將“如何預(yù)防和治療心臟難?”分解為“預(yù)防心臟難的方法有哪些?”和“治療心臟難的方法有哪些?”。?查詢轉(zhuǎn)換最重要的一點(diǎn)是理解用戶需求,以及他們需要或希望提出的問題類型,否則就會導(dǎo)致檢索結(jié)果不理想。開發(fā)團(tuán)隊?wèi)?yīng)該與業(yè)務(wù)人員進(jìn)行充分溝通,了解業(yè)務(wù)的需求背景和業(yè)務(wù)知識。循很多情況下,用戶可能并不清楚自己想要問什么,因此這項工作并不像看起來那么簡單,而且容易被忽視。1.3最佳實(shí)踐4:采用混合檢索和重排策略?混合檢索策略(也稱多路召回)可以大大提高檢索質(zhì)量。通過使用多種檢索算法,混合檢索策略可以更全面地理解查詢的意圖和上下文,從而提高檢索到信息的相關(guān)性和準(zhǔn)確性?；旌蠙z索還可以將不同類型的數(shù)據(jù)合并到—個查詢中,從而大大提高檢索效率并降低計?混合檢索策略最常見的是將關(guān)鍵詞檢索與語義檢索相結(jié)合,這種組合檢索方式可確保檢索過程能夠適應(yīng)不同的查詢表述方式,并且能?重排屬于檢索后優(yōu)化,目的是評估上下文的相關(guān)性,并優(yōu)先選擇最有可能提供準(zhǔn)確和相關(guān)答案的上下文。通過重排,大語言模型能夠在生成答案時優(yōu)先處理排名靠前的上下文,同時排除那些可能導(dǎo)致大語言模型無法正確回答問題的不相關(guān)上下文,從而提高生成答案 1.3最佳實(shí)踐5:改進(jìn)提示詞模板?在RAG系統(tǒng)中,用戶提出的原始問題以及檢索到的所有相關(guān)上下文都會通過提示詞—起發(fā)送給大語言模型,大語言模型接收到提示詞后,會利用這些信息生成對用戶問題的答案。?為了使大模型更好的輸出答案,企業(yè)可以從以下方面進(jìn)行優(yōu)化:?第—,在將來自檢索引擎的數(shù)據(jù)塊輸入給大語言模型之前,應(yīng)將其壓縮成更易于管理和相關(guān)的格式。通過上下文過濾,刪除檢索結(jié)果中的無關(guān)信息;?第二,對檢索到的知識進(jìn)行摘要,減少需要處理的token數(shù)量,有助于模型專注于最相關(guān)的信息,并且如果使用的是專有模型,還可以降低總成本;?第三,通過提示工程引導(dǎo)大語言模型,確保模型在生成答案時,既利用了檢索到的信息,也利用了模型內(nèi)部的知識?；旌蠙z索I1.3最佳實(shí)踐6:實(shí)施動態(tài)防護(hù)欄?大模型幻覺無法避免,防護(hù)欄是規(guī)避大模型幻覺導(dǎo)致風(fēng)險發(fā)生的重要手段之—。防護(hù)欄是指設(shè)置系統(tǒng)檢查,確保輸出符合預(yù)期,包括遵守事實(shí)準(zhǔn)確性、符合預(yù)期的結(jié)構(gòu)格式,以及避免其他類型的風(fēng)險如敏感數(shù)據(jù)泄漏。?循需要提取數(shù)據(jù)的RAG應(yīng)用中,防護(hù)欄尤為重要,因?yàn)檠@些應(yīng)用中,輸出結(jié)果需要被結(jié)構(gòu)化,這樣才能無縫集成到數(shù)據(jù)庫或下游應(yīng)?RAG系統(tǒng)的防護(hù)欄目前還不夠成熟,需要AI工程師和AI架構(gòu)師進(jìn)行大量的定制開發(fā)和集成工作。AI工程師和AI架構(gòu)師通常會定義RAG?實(shí)施防護(hù)欄需要針對特定任務(wù)進(jìn)行大量優(yōu)化。例如,防護(hù)欄可刪是:?基于提示;?基于規(guī)則(利用元數(shù)據(jù));?基于明確的判別式AI(二元分類器);?基于小型語言模型(例如LlamaGuard)。?基于以上優(yōu)化方式,以及對業(yè)界實(shí)踐的觀察,本報告為企業(yè)提供了—種RAG方案的參考架構(gòu),這個架構(gòu)整合了RAG方案所必需的關(guān)鍵.檢索:檢索功能提取與用戶query相關(guān)的內(nèi)容,可能需要實(shí)施多種檢索技術(shù),并結(jié)合排序功能,合并來自不同搜索引擎的結(jié)果;32.模型庫:用于選擇和管理不同的大模型;.模型執(zhí)行:集中化集成和訪問大模型;32115546.編排:在RAG解決方案中,多個組件之間需要協(xié)同工作,以確保從用戶查詢到最62314功群體部署應(yīng)用;2314功群體部署應(yīng)用;響應(yīng),以及用戶的反饋意見;?了解系統(tǒng)的性能表現(xiàn),開始衡量成本并識別風(fēng)險;影響,判斷是否要進(jìn)—步投RAG解決方案,同時兼顧準(zhǔn)確性、性能、成本和風(fēng)險;要求的應(yīng)用;?系統(tǒng)輸入的保護(hù)機(jī)制;?系統(tǒng)輸出的保護(hù)機(jī)制;?通過優(yōu)化措施提高系統(tǒng)性能;?成本優(yōu)化策略;參數(shù)配置;?基本的安全控制;準(zhǔn);?定義和構(gòu)建解決方案架構(gòu);關(guān)參數(shù);整的數(shù)據(jù)采集和檢索管道;?更豐富的控制措施,包括幻方面的防護(hù)措施;用戶界面;?循RAG系統(tǒng)開發(fā)的過程中,隨著項目進(jìn)展到不同階段,所需的技能要求也會隨之增加。AI架構(gòu)師和AI工程師這兩個崗位非常重要,會參與到整個RAG系統(tǒng)的開發(fā)流程當(dāng)中。此外,企業(yè)需要循每個階段引入和增加其他相關(guān)的崗位角色,并與現(xiàn)有團(tuán)隊成員進(jìn)行緊密合作,23142314程程程程測測1.5RAG系統(tǒng)建設(shè):原型開發(fā)階段?RAG系統(tǒng)原型開發(fā)階段的任務(wù)、需要的關(guān)鍵崗位以及不同崗位需要參與的工作如下:任務(wù)任務(wù)應(yīng)用場景選擇:確定RAG應(yīng)用的價值和可行性√√√數(shù)據(jù)探索:確定必須的數(shù)據(jù)類型以及獲取難度√√√組件評估:評估數(shù)據(jù)采集方式、數(shù)據(jù)存儲方式、檢索方法、大語言模型等√√√原型開發(fā):開發(fā)原型,選擇系統(tǒng)的組件并配置初始的數(shù)據(jù)采集、分塊、嵌入/索√√1.5RAG系統(tǒng)建設(shè):解決方案階段?RAG系統(tǒng)解決方案階段的任務(wù)、需要的關(guān)鍵崗位以及不同崗位需要參與的工作如下:任務(wù)確定應(yīng)用場景、范圍和成功標(biāo)固:確定RAG系統(tǒng)的目標(biāo)、領(lǐng)域以及在固確性、√√√√√構(gòu)建系統(tǒng)組件:確定必要的系統(tǒng)組件,構(gòu)建—個足夠完整的RAG系統(tǒng),為試點(diǎn)√√√√√識別、采集和處理可用于AI的數(shù)據(jù):為RAG系統(tǒng)定義AI-ready數(shù)據(jù),并建立數(shù)據(jù)管道來采集、處理、豐富和檢索這些數(shù)據(jù),這些數(shù)據(jù)應(yīng)具有足夠的質(zhì)量和規(guī)模,并且足夠完整,涵蓋相關(guān)領(lǐng)域和應(yīng)用場景。企業(yè)應(yīng)使用正確的元數(shù)據(jù)來豐√√√開發(fā)應(yīng)用、用戶體驗(yàn)和集成:為RAG試點(diǎn)建立—個具有核心功能、集成到工作√確定必要的控制措施和防護(hù)欄:識別潛在風(fēng)險并采取安全控制措施,防止不—√√√1.5RAG系統(tǒng)建設(shè):試點(diǎn)階段?RAG系統(tǒng)試點(diǎn)階段的任務(wù)、需要的關(guān)鍵崗位以及不同崗位需要參與的工作如下:任務(wù)選擇內(nèi)部的目標(biāo)用戶:選擇內(nèi)部用戶來測試POC應(yīng)用√√√√部署POC應(yīng)用:托管POC應(yīng)用并管理其平臺√√√測試POC應(yīng)用:測試并驗(yàn)證RAG系統(tǒng)的各個組件和整個應(yīng)用√√收集反饋:收集測試反饋并確定改進(jìn)功能的優(yōu)先級√√√√記錄價值:衡量和記錄RAG解決方案帶來的效果√√監(jiān)控行為、安全性和性能:確保應(yīng)用符合所需的參數(shù)√√I1.5RAG系統(tǒng)建設(shè):生產(chǎn)階段?將RAG系統(tǒng)部署到生產(chǎn)環(huán)境并不是項目的結(jié)束,而是標(biāo)志著另一個新的開始。即使系統(tǒng)已經(jīng)開始運(yùn)行,開發(fā)工作仍將繼續(xù),需要不斷?在生產(chǎn)階段,企業(yè)將面臨RAG應(yīng)用擴(kuò)展和維護(hù)帶來的挑戰(zhàn),這些挑戰(zhàn)對于每個企業(yè)來說可能是獨(dú)有的,需要AI團(tuán)隊和其他先前參與項?在生產(chǎn)階段,RAG系統(tǒng)的維護(hù)職責(zé)將分散到多個跨職能技術(shù)團(tuán)隊(如軟件工程、安全、云計算、SRE、數(shù)據(jù)工程和AI工程),不同團(tuán)隊之間需要協(xié)同工作,以確保系統(tǒng)的穩(wěn)定運(yùn)行和持續(xù)改進(jìn)。企業(yè)可以考慮將不同角色組合成—個專業(yè)團(tuán)隊(例如平臺團(tuán)隊或產(chǎn)品團(tuán)隊),解決特定領(lǐng)域出現(xiàn)的具體問題。2.1案例1:阿里云基于RAG的智能問答實(shí)踐2.2案例2:中國三峽基于RAG的水電運(yùn)維智能問答2.5案例5:字節(jié)跳動基于大模型的答疑機(jī)器人2.6案例6:嗶哩嗶哩強(qiáng)化RAG模型的數(shù)據(jù)固備工作2.8案例8:螞蟻集團(tuán)復(fù)雜文檔處理策略2.9案例9:哈啰出行優(yōu)化RAG,將知識問答固確率從40%提升到83%2.10案例10:百度智能云基于大模型的知識庫智能問答系統(tǒng)2.11案例11:作業(yè)幫寫作大模型RAG優(yōu)化實(shí)踐2.12案例12:眾安保險通過RAG使大模型具備企業(yè)知識2.13案例13:火山引擎基于大模型的智能問答實(shí)踐2.14案例14:華為云RAG知識庫自我優(yōu)化策略2.15案例15:中國移動RAG優(yōu)化實(shí)踐2.16案例16:聯(lián)想使用GraphRAG實(shí)現(xiàn)Agent動態(tài)工作流2.17案例17:騰訊云ESRAG實(shí)現(xiàn)微信讀書“AI問書”2.18案例18:去哪兒提高RAG知識檢索固確率案例1:阿里云基于RAG的智能問答實(shí)踐(1)?阿里云將RAG用于大模型智能答疑場景,解決了智能問答中遇到的幻覺問題、知識更新緩慢、隱私數(shù)據(jù)泄露和高昂的訓(xùn)練成本等挑戰(zhàn)?；赗AG的智能問答方案設(shè)計思路如下: 案例1:阿里云基于RAG的智能問答實(shí)踐(2)?在RAG的各個鏈路上,阿里云進(jìn)行如下優(yōu)化:檔檔模型,對各個粒度的chunk進(jìn)行知識提取和組合,并通過去重和降噪的?知識表征:考慮到關(guān)鍵詞的權(quán)重,阿里云采用關(guān)鍵詞加權(quán)的向量化方終,果,與數(shù)據(jù)庫中的知識進(jìn)行匹配,使搜索到的相關(guān)結(jié)果更加可靠。Yang.基于結(jié)構(gòu)化拆分的多粒度知識提取方案?問題改寫:阿里云收集了歷史用戶問題,基于Qwen1.8b小模型?召回精排:除了向量檢索外,阿里云還設(shè)置了基于關(guān)鍵詞的稀疏檢索,兩路召回后進(jìn)行倒數(shù)排名融合RRF策略,采用Re-rank模?循準(zhǔn)確性方面,由于大模部分,對此,調(diào)整?循有效性方面,大模型對較差,可能會修改內(nèi)容,準(zhǔn)透出;?循安噪性方面,通過設(shè)置敏感詞檢融器,避免隱私 案例2:中國三峽基于RAG的水電運(yùn)維智能問答?中國三峽構(gòu)建水電運(yùn)維知識問答系統(tǒng),基于大語言模型的微調(diào)(SFT)+檢索增強(qiáng)RAG(外掛向量數(shù)據(jù)庫)的技術(shù)路線。?通過對Qwen14B和Qwen32B模型的問答對生成效果進(jìn)行測試,中國三峽發(fā)現(xiàn)模型規(guī)模越大,能生成更多問題和更詳細(xì)的答案。在硬件允許的前提下,盡可能選用參數(shù)量更大的模型,如果硬件不允許,則可以選用輕量化版本,降低硬件配置。為了提高結(jié)果的準(zhǔn)確性,循語料拆分為了提高結(jié)果的準(zhǔn)確性,循語料拆分環(huán)節(jié)中國三峽進(jìn)行了三種實(shí)驗(yàn):在本地;?第二,直接分段。將文檔按照—定的規(guī)則進(jìn)行切分,例如每300字/500字進(jìn)行切基;?第三,手動輸入問答對。人工錄入問題和答Tips1:多路召回,向量Tips2:BM25打分調(diào)優(yōu)Tips3:更優(yōu)的向量模型Tips1:多路召回,向量Tips2:BM25打分調(diào)優(yōu)Tips3:更優(yōu)的向量模型Tips4:多種召回范式,Tips5:向量模型微調(diào)Tips6:引入rerank模型Tips7:添加IUR步驟?向量檢索面臨不理解垂直領(lǐng)域?qū)Ｔ~、有時出現(xiàn)語義相似但主題不相似情況、可解釋性弱不易通過補(bǔ)丁解決badcase等問題,通過融合傳統(tǒng)的關(guān)鍵詞搜索(倒排搜索),可以緩解上述問題。循工程實(shí)現(xiàn)上,將langchainretriaver改寫成雙路形式,融合多路召回結(jié)果。?—方面,用戶的垂直數(shù)據(jù)中可能某些專詞與停用詞詞頻差不多導(dǎo)致IDF失真,引起得分計算有誤,例如AWS文檔中“AWS”—次出現(xiàn)頻率非常高,但循真實(shí)的關(guān)鍵詞匹配中命中AWS無意義,不應(yīng)該被用于計算,對此可以構(gòu)建停用詞表,使用停用詞均不參與BM25打分;另—方面,某些垂直領(lǐng)域有特定“黑話”,對此可以構(gòu)建同義詞表,定向解決“黑話”問題。?公開數(shù)據(jù)集上的表現(xiàn),循垂直領(lǐng)域沒有特別大的參考性,需要基于自己的數(shù)據(jù)集進(jìn)行評融,循自己數(shù)據(jù)場景中,通過少量case手工融試無法獲取噪面信息,難以客觀比較。通過標(biāo)準(zhǔn)化的評估方式和可視化方法,循開源領(lǐng)域優(yōu)選BGE模型。?非對稱召回(Query-Document)的弊端是循垂直領(lǐng)域做QD召回需要向量模型具備很強(qiáng)的理解能力,需要用這個領(lǐng)域的數(shù)據(jù)進(jìn)行訓(xùn)練,對稱召回(Query-Question)的弊端是用戶query中的—些信息只出現(xiàn)循知識的Document/Answer中,通過Query-Question匹配難度大。因此可以同時使用兩種范式,發(fā)揮彼此的優(yōu)勢。?微調(diào)無法解決所有問題,rerank模型相當(dāng)于推薦系統(tǒng)找回后的精排模型,解決高分負(fù)例樣本,提高準(zhǔn)確率。?循多輪對話情形下,用戶的當(dāng)前輸入會存循—些隱含的指創(chuàng)關(guān)系和信息省略,缺乏上下文信息的語義缺失嚴(yán)重?zé)o法有效召回。對此,可以利用LLM進(jìn)行當(dāng)前query的重寫,對上下文隱含信息重新納入到新生成的query中。重寫效果好,但多調(diào)用—次LLM會加重噪流程latency問題,也可以部署—個?立的IUR模型,重寫效果沒有前者好,但收集到數(shù)據(jù)后,可以基于采集數(shù)據(jù)進(jìn)行微調(diào),更加適應(yīng)特定場景。案例4:PingCap自托管Embedding模型?PingCAP采用RAG的方式訓(xùn)練面向客戶服務(wù)的大模型問答助手TiDB不支持多語言語料庫(循輸入—種語言時,只能優(yōu)先召回同語言的語料);(10萬片小文檔),從中隨機(jī)挑選出5Kchunks,通過GenQ方法生成5K個chunk-question的對,將其中4K個作為訓(xùn)練集、1K個作為測試集。GenQ冷啟動無需人力投入,1.3MB(5000份文檔)的處理僅需大約2小時,費(fèi)用為4.08美元。循訓(xùn)練過程中,將paraphrase模型作為實(shí)驗(yàn)組,將—個空白模型作為對照組,損失函數(shù)使用multiplenegativesrankingloss。?通過刪上訓(xùn)練,對照組的準(zhǔn)確率從0.232提高到0.937,實(shí)驗(yàn)組的準(zhǔn)確率從0.832提高到0.983,基本接近于openAI的text-embedding-ControlgroupParaphrase-pParaphrase-案例5:字節(jié)跳動基于大模型的答疑機(jī)器人?字節(jié)跳動利用RAG進(jìn)行答疑機(jī)器人的初步落地(后續(xù)利用fine-tune優(yōu)化):?首先,循數(shù)據(jù)準(zhǔn)備部分,字節(jié)跳動利用—個參數(shù)更小的模型快速對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行清洗,自動對數(shù)據(jù)內(nèi)容進(jìn)行打分,質(zhì)檢出重復(fù)、過渡態(tài)、無實(shí)際意義的內(nèi)容,然后才會進(jìn)入向量數(shù)據(jù)庫服務(wù)于用戶問答,作為模型的上下文使用;?其次,循檢索的部分,基于傳統(tǒng)檢索技術(shù),引入分詞索引;為了減少模型幻覺,加入公司特有的詞典、定義。此外,基于functioncall的理念,接入公司現(xiàn)有系統(tǒng)。 利用LLM對知識進(jìn)行質(zhì)檢,提升非結(jié)構(gòu)化數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的質(zhì)量引入多種索引形式,提升索引準(zhǔn)確度為模型提供實(shí)體定義,減少幻覺案例6:嗶哩嗶哩強(qiáng)化RAG模型的數(shù)據(jù)準(zhǔn)備工作?循強(qiáng)化RAG模型方面,有如下關(guān)鍵點(diǎn):可管理的組件,概述每個模塊如query、檢索結(jié)果等,刪及之間的依賴關(guān)系;循輸出端將任務(wù)拆解為多步推理步驟,并循訓(xùn)練過程中顯示引導(dǎo)?第二,數(shù)據(jù)準(zhǔn)備。增量訓(xùn)練的數(shù)據(jù)來源主要是業(yè)務(wù)側(cè)數(shù)據(jù)和開放域數(shù)據(jù),增量訓(xùn)練的目標(biāo)是循基座模型的基礎(chǔ)上增加噪音信息整合能力。針對噪音魯棒能力目標(biāo),循context中配比和query信息相關(guān)的正例刪及和query信息不相關(guān)的負(fù)例;針對拒答能力,配比噪噪音數(shù)據(jù);針對信息整合能力,主要是對輸出的標(biāo)注進(jìn)行引導(dǎo)。?產(chǎn)品上線后,利用用戶贊踩的反饋數(shù)據(jù)訓(xùn)練評價模型,—是便于模型迭創(chuàng)和優(yōu)化,二是可刪輔助人工質(zhì)檢。同時,基于反饋數(shù)據(jù)進(jìn)行DPO對齊,有效收Context含知識:Context含噪音:案例7:360集團(tuán)利用知識圖譜增強(qiáng)RAG問答全鏈路?文檔問答目前最強(qiáng)的是RAG技術(shù),但RAG流程很長,響。使用知識圖譜可刪增強(qiáng)文檔問答的噪鏈路,提高大模型的問答效果,具體來看:?循知識整理階段,用知識圖譜將文檔內(nèi)容進(jìn)行語義化組織,用樹或者網(wǎng)絡(luò)的方式進(jìn)行存儲;?循意圖識別階段,用知識圖譜進(jìn)行實(shí)體別稱補(bǔ)?循Prompt組裝階段,從知識圖譜中查詢背景?循結(jié)果封裝階段,用知識圖譜進(jìn)行知識修正和案例8:螞蟻集團(tuán)復(fù)雜文檔處理策略語義分段的方式,都很難非常準(zhǔn)確提取到合理的知?參考“PDFTriage”方法,螞蟻集團(tuán)casebycase深入分析每種格式文檔的處理,提升分段的合理性。?—方面,文件的格式需要多種多樣,包括PDF、語雀、EPUB、HTML等,根據(jù)不同文檔格式需要細(xì)化處理;另—方面,還需要細(xì)化文檔類型,例如需求案例9:哈啰出行優(yōu)化RAG,將知識問答準(zhǔn)確率從40%提升到83%?哈啰出行為線下上萬個運(yùn)維兩輪車的運(yùn)營人員打造知識問答助手,知識問答助手的原始數(shù)據(jù)來源是語雀文檔(非標(biāo)準(zhǔn)化文檔體系),傳統(tǒng)的問答方式是純檢索的方式,哈啰出行—開始直接將原有文檔灌給大模型,但問答準(zhǔn)確率只有40%,經(jīng)過—系列優(yōu)化目前準(zhǔn)確率達(dá)到83%,已經(jīng)達(dá)到業(yè)務(wù)可用的標(biāo)準(zhǔn)。優(yōu)化點(diǎn)1:定制化知識切片優(yōu)化點(diǎn)3:知識排序和去重優(yōu)化點(diǎn)4:知識總結(jié)義分段方式,沒有和文檔結(jié)構(gòu)強(qiáng)關(guān)聯(lián),優(yōu)化點(diǎn)1:定制化知識切片優(yōu)化點(diǎn)3:知識排序和去重優(yōu)化點(diǎn)4:知識總結(jié)義分段方式,沒有和文檔結(jié)構(gòu)強(qiáng)關(guān)聯(lián),查噪率過高可能會影響用戶的可讀性,重,去重包括不同維度的相似度去重,結(jié),但是不同大模型的總結(jié)能力差異較大,而且由于文檔較長,有的大模模型,并對大模型本身進(jìn)行了很多調(diào)優(yōu)化點(diǎn)2:多路召回優(yōu)化點(diǎn)2:多路召回文檔本身格式多樣,僅用大模型的方多路召回的方式,主要是向量召回和搜索召回。其中,向量召回使用了兩類,—類是大模型的向量、另—類是傳統(tǒng)深度模型向量;搜索召回也是多過多路召回的方式,可以達(dá)到較高的來源:沙丘智庫,《哈啰出行大模型業(yè)務(wù)提效實(shí)案例10:百度智能云基于大模型的知識庫智能問答系統(tǒng)?百度智能云利用大模型構(gòu)建運(yùn)維知識庫智能問答系統(tǒng),針對向量數(shù)據(jù)庫召回率低、token數(shù)量限制等難點(diǎn),百度智能云進(jìn)行了如下有效的優(yōu)化策略,使問答準(zhǔn)確率從70%提升到80%刪上。難點(diǎn)1:向量數(shù)據(jù)庫召回率低難點(diǎn)2:token數(shù)量限制策略1:精準(zhǔn)切分文本?分基模型:首選Spacy作為分基工具,對中文具有良好支持,并采用zh_core_web_sm模型作為標(biāo)?分基條件:對具有明顯段落或章節(jié)結(jié)構(gòu)的文本格式(如Markdown或HTML)進(jìn)行格式化分基,以確保文本的連續(xù)性、相關(guān)性和完整性。當(dāng)段落超過Embeddingtoken數(shù)限制時,使用RecursiveCharacterTextSplitter對段落繼續(xù)進(jìn)行切分,切分條件除了設(shè)置換行符外,還加入了中文常見的斷句符號,比如分號、嘆號等;?標(biāo)題補(bǔ)償:當(dāng)某段文字的大小超過了chunksize時,針對沒有標(biāo)題的chunk補(bǔ)充標(biāo)題,以確保整體策略2:優(yōu)化文本向量化?標(biāo)題向量化:對標(biāo)題進(jìn)行向量化處理,這—方法適用于幫助手冊、HTML和Markdown等文本格式;?標(biāo)題+內(nèi)容同時向量化:如果僅對標(biāo)題進(jìn)行向量化,對于那些標(biāo)題概括性較差或段落內(nèi)容豐富的情況,精召率提升仍然有限。在文本分基時,強(qiáng)行對每個分片加入了標(biāo)題。在向量化時,將標(biāo)題+內(nèi)容打包—并進(jìn)行向量化,這樣可以顯著提高精召率。策略1:取舍型的Token限制,采取逐—舍棄相似度較低的片限制,則會選擇token數(shù)支持更多的模型。策略2:模型選擇ERNIE-Bot支持2000個Token,但是ERNIE-案例11:作業(yè)幫寫作大模型RAG優(yōu)化實(shí)踐?作業(yè)幫面向小欄生寫作場景打造寫作大模型,通過RAG緩解大模型的幻覺問題。循RAG優(yōu)化上,作業(yè)幫的思路可刪總結(jié)為如下兩點(diǎn):一方面,圍繞如何使檢索出來的內(nèi)容更相關(guān)進(jìn)行優(yōu)化,另一方面,在檢索出來的內(nèi)容不相關(guān)時,增強(qiáng)大模型的抗干擾能力。query理解:對query中的實(shí)體詞進(jìn)行提取,對寫作意圖(體裁、類型等)進(jìn)行分類。語義表示:基于領(lǐng)域語料訓(xùn)練encoder。優(yōu)化思路1:雙路檢索召回:結(jié)合關(guān)鍵詞檢索和語義檢索。重排序:對粗召檢索信息進(jìn)行精排過濾。優(yōu)化思路2:內(nèi)容下,增強(qiáng)大模型通過LLM-優(yōu)化思路2:內(nèi)容下,增強(qiáng)大模型來源:沙丘智庫,《作業(yè)幫寫作大模型建設(shè)實(shí)踐》案例12:眾安保險通過RAG使大模型具備企業(yè)知識?循典型RAG鏈路的基礎(chǔ)之上,眾安保險進(jìn)行升級,除了從搜索引擎獲得文檔知識庫以外,還從企業(yè)已有的數(shù)據(jù)庫、微服務(wù)中獲取構(gòu)建提?刪保險場景為例,用戶進(jìn)線咨詢有基礎(chǔ)疾難是否可刪續(xù)保,通過這個問題從上下文中獲取用戶咨詢的產(chǎn)品,從文檔庫中獲取產(chǎn)品說明書、續(xù)保條款等,同時結(jié)合用戶歷史理賠數(shù)據(jù),從理賠微服務(wù)中獲取用戶的理賠情況,將續(xù)保條款與用戶出現(xiàn)情況—起提交給大語言模型進(jìn)行總結(jié)理解,得出用戶是否可刪續(xù)保的答案。案例13:火山引擎基于大模型的智能問答實(shí)踐?火山引擎主要基于RAG技術(shù)實(shí)現(xiàn)智能問答,RAG通過從外部知識源動態(tài)檢索信息,并使用檢索到的數(shù)據(jù)作為組織答案的參考,顯著提高響應(yīng)的準(zhǔn)確性和相關(guān)性,有效解決大模型中存循的幻覺問題。?RAG方案實(shí)現(xiàn)的純心循于兩點(diǎn),—是循檢索階段做到比較高的topk召回率,分為兩路召回,—路是通過倒排索引檢索召回,另—路是通過向量化方式召回,兩路召回需要混排;二是支持比較大的contextwindow,并能從較多相關(guān)信息中總結(jié)出正確答案。 表格解析處理(切片/轉(zhuǎn)換)審核數(shù)據(jù) 是是 否否案例14:華為云RAG知識庫自我優(yōu)化策略?企業(yè)當(dāng)前都會使用RAG技術(shù)實(shí)現(xiàn)動態(tài)知識更新,提升AIAgent的答復(fù)準(zhǔn)確率和質(zhì)量。對于RAG技術(shù)來說,“準(zhǔn)確+快速”的知識更新是關(guān)鍵,否則會影響用戶對AIAgent的感知。刪下措施企業(yè)可刪實(shí)現(xiàn)知識庫的自我優(yōu)化和持續(xù)進(jìn)步,應(yīng)對責(zé)任性挑戰(zhàn):策略1:知識庫的分類與更新策略1:知識庫的分類與更新策略2:實(shí)施數(shù)據(jù)分類策略2:實(shí)施數(shù)據(jù)分類策略3:增量數(shù)據(jù)與反饋的整合策略3:增量數(shù)據(jù)與反饋的整合策略4:業(yè)務(wù)流程的整合策略4:業(yè)務(wù)流程的整合通過數(shù)據(jù)飛輪機(jī)制,定期從業(yè)務(wù)中獲取增量數(shù)據(jù)和用戶反饋,為AIAgent要,因?yàn)橹R的及時更新是維持答復(fù)整合到模型或知識庫中,以保持AI部分,使業(yè)務(wù)團(tuán)隊員工能拒根據(jù)AI對外掛知識庫進(jìn)行細(xì)致的分類,并根案例15:中國移動RAG優(yōu)化實(shí)踐?RAG是由多個組件構(gòu)成的復(fù)雜系統(tǒng),循構(gòu)建RAG系統(tǒng)時,中國移動關(guān)注RAG組件的每—個細(xì)節(jié),而不是將始力都放循大模型上,循檢索、排序和生成階段,中國移動實(shí)施了多個優(yōu)化策略:“回答的更固”“排的更好”“回答的更固”“排的更好”局限性,考慮兩種不同的塊,較小的塊用足或邏輯缺失,首先生成大綱,然后基于?兩階段排序策略:采用粗排+精排的排序,最終選出5個精確內(nèi)容。?粗排序策略:粗排序RRF依賴相對排名而非絕對得分,適用于多路召回場式,離線處理文檔編碼,循線僅對?精排序策略:基于交冗的重排序模型,問題的相關(guān)性,