2025使用知識圖譜增強RAG能力

tidb.aiRAG為什么需要知識圖譜助力VectortypewithinTiDB>+VectorAllinonePart 缺乏技術支持人 技術回答間隔較 文檔太多沒時間TiDB社區(qū)過去一直使用技術支持小組輪班回答一些社區(qū)成員提出的問題。但我們一直都缺乏相應的人力

社區(qū)用戶提出的技術問題，將會由技術支持工程師在看到之后，再逐一解決，這個過程很可能會很久，如果有多輪溝通，那就會更久

TiDB的文檔豐富，但反過來看，過多的文檔導致用戶不知道選擇哪些去看?？赡軙е掠脩魶]辦法得到TiDB的全盤認知 0Part 降低幻 給予額外知 突破上下PartJina.aiJina.aiCO.,.Availableat:https://jina.ai/reranker(Accessed:22May 余弦相似性會忽略語言之間的關系查詢與文檔之間的意圖的交互這種排序更重，但是也能讓我們進一步知道文檔與問題之間的關聯(lián)性排序

Thegoalofasearchsystemistofindthemostrelevantresultsquicklyandefficiently.Traditionally,methodslikeBM25ortf-idfhavebeenusedtoranksearchresultsbasedonkeywordmatching.Recentmethods,suchasembedding-basedcosinesimilarity,havebeenimplementedinmanyvectordatabases.Thesemethodsarestraightforwardbutcansometimesmissthesubtletiesoflanguage,andmostimportantly,theinteractionbetweendocumentsandaquery'sintent.Thisiswherethe"reranker"shines.ArerankerisanadvancedAImodelthattakestheinitialsetofresultsfromasearch—oftenprovidedbyanembeddings/token-basedsearch—andreevaluatesthemtoensuretheyalignmorecloselywiththeuser'sintent.Itlooksbeyondthesurface-levelmatchingoftermstoconsiderthedeeperinteractionbetweenthesearchqueryandthecontentofthedocuments.Jina.aiCO.Reranker,JinaAI-Reranker.Availableat:https://jina.ai/reranker(Accessed:22May 可能會在不應該截斷的地方截斷文字信息丟失數(shù)據(jù)關聯(lián)丟失 Indexing階段上下文窗口限制Indexing階段上下文窗口限制Chunks之間沒有關聯(lián)忽略了文檔結構關系Part[1]Edge,D.,Trinh,H.,Cheng,N.,Bradley,J.,Chao,A.,Mody,A.,Truitt,S.,&Larson,J.(2024).FromLocaltoGlobal:AGraphRAGApproachtoQuery-FocusedSummarization../abs/2404.16130

LLM

存入TiDBServerless集群

檢索時使用VectorSearch DSPy庫進行及節(jié)點和邊的抽取方法，最后填入文檔即可 DSPy庫進行及節(jié)點和邊的抽取方法，最后填入文檔即可將構建好的知識圖譜，在節(jié)點和邊上增加EmbeddingVector數(shù) Serverless集群檢索時，首先會使用VectorSearch在TiDBServerless集群中搜索最近鄰的TopN節(jié)點。隨后使用這些節(jié)點擴散K度，取回其相關節(jié)點及邊。最后使用這些節(jié)點和邊生成回答。 英文Markdown文檔：1276中文Markdown文檔：1098而且這些文檔不是AI翻譯的，是我們的文檔團隊進行維護的。日文文檔是機翻的，因此不算在這里更進一步的是，我們的文檔的跟隨版本的，也就是說，你總是能找到最新Feature的文檔 Colab手把手教你編寫一個GraphRAG（JupyterNotebook） 這不巧了嘛這不是，歡迎體驗TiDBServerless，這邊請： 首先將用戶問題進行Embedding，得到一個向量在TiDBServerless數(shù)據(jù)庫內(nèi)使用VEC_Cosine_Distance函數(shù)對問題的Embedding和節(jié)點的EmbeddingVector進行排序，取出TopN個關聯(lián)節(jié)點，此處示例為N=1在TiDBServerless數(shù)據(jù)庫內(nèi)搜索K度內(nèi)的關聯(lián)節(jié)點，此處示例為K=1取回關聯(lián)節(jié)點，及關聯(lián)節(jié)點之間的關系我 我 奧卡姆剃圖數(shù)據(jù)庫的查詢語句和RDB的不一樣我沒用過，我菜

圖數(shù)據(jù)庫的數(shù)據(jù)會被存在獨立的實例里，這就意味著我的查詢就需要至少做兩次第一次查RDB，第二次再查圖數(shù)據(jù)庫

如無必要，勿增實體Part Part 2.5OSM 20092.5 以上計算結果使用讀負載場景進行估算，實際支出請以TiDBCloudBilling計算結果為準Part RAG技術棧優(yōu)點&解決問題缺點原生降低幻覺，給予額外知識，突破Retrieve階段上下文窗口限制僅考慮問題和答案的相似度RAG+在原生RAG的基礎上，提高了回答生成質(zhì)量Indexing階段上下文窗口限制，Chunks之間無關聯(lián)RAG+知識圖譜在RAG+Rerank的基礎上，增加了retrieve的關聯(lián)性解決方案相對復雜數(shù)據(jù)庫技術棧優(yōu)點缺點簡單可用數(shù)據(jù)量限制，可用性較低，無Vector能力，無分析能力RDB+Vector在VectorDB內(nèi)的向量計算性能更高需數(shù)據(jù)同步，數(shù)據(jù)一致性問題，架構復雜，不同的語法RDB+圖數(shù)據(jù)庫在圖數(shù)據(jù)庫內(nèi)