2025年大模型應用：從提示工程到AI智能體報告-西南財經(jīng)大學

24級·計算機科學與技術通用人工智能與數(shù)字經(jīng)濟創(chuàng)新n本課程的核心目標是系統(tǒng)介紹大模型應用知識，幫助讀者掌握提示工程和AI智能體設計技術，以發(fā)揮大模型在各類任務中的最大效能。通過理論授課、實踐案例分析和討論，學生將獲得對大模型和通用人工智能領域的全面了解，培養(yǎng)相關技能和知識，為未來在該領域的研究和應用工作打n課程類型：專業(yè)方向課n教材：自編教材，《大模型應用：從提示工程到AI智能體》n先修課程：概率論與數(shù)理統(tǒng)計、機器學習等教材官網(wǎng)：https://nlp-book.swufenlp.group/九·AI九·AI智能體核心技術3333333333333333十·AI智能體開發(fā)平臺3十一·AI智能體行業(yè)案例3二·初識大模型三·大模型提示詞四·大模型輔助工作五·大模型檢索增強六·大模型框架七·大模型使用工具八·大模型微調(diào)n考核方式（暫定）：平時成績（50%）+期末閉卷考試（50%）考勤、課堂表現(xiàn)和平時作業(yè)（20%）+課程大實驗（30%）A.1概率論基本概念A.1.1概率和概率分布A.1.2貝葉斯法則A.2信息論基本概念A.2.2聯(lián)合熵和條件熵A.2.3互信息A.2.4相對熵與交叉熵A.3機器學習的基本概念A.3.1訓練方式A.3.2常用算法和模型A.4強化學習基本概念A.4.1馬爾可夫過程決策A.4.2策略迭代A.4.3重要性采樣A.4.4近端策略優(yōu)化算法NLP領域主要學術會議：?AssociationforComputationalLinguistics(ACL)CCFA?ConferenceonEmpiricalMethodsinNaturalLanguagePro?NorthAmericanChapteroftheAssociationforComputationalLinguistics(NAACL)CCFB?InternationalConferenceonComputationalLinguistics(COLING)CCFB?TheChinaNationalConferenceonComputationalLinguistics(CCL)?ConferenceoftheEuropeanChapteroftheAssociationforComputationalLinguistics(EACL)NLP領域?qū)W術組織：ACL、國際計算語言學委員會（ICCL）、中國人工智能學會自然語言理解專委會、中國中文信息處理學會、中國計算機學會自然語言處理專委會1.1人工智能概述1.2自然語言處理1.3語言模型與大語言模型1.4大模型應用11/338l人工智能是指通過計算機程序模擬和實現(xiàn)人類智能工智能工智能12/338l歷史與發(fā)展谷符號主義知識工程谷符號主義知識工程統(tǒng)初期探索與機器學習與深度學習崛起深度學習與大數(shù)據(jù)時代13/338理核心技術核心技術術14/338l應用領域醫(yī)醫(yī)療教育教育工業(yè)工業(yè)務交通體金融金融自然語言處理（NLP）：是人工智能領域的一個重要分支，被廣泛用于聊天機器人、機器翻譯和搜索引擎等場景說、讀、寫等技能，計算機若想理解并應用人類語言，同樣離不開多方面在這一過程中，分詞、詞性標注與句而機器翻譯、問答系統(tǒng)、文本摘要等15/33815/33816/338l基礎技術——詞法分析步驟。傳統(tǒng)方法包括基于規(guī)則的最大匹配法和基于統(tǒng)計的語言模型符合規(guī)范劃分：火車/穿過/南京17/338l基礎技術——詞法分析2.命名實體識別（NER）：識別文本中的特定實體?，F(xiàn)代NER技術多采用深度學習方法，如BERT。18/338l基礎技術——詞法分析動詞、形容詞等），幫助計算機理解句子結(jié)構(gòu)。l基礎技術——句法分析、語義分析、篇章分析包括短語結(jié)構(gòu)分析和依存句法分析，用于解析句子的結(jié)構(gòu)和語法關系。通過詞義消歧、語義角色標注等技術，理解句19/338關注多句子構(gòu)成的文本，包括連貫性分析和指代消解，確保對整篇文檔的理解19/33820/338l實際應用將一種語言的文本轉(zhuǎn)換為另一將一種語言的文本轉(zhuǎn)換為另一種語言的文本?，F(xiàn)代翻譯系統(tǒng)多采用基于Transformer的神經(jīng)機器翻譯（NMT）技術。從非結(jié)構(gòu)化文本中提取結(jié)構(gòu)化信息，如實體、關系和事件，支持知識圖譜構(gòu)建。文本分類用于將文本分配到預設類別，如垃圾郵件識別和新聞分類。情感分析則用于判斷文本的情感傾向，廣泛應用于輿情監(jiān)控和用戶反饋分析。通過抽取或生成關鍵信息，生成簡潔的文本摘要，幫助用戶快速獲取文檔要點。模擬人與人之間的對話，通過抽取或生成關鍵信息，生成簡潔的文本摘要，幫助用戶快速獲取文檔要點。模擬人與人之間的對話，分為閑聊型和任務型對21/33822/3381.3語言模型與大語言模型語言模型的基本目標是通過大量的文本數(shù)據(jù)學習語言的結(jié)構(gòu)和模式，進而能夠處理各種語言任務，如文本生成、機器翻譯、語音識別和情感分析等。這種預測能力與人類的語言認知類似，比如當聽到“北京23/3381.3.1語言模型：統(tǒng)計語言模型?Bigram（2-gram通過當前詞和前一個詞來預測下一個詞?Trigram（3-gram通過當前詞和前兩個詞來預測下一個詞24/3381.3.1語言模型：統(tǒng)計語言模型經(jīng)典模型：N-gram模型。它通過假設每個詞只依賴于前面N-1個或者輸入法的猜想或者p(”不一樣“|"我們")>p(”的愛“|"我們"25/3381.3.1語言模型：統(tǒng)計語言模型經(jīng)典模型：N-gram模型。它通過假設每個詞只依賴于前面N-1個26/3381.3.1語言模型：統(tǒng)計語言模型是一種基于統(tǒng)計學概率的模型，用于描述詞序列的概率分布。循環(huán)神經(jīng)網(wǎng)絡27/3381.3.1語言模型：統(tǒng)計語言模型是一種基于神經(jīng)語言模型的先進語言建模方法。這種方法模擬了人類通過大量閱讀和交流積累語言知識的過程，顯著提?然后，再針對特定任務進行微調(diào)，就像人類將通用知識應用到專28/3381.3.1語言模型：統(tǒng)計語言模型是一種基于神經(jīng)語言模型的先進語言建模方法。這種方法模擬了人類通過大量閱讀和交流積累語言知識的過程，顯著提BERT能夠同時考慮上下文的前后信息，行預訓練，學習語言的生成能力。與BERT29/3381.3.1語言模型：統(tǒng)計語言模型30/3381.3.1語言模型：統(tǒng)計語言模型31/3381.3.1語言模型：統(tǒng)計語言模型32/3381.3.2大語言模型），們在大量的文本數(shù)據(jù)上進行訓練，可以執(zhí)行廣泛的任務，包括文本總結(jié)、翻譯、情感分析等等。擅長連貫性寫作和對話生成，）：長閱讀理解和文本分析，通過同時關注上下文理解文本完整33/3381.3.2大語言模型），們在大量的文本數(shù)據(jù)上進行訓練，可以執(zhí)行廣泛的任務，包括文本總結(jié)、翻譯、情感分析等等。34/3381.3.2大語言模型），們在大量的文本數(shù)據(jù)上進行訓練，可以執(zhí)行廣泛的任務，包括文本總結(jié)、翻譯、情感分析等等。36/3381.4.1大模型應用技術過優(yōu)化提示詞提升模型輸出37/3381.4.1大模型應用技術：提示工程PromptengineeringistheprocessofiteratingagenerativeAIpromptt38/338垃圾郵件分類是個經(jīng)典的機器學習39/338提示工程沒有改變模型本身我們可以通過調(diào)整輸入來引導模型執(zhí)行不同的任務。這個調(diào)整的40/338提示詞的組成生成一首有關冬天的絕句此外，部分教程把輸出格式控制也作為提示詞的組成之一。提示詞的組成部分并不總是同時出現(xiàn)，并且它們也沒提示詞的組成部分并不總是同時出現(xiàn)，并且它們也沒41/338真實場景中的提示詞42/338指令/任務錯誤示范：模糊、無邊界的任務如果你的提示詞沒有細節(jié)，模型要么會泛泛而談，要么會你需要提供明確、清晰的任務目標。寫一個400字的童話故事,主角是一只勇敢的小老鼠,要包含冒險和友誼的主題設計一個3頁面的美食博客網(wǎng)站,需要包含:首頁展示最新食譜、食譜分類頁面、關于頁面分析這些數(shù)據(jù)分析這份銷售數(shù)據(jù)中2023年各季度的銷售趨最暢銷的三個品類43/338誤，但是研究人員發(fā)現(xiàn)，如果在提問后面加上“Makesureyouranswerisexactlycorrect”，正確率就大幅提高。類似的，研究人員發(fā)現(xiàn)，如果在提示詞中加上“Thisisveryimportanttomycareer”，模型的能力也會增強。這種技巧被稱44/338指令/任務的神器咒語（2）45/338指令/任務的神器咒語（3）實驗表明，對大模型禮貌與否對回復質(zhì)量沒有統(tǒng)計46/338提示詞優(yōu)化作用：幫助模型快速理解用戶的需求，減少誤解和無關輸出?！皩懸欢?00字的關于塑料污染對海洋生態(tài)影響的科普文章。”47/338提示詞優(yōu)化定義：在提示中加入與任務相關的背景信息，幫助模型更好地理作用：使模型生成的內(nèi)容更加貼合實際場景，避免生成過于通用“解釋一下這個產(chǎn)品的優(yōu)勢?！?8/338提示詞優(yōu)化 客服等）和語言風格（正式、幽默、口語化等）。作用：使生成的內(nèi)容風格一致，更符合特定場景或受眾的需求。“介紹一下人工智能。”能的發(fā)展歷程。”49/338提示詞優(yōu)化4.指定輸出格式定義：明確告訴模型輸出內(nèi)容的格式（如段落、列表、表格等)。作用：使輸出更加規(guī)范，便于用戶使用和進一步處理。“列出一些旅游景點。”、所在省份和主要特色?！?0/338與提示詞，將檢索到與提示詞，將檢索到的信息與用戶問題結(jié)合，形成增強后的提識時效性和專業(yè)領域知識局限的問題。高級提示技術?情景學習：通過示例引導模?情景學習：通過示例引導模?思維鏈：將任務拆解為多個動—觀察”融為一個動態(tài)循?反思框架：利用二次提示?定義：通過函數(shù)調(diào)用接入外部資源或API，主動請?定義：通過函數(shù)調(diào)用接入外部資源或API，主動請訪問特定領域數(shù)據(jù)庫、調(diào)?優(yōu)勢：突破傳統(tǒng)“輸入-輸出”模式，實現(xiàn)與外部環(huán)境的有效互動，擴展模51/338智能體（AIAgent或AIBot）是指能夠感知其環(huán)境并采取行智能體（AIAgent或AIBot）是指能夠感知其環(huán)境并采取行動以實實體。智能體可以是軟件程序、機器人、或其他形式的系統(tǒng)。?工具調(diào)用：可訪問數(shù)據(jù)庫、檢索外部知識、調(diào)用計算引擎等，增強執(zhí)行能?多步工作流：能夠拆解復雜任務，制定執(zhí)行計劃，并在執(zhí)行過程中不斷調(diào)整優(yōu)化?環(huán)境適應性：可根據(jù)外部環(huán)境變化動態(tài)調(diào)整策略，實現(xiàn)持續(xù)穩(wěn)定的智能表52/33853/3381.4.2大模型應用案例多模態(tài)應用多模態(tài)應用7教育領域722機器翻譯55金融領域88醫(yī)療領域33文本理解與推理54/338文本生成與對話系統(tǒng)?智能對話（ChatGPT、客服機器人）。?生成連貫、富有邏輯性的文本。55/338機器翻譯?基于Transformer結(jié)構(gòu)，具備雙向上下文理解能力。?生成更加流暢、準確的翻譯文本。56/338文本理解與推理應用場景：?預訓練學習語言結(jié)構(gòu)，深度解析語義。?能夠提取文本中的關鍵信息，提高信息檢索效率。57/338多模態(tài)應用應用場景：58/338金融領域應用場景：?市場分析、智能投顧、風險評估。?解析海量金融文本，助力精準投資決策?快速識別市場趨勢和潛在風險。59/338法律領域應用場景：?合同審查、法規(guī)解析、判例檢索。?快速提取核心條款，提高法律服務效率。60/338教育領域應用場景：?教學輔助（自動生成教學資料）。?提供個性化學習路徑，提高教學質(zhì)量。61/338醫(yī)療領域?遠程醫(yī)療、智能問診。?深度理解醫(yī)學知識，輔助醫(yī)生高效診療。?賦能智能化醫(yī)療服務，提高醫(yī)療可及性。 第二章初識大模型2.1概述2.2大模型示例2.3常見大模型2.4大模型本地部署2.5大模型客戶端工具●大模型(LargeModel):指的是具有大量參數(shù)、能夠處理復雜任務的大規(guī)模機器學習模型?參數(shù)量巨大：數(shù)十億到上萬億個參數(shù)?需要高計算資源：多GPU或超級計算機?多任務處理：如文本生成、圖像識別、語音識別等?基于深度神經(jīng)網(wǎng)絡架構(gòu)，如Transformer?應用場景：?自然語言處理（NLP）：文本生成、機器翻譯、情感分析?計算機視覺（CV）：圖像識別、圖像生成?語音識別與生成：語音助手、語音轉(zhuǎn)文字?推薦系統(tǒng)：電商、流媒體內(nèi)容推薦?面臨的挑戰(zhàn)：?資源消耗：高昂的計算成本和電力消耗?數(shù)據(jù)隱私：訓練數(shù)據(jù)的大規(guī)模收集與隱私保護?公平性與偏見：可能存在算法偏見，需謹慎處理2.1概述2.2大模型示例2.3常見大模型2.4大模型本地部署2.5大模型客戶端工具大模型示例大模型示例大模型示例大模型示例●語音識別2.1概述2.2大模型示例2.3常見大模型2.4大模型本地部署2.5大模型客戶端工具●DeepSeek（杭州深度求索人工智能基礎技術研究有限公司）成立于2023年，由幻方量化孕育，專注于大語言模型（LLM）及相關技術開發(fā)，采用數(shù)據(jù)蒸餾技術以提升模型性能。自2024年以來，DeepSeek快速迭代發(fā)布了多個模型，包括DeepSeekLLM、Coder、V2.5、V3和VL2等，并逐步開源。千億參數(shù)基座模型，動態(tài)專家選擇機制，中文語言理解任務稀疏激活架構(gòu)，推理成本降低83%，被譽為“AI界的拼多多”文本引導的圖像生成與編輯，T2I-CoChatGPT規(guī)模文本數(shù)據(jù)的預訓練和微調(diào)。它能夠進行自然語言理解和生成，豆包豆包是由字節(jié)跳動開發(fā)的一款智能助手，基于先進的自然語言處理（NLP）技術，旨KIMIKimi是北京月之暗面科技有限公司于2023年10月9日推出的一款智能助手，主要應用場景為專業(yè)學術論文的翻譯和理解、輔助分析法律問題、快速理解API開發(fā)文檔等，是全球首個支持輸入20萬漢字的智能助手產(chǎn)品。其他常用大模型2.1概述2.2大模型示例2.3常見大模型2.4大模型本地部署2.4.1Ollama部署工具2.4.2搭建UI界面2.5大模型客戶端工具本地部署大模型●為什么要本地部署大模型？●在本地部署大模型，優(yōu)勢在于兩方面：一是支持在無網(wǎng)絡環(huán)境下使用大模型，滿足離線場景的需求；二是保護數(shù)據(jù)隱私，避免數(shù)據(jù)傳輸?shù)皆贫藥淼陌踩L險?！癖镜夭渴鸬奶魬?zhàn)：●硬件成本高●模型更新速度快，需要運維OllamaOllama是一款可以讓用戶在本地運行大規(guī)模語言模型（LLMs）的工具。它使得開發(fā)人員和企業(yè)能夠私密地操作人工智能模型，無需依賴云服務。Ollama支持多種模型，包括Llama、Mistral、CodeLlama等，可以廣泛應用于構(gòu)建聊天機器人、自動化編碼任務或離線研究等場景。使用Ollama本地部署大模型前往Ollama官網(wǎng)（/）下載適用于自己操作系統(tǒng)的版本。使用Ollama本地部署大模型下載后，按照操作系統(tǒng)的安裝向?qū)瓿砂惭b。安裝完成后，按下鍵盤的win+R鍵打開運行窗口，輸入cmd命令打開命令提示符窗口。使用Ollama本地部署大模型在命令提示符窗口內(nèi)輸入ollama--version來驗證安裝是否成功。使用Ollama本地部署大模型在命令提示符窗口使用ollamapull<model-name>下載所需模型，或者使用ollamarun<model-name>運行模型（若沒有下載則自動下載并運行）。所需的模型可以點擊ollama官網(wǎng)右上方的Models查看，或者直接在網(wǎng)（/search）中下載。使用Ollama本地部署大模型安裝完成后可以直接輸入prompt來使用模型，使用完成后可按住Ctrl+d來退出該模型的使用。搭建UI界面●搭建UI界面主要有以下幾個原因：●通過UI界面，可以以圖形化方式操作大模型，避免了復雜的命令行操作，提高了用戶的體驗感?！馯I界面可以方便地管理多個模型，支持一鍵加載、切換和卸載，簡化了模型管理過程?！裨赨I界面上可以快速進行輸入輸出測試，方便開發(fā)者調(diào)試和驗證模型●UI界面美觀性和專業(yè)性還能增強工具的吸引力，方便后續(xù)擴展與維護。搭建UI界面下載并安裝Node.js工具（/zh-cn）搭建UI界面可以通過在命令提示符窗口內(nèi)輸入node-v和nmp-v檢查Node.js和npm是否成功安裝。搭建UI界面使用Git克隆OllamaWebUI的源代碼。打開命令行，執(zhí)行以下命令：gitclone/ollama-webui/ollama-webui-liteollama-webui這會將OllamaWebUI的代碼下載到本地目錄ollama-webui中。搭建UI界面繼續(xù)輸入cdollama-webui切換到OllamaWebUI代碼的目錄。搭建UI界面在代碼目錄下執(zhí)行以下命令來安裝所需的依賴包：npminstall該命令會自動根據(jù)項目的package.json文件下載所有必要的依賴。搭建UI界面依賴安裝完成后，執(zhí)行npmrundev命令啟動WebUI。默認情況下，WebUI會在本地服務器的3000端口啟動，可以在瀏覽器中訪問http://localhost:3000查看。搭建UI界面啟動成功后可以在瀏覽器看到如下界面。點擊Selectamodel，選擇已經(jīng)安裝好的模型。搭建UI界面選擇好已安裝好的模型后，在聊天框中輸入信息即可與大模型進行交互。2.1概述2.2大模型示例2.3常見大模型2.4大模型本地部署2.5大模型客戶端工具大模型客戶端工具●為了更便捷地使用和管理各種大模型，大模型客戶端工具提供了一個集成平臺，用戶可以通過該平臺訪問不同的模型，并且可以將本地部署的模型直接集成到平臺中進行使用。這個平臺支持各種大模型的高效調(diào)用，簡化了模型使用流程，適合研究人員和開發(fā)者在實際應用中進行模型集成和優(yōu)●CherryAI（/）是一個集成多個大模型的客戶端工具平臺，用戶可以通過它訪問多種預訓練模型，并且能夠?qū)⒈镜夭渴鸬哪Ｐ蜕蟼鞯狡脚_進行高效調(diào)用。它提供了一個直觀、易用的接口，支持大規(guī)模模型的快速集成與管理。CherryAI●主要功能：●大模型對話：●一問多答：支持同一問題通過多個模型同時生成回復，方便用戶對比不同模型的表現(xiàn)?！褡詣臃纸M：每個助手的對話記錄會自動分組管理，便于用戶快速查找歷史對話?！駥υ拰С觯褐С謱⑼暾麑υ拰С鰹槎喾N格式（如Markdown、Word等），方便儲存與●高度自定義參數(shù)：除了基礎參數(shù)調(diào)整外，還支持用戶填寫自定義參數(shù)，滿足個性化需求?！馎I繪圖：提供專用繪畫面板，用戶可通過自然語言描述生成高質(zhì)量圖像?！馎I翻譯：支持專用翻譯面板、對話翻譯、提示詞翻譯等多種翻譯場景?！馎I小程序：集成多種免費Web端AI工具，無需切換瀏覽器即可直接使用。●文件管理：對話、繪畫和知識庫中的文件統(tǒng)一分類管理，避免繁瑣查找。第三章大模型提示詞3.1概述3.2提示詞組成要素3.3提示詞優(yōu)化3.4提示詞案例3.5討論3.1概述提示詞（Prompt）是用于引導語言模3.1概述3.2提示詞組成要素3.3提示詞優(yōu)化3.4提示詞案例3.5討論3.2提示詞組成要素任務角色上下文輸出控制必要組成要素可選組成要素指導模型理解任務目標提供背景信息、定義輸出格式或調(diào)整3.2提示詞組成要素讓語言模型幫忙撰寫一篇關于人工智能倫理的短文，可以直接輸入任務指3.2.1提示詞組成要素：任務處理數(shù)據(jù)或者對話交互等。任務定義是提示詞的3.2.1提示詞組成要素：任務常見錯誤1：任務描述過于模糊，導致模型無法準確理解用戶需求。提示詞中沒有明確報告的主題、目標受眾或結(jié)構(gòu)要求，模型可能生3.2.1提示詞組成要素：任務常見錯誤2：任務描述過于寬泛或復雜，超出模型的能力范圍。任務要求涉及大量未知因素，如政策變化、技術發(fā)展、地緣政治等，而大模型無法訪問數(shù)據(jù)，因此可能生成不準確或缺乏現(xiàn)實依據(jù)的內(nèi)3.2.1提示詞組成要素：任務常見錯誤3常見錯誤3：任務描述可能存在歧義，具有多種理解方式，導致模型可詞語“影響”存在歧義。“影響”可以指人工智能的社會影模型可能生成包含多個角度的討論，但無法聚焦于用戶真正關注的點。3.2.1提示詞組成要素：任務改進提示詞1：提供清晰的任務要求，明確主題、目標受眾、內(nèi)容范3.2.1提示詞組成要素：任務改進提示詞2：拆解成可執(zhí)行的子任務，或限定討論范圍，避免超出3.2.1提示詞組成要素：任務改進提示詞3：精確定義關鍵術語，若關鍵詞存在多種理解方式，可3.2.2提示詞組成要素：角色在人工智能領域的問答任務中，可3.2.2提示詞組成要素：角色也會影響輸出的語言風格。3.2.3提示詞組成要素：上下文提供相關背景信息和上下文可以幫助模型更好地理解任務背景，從而3.2.3提示詞組成要素：上下文提示詞通過嵌入背景信息、明確任務目標以及部分文章內(nèi)容，為模型提供了充分的上下文，使其能夠快3.2.4提示詞組成要素：輸出控制長度控制:通過明確指定生成內(nèi)容的字數(shù)、3.2.4提示詞組成要素：輸出控制提示詞應明確指示哪些內(nèi)容需要顯3.2.4提示詞組成要素：輸出控制格式控制:用戶可以通過明確的規(guī)則和約束來規(guī)范輸出內(nèi)格式控制適用于多種場景，例如文格式控制適用于多種場景，例如文本生成、代碼生成或結(jié)構(gòu)化內(nèi)容輸3.2.4提示詞組成要素：輸出控制結(jié)構(gòu)化輸出設置：需要生成具有特定結(jié)構(gòu)的輸出（例如表格報告包括引言、實驗方法和結(jié)論部分，實驗方法部分包含數(shù)據(jù)表格，報告包括引言、實驗方法和結(jié)論部分，實驗方法部分包含數(shù)據(jù)表格，3.1概述3.2提示詞組成要素3.3提示詞優(yōu)化3.4提示詞案例3.5討論3.3提示詞優(yōu)化優(yōu)化策略一鍵優(yōu)化優(yōu)化策略明確任務目標、細化描述以及迭代改進等方優(yōu)化策略的核心在于清晰表達需求，避免模糊或歧義，從而提升生成內(nèi)容的準確性和實用性。對于復雜任務，合理的優(yōu)化策略能夠一鍵優(yōu)化是一種便捷的功能，用戶無需深入了解提示詞的組成或優(yōu)化技巧，明確任務目標、細化描述以及迭代改進等方優(yōu)化策略的核心在于清晰表達需求，避免模糊或歧義，從而提升生成內(nèi)容的準確性和實用性。對于復雜任務，合理的優(yōu)化策略能夠3.3.1提示詞優(yōu)化:優(yōu)化策略策略1使用限制條件：通過在提示詞中加入明確的限制，以縮小生成內(nèi)容的未使用限制條件如格式、風格等，避免生成過長或過短的內(nèi)3.3.1提示詞優(yōu)化:優(yōu)化策略策略2示例驅(qū)動：通過提供具體示例來引導模型生成更符無示例驅(qū)動示例驅(qū)動3.3.1提示詞優(yōu)化:優(yōu)化策略模型直接作答3.3.1提示詞優(yōu)化:優(yōu)化策略策略4迭代反饋：通過多次交互和逐步優(yōu)化的方式，不斷改3.3.2提示詞優(yōu)化:一鍵優(yōu)化大模型優(yōu)化提示詞生成結(jié)果（左側(cè)為初始提示詞，生成結(jié)果（左側(cè)為初始提示詞，右側(cè)為大模型優(yōu)化后的提示詞）3.3.2提示詞優(yōu)化:一鍵優(yōu)化智能體優(yōu)化提示詞），3.1概述3.2提示詞組成要素3.3提示詞優(yōu)化3.4提示詞案例3.5討論3.4.1提示詞案例：寫作助理3.4.1提示詞案例：寫作助理示例2：分解長句與減少重復3.4.2提示詞案例：法律咨詢3.4.2提示詞案例：法律咨詢3.4.2提示詞案例：法律咨詢3.4.3提示詞案例：頭腦風暴頭腦風暴是一種將想法和信息以圖形化方式組織和展示解決問題和規(guī)劃項目。大模型工具海量的訓練數(shù)據(jù)能夠在人類可能圖，需要借助其他可視化工具6來3.4.3提示詞案例：頭腦風暴3.4.4提示詞案例：學習輔助3.4.4提示詞案例：學習輔助3.1概述3.2提示詞組成要素3.3提示詞優(yōu)化3.4提示詞案例3.5討論3.5討論在設計提示詞時，任務目標與角色定義如何相互影響？舉例說明：如果任務要求模型“生成一篇科普文章”，但未明確角色（如“專業(yè)學者”或“動物科普作家”可能導致哪些問題？如何通過調(diào)整角色優(yōu)當上下文信息復雜時（如用戶提供多段背景文本如何通過輸出控制避免模型生成偏離核心目標的內(nèi)第四章大模型輔助工作4.1概述4.2大模型輔助檢索4.3大模型輔助辦公4.4大模型輔助創(chuàng)作4.5討論4.1概述4.2大模型輔助檢索4.3大模型輔助辦公4.4大模型輔助創(chuàng)作4.5討論4.2大模型輔助檢索在使用大模型輔助檢索的時候，你可以在對話框里將聯(lián)網(wǎng)搜索現(xiàn)在很多大模型對話平臺都具備該功能，大模型的聯(lián)網(wǎng)搜索功能模型能夠訪問互聯(lián)網(wǎng)上的信息，以獲取最新的數(shù)據(jù)、新聞、知識容，并將這些瀏覽過的頁面返回整合到其回答中。這種能力使得AI能夠提供4.2.1大模型輔助檢索：檢索示例傳統(tǒng)檢索獲取論文的信息使得用戶需要自己動手搜索和點擊查找，大模型則提供了直接去了用戶的精力和時間。4.2.1大模型輔助檢索：檢索示例大模型的連續(xù)多輪對話能力，使其在客戶服務、交互式學習和個性化問答中具有顯著的4.2.1大模型輔助檢索：檢索示例對于實時信息查詢的場景，傳統(tǒng)檢索只能返回一些參考網(wǎng)頁，用戶需自行點擊進行查看，4.2.2大模型輔助檢索：對比優(yōu)勢大模型輔助檢索優(yōu)勢如下：上下文理解其背后的潛在意圖，提供與之相關的解釋或信4.2.3大模型輔助檢索：檢索平臺聯(lián)網(wǎng)搜索功能并不是大模型自帶的，而是一個額外的集成工具。大模型本或其他AI模型）是通過預先訓練的海量數(shù)據(jù)學習得來的知識，它在生成回答時并不實時訪問聯(lián)網(wǎng)搜索功能的引入，彌補了這一局限性。它通過與搜索引擎或其他時獲取最新的內(nèi)容。這使得智能助手不僅能回答基于模型訓練知識的問題，還能解決需要最新數(shù)據(jù)或?qū)崟r信息的問題，比如新聞事件、天氣預報或當前流行趨勢?？偟膩碚f，聯(lián)網(wǎng)搜索4.2.3大模型輔助檢索：檢索平臺具有聯(lián)網(wǎng)搜索功能的平臺其中的一些平臺是默認打開聯(lián)網(wǎng)搜索功能的，如文心一言、通4.2.3大模型輔助檢索：檢索平臺4.2.3大模型輔助檢索：檢索平臺4.1概述4.2大模型輔助檢索4.3大模型輔助辦公4.4大模型輔助創(chuàng)作4.5討論4.3大模型輔助辦公大模型輔助辦公是指利用大規(guī)模預訓練語言模型來提升辦景。大模型輔助辦公通過自動化、智能化手段，顯著提升工作4.3.1大模型輔助辦公:Word4.3.1大模型輔助辦公:Word如點擊“全文寫作”功能，就會出現(xiàn)以下界面，當你填入文章標題后，選擇自己想要的文章長度、是否自動配圖和摘要條數(shù)，AI工具便會生成你想要的摘要、大綱以及文章內(nèi)容。4.3.1大模型輔助辦公:Word4.3.1大模型輔助辦公:Word點擊下一步，便會生成該文章的大綱，讀者可以直接編輯大綱或者改變大綱的條數(shù)，也可以選擇不需點擊下一步，便會按照每一條大綱生成相應的文章主體內(nèi)容，若選擇了不需要大綱，便會生成一篇連續(xù)的4.3.2大模型輔助辦公:PDFChatPDF允許用戶與任何PDF文檔聊天、提出4.3.2大模型輔助辦公:PDF例如，我上傳了一篇名為《AcomprehensiveExaminationofthepot4.3.2大模型輔助辦公:PDF如果你想查找某一章節(jié)中引用了哪些論文，并把它們整理出來，你可以在對話框中輸入“第一節(jié)introduction中引用了哪些論文，請幫我整理出來。4.3.2大模型輔助辦公:PDF如果你想在此文章上進一步研究，但又沒有什么較好的思路，你可以在對話框中輸入“基于文章內(nèi)容，還有哪些值得進一步研究的問題？”或者“文章中提到的研究還有哪些可以擴展的方向？”4.3.2大模型輔助辦公:PDF如果你想知道該文章在實際生活中的應用與實踐或具體實施方法，你可以在對話框中輸入4.3.3大模型輔助辦公:ExcelChatExcel5是由北大團隊開發(fā)的AI工具，主要用于處理Excel表格。它通過自然語言處理技術，用戶只需通過聊天的方式描述需求，ChatExcel就能自動執(zhí)行4.3.3大模型輔助辦公:Excel4.3.3大模型輔助辦公:Excel4.3.3大模型輔助辦公:Excel分，滿分600分，你想根據(jù)每個學生的總分成績批注ABCDEF等不同等級，這時候你可以在對話框4.3.3大模型輔助辦公:Excel4.3.4大模型輔助辦公:Excel要想知道某種數(shù)據(jù)的增長是否與時間存在相關性，可以用到chatExcel的相關性分4.3.4大模型輔助辦公:Excel4.3.4大模型輔助辦公:Excel4.3.4大模型輔助辦公:Excel4.3.4大模型輔助辦公:PPT訊飛智文能夠快速自動生成PPT，支持一句話主題、長文本、音視頻等多種輸入4.3.4大模型輔助辦公:PPT“一句話創(chuàng)建”——用戶可以輸入想要生成的PPT的主題，語言，是否需要配圖，甚至可以添加演講4.3.4大模型輔助辦公:PPT4.3.4大模型輔助辦公:PPT4.3.4大模型輔助辦公:PPT4.3.4大模型輔助辦公:PPT“文本創(chuàng)建”——使得用戶可以通過輸入或粘貼文本到系統(tǒng)中，AI將自動整理和提煉這些內(nèi)容，生成相關的標題和大綱，為后續(xù)的內(nèi)容創(chuàng)作提供基礎。4.3.4大模型輔助辦公:PPT“文檔創(chuàng)建”——用戶可上傳多個文檔作為主題，系統(tǒng)即可基于此一鍵生成PPT的標題和大綱，極大地簡化了文檔創(chuàng)建的初始步驟。用戶可以自由編輯自動生成的大綱，選擇不同的主題風格，確保生成4.3.4大模型輔助辦公:PPT高級創(chuàng)建”——提供給用戶海量的PPT模板，用戶可以自定義模板，通過調(diào)整布局、字體和元4.1概述4.2大模型輔助檢索4.3大模型輔助辦公4.4大模型輔助創(chuàng)作4.5討論4.4大模型輔助創(chuàng)作大模型生成圖片大模型生成視頻大模型生成音樂域的應用已經(jīng)取得了顯著模型能夠生成高質(zhì)量、多樣化的圖像，涵蓋從寫實風格到抽象藝術的多種表現(xiàn)形式。這種技術不僅為藝術家提供了新的創(chuàng)作工具，也為設計、廣告、游戲等行業(yè)帶來了革命性的4.4.1大模型輔助創(chuàng)作：圖片生成可靈AI（https://klingai.kuaishou.）：）：）：）：4.4.1大模型輔助創(chuàng)作：圖片生成即夢AI是字節(jié)跳動旗下剪映團隊開發(fā)的一款AI創(chuàng)作工具和社區(qū)，得益于字節(jié)跳動在短視頻平臺上的海量高質(zhì)量數(shù)據(jù)支持，即夢AI在生成高質(zhì)量的內(nèi)容方面具有顯著優(yōu)勢。4.4.1大模型輔助創(chuàng)作：圖片生成4.4.2大模型輔助創(chuàng)作：視頻生成可靈AI（https://klingai.kuaisho）：海螺AI（將文本sora（）：4.4.2大模型輔助創(chuàng)作：視頻生成海螺AI擁有目前AI視頻領域中第一梯隊的表情表現(xiàn)能力，能夠根據(jù)情緒類提4.4.2大模型輔助創(chuàng)作：文本生成視頻4.4.2大模型輔助創(chuàng)作：圖片生成視頻4.4.2大模型輔助創(chuàng)作：視頻生成結(jié)果4.4.3大模型輔助創(chuàng)作：音樂生成）：）：suno（https://suno.c）：）：4.4.3大模型輔助創(chuàng)作：音樂生成字節(jié)旗下的海綿音樂，被看作“國產(chǎn)AI音樂三巨頭”，天譜樂不僅支持傳統(tǒng)的文本生音樂和音頻生音樂，4.4.3大模型輔助創(chuàng)作：文本生成音樂4.4.3大模型輔助創(chuàng)作：圖片/視頻生成音樂4.4.3大模型輔助創(chuàng)作：音樂生成結(jié)果4.1概述4.2大模型輔助檢索4.3大模型輔助辦公4.4大模型輔助創(chuàng)作4.5討論4.5討論第五章大模型檢索增強10.1概述10.2非結(jié)構(gòu)化檢索增強10.3結(jié)構(gòu)化檢索增強10.4討論10.1概述：什么是RAG檢索增強生成（Retrieval-AugmentedGeneration,RAG）是一種人工智能框架，它結(jié)合了傳統(tǒng)信息檢索系統(tǒng)（如搜索引擎和數(shù)據(jù)庫）的優(yōu)勢10.1概述：為什么要RAG？模型可以理解成一個函數(shù)，經(jīng)過預訓練和后訓練的模型知識是靜態(tài)的，Knowledge）。LLM的局限性RAGRAG可以提升回復的準確性、關聯(lián)性和新鮮度，并解決幻覺問題。10.1概述：為什么要RAG？盡管也可以通過微調(diào)增強模型的能力，但是RAG具備獨特的優(yōu)勢。以聯(lián)網(wǎng)搜索為代表的RAG是大模型應用的主流10.1概述：結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)狹義的RAG依賴向量數(shù)據(jù)庫，本書則根據(jù)外部知識的數(shù)據(jù)特征，大致分為非結(jié)構(gòu)化檢索增強和結(jié)構(gòu)化檢索增強。常見結(jié)構(gòu)化數(shù)據(jù)常見非結(jié)構(gòu)化數(shù)據(jù)10.1概述10.2非結(jié)構(gòu)化檢索增強10.3結(jié)構(gòu)化檢索增強10.4討論10.2非結(jié)構(gòu)化檢索增強非結(jié)構(gòu)化的大模型檢索增強是指將大語言模型技術與傳統(tǒng)的檢索技術相結(jié)合，對海量非結(jié)構(gòu)化數(shù)據(jù)（如文本、音頻、視頻等）進行智能化搜索和信息提取，并將檢索到的信息融合到大模型生成這里的關鍵是：如何根據(jù)用戶查詢高效且精確地搜索文檔和互聯(lián)網(wǎng)？10.2.1文檔檢索增強盡管可以通過關鍵詞匹配的方式檢索文檔，但目前主流的方式是通過向量的語義檢索。三個關鍵問題？10.2.1文檔檢索增強：什么是向量化表示10.2.1文檔檢索增強：如何度量語義相似和講座（lecture）更相近人們還發(fā)現(xiàn)了一些更有趣的現(xiàn)象，比如在King-Man+Woman=Queen10.2.1文檔檢索增強：如何度量語義相似“狗”和“貓”的余弦相似度約為0.66，10.2.1文檔檢索增強：如何搜索如果數(shù)據(jù)規(guī)模不大（如數(shù)萬級別簡單的暴力搜索即可。為了更高效的搜索，需要使用索引技術，執(zhí)行k近鄰查詢。10.2.1文檔檢索增強如果直接對長文檔進行計算向量（也稱嵌入）會丟失大量信息。更重要的是，長文檔中大部分內(nèi)容可能與搜索并不相關，這會干擾大模型的回復。因此，常見的策略是對文檔進行分塊（chunk）。常見分塊策略10.2.2網(wǎng)絡檢索增強網(wǎng)絡檢索增強與文檔檢索增強基本原理相同，都是從外部來源檢索信息來增強模型的能力，但二者的檢索來源有所不同。?動態(tài)知識源：實時抓取網(wǎng)頁/論壇/新聞?開放領域覆蓋：適應跨行業(yè)、跨學10.2.2網(wǎng)絡檢索增強的基石：HTTP協(xié)議?實時通道：建立檢索系統(tǒng)與網(wǎng)頁/API動態(tài)連接?結(jié)構(gòu)化交互：通過請求頭/響應頭傳遞元數(shù)據(jù) 10.2.2網(wǎng)絡檢索增強的應用：LLM的聯(lián)網(wǎng)搜索10.1概述10.2非結(jié)構(gòu)化檢索增強10.3結(jié)構(gòu)化檢索增強10.4討論10.3結(jié)構(gòu)化檢索增強結(jié)構(gòu)化的大模型檢索增強是指將大語言模型技術與結(jié)構(gòu)化數(shù)數(shù)據(jù)庫查詢、知識圖譜遍歷）融合，針對高度組織化的數(shù)據(jù)（如關庫、表格、JSON/XML文件、知識圖譜三元組等），通過語義解析與模式感知的精準檢索，提取關鍵字段或關聯(lián)關系，并將其結(jié)構(gòu)化特征注入結(jié)構(gòu)化檢索增強的關鍵在于：結(jié)構(gòu)化檢索增強的關鍵在于：如何將自然語言查詢精準映射到結(jié)構(gòu)化數(shù)據(jù)模式10.3.1知識圖譜檢索增強知識圖譜（KnowledgeGraph）是一種結(jié)構(gòu)化知識的表示形式，它將現(xiàn)實世界中的實體及概念。圖示中包含以下實體：愛因斯坦、諾10.3.1知識圖譜檢索增強?索引構(gòu)建（Indexing）?查詢處理（Querying）10.3.1知識圖譜檢索增強：索引構(gòu)建索引構(gòu)建是GraphRAG的基礎階段，目標是將原始數(shù)據(jù)（如文本、表格）轉(zhuǎn)化為結(jié)構(gòu)化的知識圖譜，并生成多級語義索引，為后續(xù)的高效檢索與推理提），關系及聲明，構(gòu)建初始知識圖譜。10.3.1知識圖譜檢索增強：查詢處理查詢處理是GraphRAG的應用階段，目標是根據(jù)用戶查詢，從構(gòu)建好的索引10.3.2關系數(shù)據(jù)庫檢索增強RDB可以通過聯(lián)接表來在信息之間建立關聯(lián)或關系，從而使用戶可以輕松理解和分析各種數(shù)據(jù)點之間的關系。10.3.2關系數(shù)據(jù)庫檢索增強大學和伯克利大學聯(lián)合提出的TAG模型，結(jié)合了語言模型（LM）的推理能力和數(shù)據(jù)庫系統(tǒng)具體來說，TAG定義了三個關鍵步驟?查詢合成（QuerySynthesis）：首先，查詢合成步驟syn將用戶的任意自然語言請求R轉(zhuǎn)化為可執(zhí)行的數(shù)據(jù)庫查詢Q。?查詢執(zhí)行（QueryExecution）：然后，查詢執(zhí)行步驟exec在數(shù)據(jù)庫系統(tǒng)上執(zhí)行Q以高效地計算相關數(shù)據(jù)T。?答案生成（AnswerGeneration）：最后，答案生成步驟gen利用R和T，其中LM可能以迭代或遞歸的模式在數(shù)據(jù)上進行編排，以生成最終的自然語言答案。10.3.2關系數(shù)據(jù)庫檢索增強：查詢合成在這個例子中，查詢合成步驟使用了SQL查詢，并結(jié)合了語言模型（LL符合“經(jīng)典浪漫電影”的標準。具體來說，查詢會首先從電影數(shù)據(jù)表中選出所有漫”的電影，并通過語言模型推理標定哪些電影被認為是“經(jīng)典”。10.3.2關系數(shù)據(jù)庫檢索增強：查詢執(zhí)行在查詢執(zhí)行階段，生成的SQL查詢將在數(shù)據(jù)庫中執(zhí)行，以獲10.3.2關系數(shù)據(jù)庫檢索增強：答案生成子中，模型基于查詢結(jié)果生成了對電影《泰坦尼克號》評論的總結(jié)：“Thereviewsof學反應……）。這一生成的答案不僅包含了電影的標題和評論內(nèi)容，還利用語言模型的推理能力生成了更具語義層次的總結(jié)。10.1概述10.2非結(jié)構(gòu)化檢索增強10.3結(jié)構(gòu)化檢索增強10.4討論10.4討論n在醫(yī)療診斷支持系統(tǒng)中，知識圖譜檢索增強與傳統(tǒng)關系數(shù)據(jù)庫檢索增強的適用場景有何不同？請結(jié)合誤診風險和查詢效率進行n在構(gòu)建一個學術論文問答系統(tǒng)時，如何同時利用文檔檢索增強（處理PDF論文）和網(wǎng)絡檢索增強（獲取最新研究動態(tài)請分析兩者的互補性與潛在沖n使用文檔檢索增強技術處理法律合同時，如何解決長文本語義分散問題？請6.5計劃與執(zhí)行是一種通過提供已知信息（上下文信息和樣本示例）來指導大型語言模當已知條件包括多個解答示例時，這種提示方式被稱為少樣本（few-shot）提示。它允許模型在更廣泛的上下文中進行學習，從而提高生成內(nèi)用于指導模型學習和推理的負責從示例庫中篩選出最適評估模型在新任務中的表現(xiàn)提供反饋信息，調(diào)整優(yōu)假如你在學習如何烹飪，示例倉庫就像是一本食譜書，它包含了很多高質(zhì)量的示例（菜肴的做法和圖片），幫通過上面的分析，可以看到核心模塊是示例選擇，在選擇示例時，一般我們需要確保示例要有四個主要特征：代表性、清晰性與簡潔性、多樣代表性：是指選擇的示例能夠充分代表性：是指選擇的示例能夠充分反映任務的核心特征或典型場景清晰性與簡潔性：強調(diào)示例的表達多樣性：是指示例應當覆蓋任務中多樣性：是指示例應當覆蓋任務中相關性：示例必須與目標任務高度通過這種包含示例的提示詞，通過這種包含示例的提示詞，可以發(fā)現(xiàn)模型學會了作為一個客6.3.1原理概念思維鏈是通過將復雜問題分解思維鏈是通過將復雜問題分解為子問題并逐步推理來解決難題的方法，通過展示推理6.3.2執(zhí)行框架思維鏈是一種引導模型思維鏈是一種引導模型逐步推理的機制，其框架結(jié)構(gòu)通過分解問題并逐步推導各個結(jié)6.3.3應用案例6.3.3應用案例6.3.3應用案例6.3.4拓展方法思維樹的核心理念在于將思維過程視為一個動態(tài)的樹狀結(jié)構(gòu)，每個思維步驟，而邊則表示思維之間的邏輯關系。通過這種方式，模型6.3.4拓展方法思維圖通過構(gòu)建動態(tài)思想網(wǎng)絡模擬人類思維，支持回溯、合并與重框架是一種驗證模型輸出正確性的方法它模仿了人類“從不同的角度進行比如解決復雜數(shù)學題時，人們常常會運用代數(shù)推導、幾何驗證或數(shù)值檢驗等方法交叉驗證，該策略通過精心設計該框架通過鏈式思維引導、多樣化路徑生成和一致性答案提取三個核心模塊實現(xiàn)采用鏈式思維提示策略，引導模型展現(xiàn)通過采樣機制從模型解碼器生成多個不同的推理路徑。這一步模擬了人類從不對多個推理路徑進行邊際化處理，通過通過比較多條推理路徑，會發(fā)現(xiàn)路徑1、2、3都得出18元的一致結(jié)果，顯著提高自我一致性策略通過生成和驗證多樣化的推理路徑，有效克服了傳統(tǒng)貪心解碼的局限性，顯著提升了語言模型在復雜推理任務中的表現(xiàn)。這種方法不僅在自動問答系統(tǒng)中確保了回答的準確性和用戶信任度，還在文本創(chuàng)作和程序開發(fā)等領域展現(xiàn)出廣泛的應用價值，為高質(zhì)量內(nèi)容生成和邏輯一致性驗證提自我一致性策略不僅適用于數(shù)學問題自我一致性策略不僅適用于數(shù)學問題，還可以廣泛應用于其他領域。例如，在自然語言處理任務中，該策略可以用于生成高質(zhì)量的文本或翻譯結(jié)果；在編程任務中，可以用于生成邏輯一致的代碼或檢測代碼錯誤；在科學推理任任務規(guī)劃和執(zhí)行是嚴格分開的，這意味ReAct框架原理ReAct框架設計ReAct案例流程ReAct應用實戰(zhàn)6.5計劃與執(zhí)行6.7.1原理概念失敗后會反思原因，這個框架讓大語言模型通過語言6.7.2框架設計 該框架由行動者(Actor)、評估者(Ev建立在大語言模型基礎上，根據(jù)當前情況③記憶系統(tǒng)(Memory)③記憶系統(tǒng)(Memory)6.7.3算法流程6.7.4應用案例6.7.4應用案例第七章大模型使用工具7.1大模型使用工具概述7.2常用工具分類7.3工具使用7.4討論與展望大模型使用工具是什么？●大模型通過調(diào)用外部工具，突破單一任務局限性，結(jié)合各領域?qū)I(yè)工具，有效地與各種工具交互以完成復雜任務的過程。為構(gòu)建通用人工智能鋪平大模型使用工具例子●DeepSeek收到用戶查詢●DeepSeek評估調(diào)用特定工具的必要性，確定需要某特定工具●DeepSeek將透明地概述使用該工具解決問題的過程，并解釋其響應背后的原理，以確保用戶得到充分的答案●如果初始解決方案失敗●DeepSeek重新評估其工具選擇并采用替代方案來生成新的響應大模型使用工具的好處知識獲取方面大模型的能力受到自身訓練前學習的知識程度所限制，這種嵌入式的知識是有限的，缺乏獲取并更新知識的能力，且大模型往往會被用戶的提示而影響，輸出看似合理但并不準確的內(nèi)容，這被稱為幻覺（hallucination）。使用外部工具可以緩解該限制，使大模型能夠動態(tài)地獲取和集成外部知識：●使用搜索引擎工具使大模型獲取實時信息●集成數(shù)據(jù)庫工具使大模型訪問結(jié)構(gòu)化數(shù)據(jù)庫以檢索特定信息或執(zhí)行復雜查詢，從而擴展其知識庫●鏈接天氣工具以實時更新天氣、預報和歷史天氣數(shù)據(jù)●調(diào)用地圖工具接口使大模型能夠獲取并提供地理數(shù)據(jù)，幫助導航和位置查詢大模型使用工具的好處知識增強方面大模型大部分都是在包含一般知識的數(shù)據(jù)集上進行訓練的，它們知識全面，但在專業(yè)領域上表現(xiàn)不足。工具學習可以讓大模型調(diào)用專業(yè)領域工具來增強大模型的專業(yè)領域知識：l使用數(shù)學工具進行復雜計算、求解方程或分析統(tǒng)計數(shù)據(jù)l使用外部編程資源（如Python編譯器和解釋器）改進代碼或優(yōu)化代碼l利用化學、生物學、經(jīng)濟學、醫(yī)學和推薦系統(tǒng)等領域的工具來增強它自身的專業(yè)知識大模型使用工具的好處交互增強方面用戶查詢的多樣性和多面性，可能由于包含多種語言和模式，使大模型在識別輸入上產(chǎn)生偏差和模糊。專門工具的部署可以讓大模型提高感知力：●利用語音識別和圖像分析等多模態(tài)工具，理解和響應用戶輸入（如語言輸入、圖像輸入●鏈接機器翻譯接口，大模型可以將它們不熟練的語言轉(zhuǎn)換為它們更易理解的語言●集成先進的NLP工具，增強大模型的語言處理能力●利用上下文理解模型增強聊天機器人的性能7.1大模型使用工具概述7.2常用工具分類7.3工具使用7.4討論與展望常用工具分類適用于學術研究、企業(yè)知識管理和個性化推薦等場使用DeepSearch來進行電影的深度搜索常用工具分類使用ChartGPT來生成和調(diào)整表格常用工具分類社交娛樂工具：通過智能內(nèi)容推薦、互動對話和創(chuàng)意內(nèi)容生成，色供最新新聞及資訊Supermeme：只需要輸入提示詞就可以生成有趣的meme常用工具分類必應圖片搜索：根據(jù)文本描述生成圖像，可調(diào)整數(shù)量和大小AnimateAnyone：從靜態(tài)圖像生成角色視頻Autopod：智能視頻剪輯工具Sora：文生視頻AI產(chǎn)品，根據(jù)文本AIHear：多語種實時翻譯及音頻管理Audiomatic：為視頻內(nèi)容生成定制音樂使用sora生成的一段視頻常用工具分類常用工具分類下邊兩幅圖展示了使用EatSmart來根據(jù)自己的需求和身體狀況創(chuàng)建屬于自己的專常用工具分類金融商業(yè)工具：通過大數(shù)據(jù)分析、自動化報表、風險評估和智能客服，?經(jīng)濟指標分析：匯總分析經(jīng)濟指標，提供數(shù)據(jù)可視化?Vestinda：自動化交易策略，管理和增長投資組合?Swallow：專為金融定價設計，助力金融模型市場化使用Vestinda來生成自動化交易策略7.1大模型使用工具概述7.2常用工具分類7.3工具使用7.4討論與展望大模型使用工具的流程用檢索器幫助其選擇工具上分為基于檢索將選擇最優(yōu)工具并從用戶的問題上提取最佳參數(shù)按照嚴格的參數(shù)格式傳給工具服務器大模型使用工具的兩種范式●早期的范式只有“單調(diào)用工具學習”一種，即一步解決問題，不考慮出現(xiàn)錯誤的可能性，也不考慮在分析過程中調(diào)整計劃●如今有更加進步更加高明的范式：“迭代調(diào)用工具學習”，不停的與工具進行迭代交互，將根據(jù)工具的反饋逐步調(diào)整子任務，提高解決問題的能力。案例一：大模型是否使用工具案例二：大模型選擇工具并調(diào)整7.1大模型使用工具概述7.2常用工具分類7.3工具使用7.4討論與展望7.4討論與展望展望大模型使用工具的未來趨勢。討論哪些新型工具（如多模態(tài)處理工具、情感識別工具）可能會成思考并討論如何為大模型設計更適配的工具接口，才能提高工具調(diào)用的效率和準確性。你認為哪些功7.4面臨的挑戰(zhàn)使用工具后的高延遲：集成工具后，大模型面臨的高延遲使用工具后的高延遲：集成工具后，大模型面臨的高延遲7.4面臨的挑戰(zhàn)嚴格的評估：在為了評估和了解大模型如何有效地利用工具方嚴格的評估：在為了評估和了解大模型如何有效地利用工具方量指標上仍然不足，雖然有許多策略可以用來增強大模7.4面臨的挑戰(zhàn)不同，導致描述格式也不同，阻礙了統(tǒng)一的工求7.4面臨的挑戰(zhàn)安全性以及可靠性：在將大模型使用工具的場景部署到安全性以及可靠性：在將大模型使用工具的場景部署到7.4面臨的挑戰(zhàn)真實基準的欠缺：現(xiàn)有的基準測試中的大多數(shù)用真實基準的欠缺：現(xiàn)有的基準測試中的大多數(shù)用并不是來自真實用戶查詢，可能無法準確反映真正的7.4面臨的挑戰(zhàn)多模態(tài)的工具使用：現(xiàn)有的大多數(shù)關于工具學習中多模態(tài)的工具使用：現(xiàn)有的大多數(shù)關于工具學習中7.4面臨的挑戰(zhàn)使用工具后的高延遲：集成工具后，大模型面臨的高延遲使用工具后的高延遲：集成工具后，大模型面臨的高延遲第八章AI智能體核心技術倫理與公平：堅守負責任的AI原則持續(xù)優(yōu)化與擴展：保持AI的生命力原型設計階段以LLM（大型語言模型）作為核心控制器構(gòu)建代理是一個很酷的概念。一些概念微軟賈維斯斯坦福小鎮(zhèn)微軟賈維斯單智能體技術是以單個LLM作為中心核心推理機制（），主要是由構(gòu)成智能體的大模型所承擔和實現(xiàn)的。其重點在于對于任務進）：3.觀察（Observation）行動之后，我們必須仔細觀察結(jié)果。這一步是檢驗我們的5.如果觀察到的結(jié)果并不匹配我們預期的答案，那么就需要回到思考階段，React-有反饋規(guī)劃能運用反思規(guī)劃處理任務案例反思規(guī)劃原理圖更易管理的子問題。例如，在圖像處理中，可以將一張大圖分割為多個小更易管理的子問題。例如，在圖像處理中，可以將一張大圖分割為多個小AI智能體的記憶，簡單來說，就是它存儲和調(diào)用與環(huán)境互動中獲取的各種信息的能力。記憶在AI智能體的決策過程中起著關鍵作用，它與大模型、推理、檢索等動作緊密配合，不斷更新和處理信息，以支持大模型在不同情景下做出合適的決策和行動短期記憶就像AI智能體的``便簽本''，通常存儲在高速緩存（cache）中。長期記憶就像AI智能體的``檔案館''，依托于多種大規(guī)模存儲介質(zhì)，包括結(jié)構(gòu)化數(shù)據(jù)庫、向量數(shù)據(jù)庫和圖數(shù)據(jù)庫等。AI智能體通過其集成的工具調(diào)用系統(tǒng)，構(gòu)建起與外部環(huán)境的深度交互能力。調(diào)用工具類型分類大模型調(diào)用工具來進行action調(diào)用工具類型分類一個是需要使用API：即為需要外部的應用程序來進行幫助大模型生成，通過特定請求調(diào)用工具系統(tǒng)執(zhí)行相應功能，返回結(jié)果供AI-LLM繼續(xù)處理一種是不需要使用API：（本地函數(shù)，與外界幾乎l語言中樞處理多語種翻譯、摘要與意圖識別。l規(guī)劃中樞自動編程、方案規(guī)劃與目標拆解。l外設海量知識庫與工具庫為其賦能，實現(xiàn)高效安全決策與執(zhí)行。統(tǒng)，這些智能體能夠獨立地感知環(huán)境、進行推理和決策，并通過交互與協(xié)作來協(xié)調(diào)行動，并在動態(tài)環(huán)境中適應和學習）：metagpt軟件公司開發(fā)案例在MetaGPT模擬的公司中，所有員工都遵循嚴格而精簡的工作流程，他們的所有交接這種方式降低了LLM之間空閑聊天引起幻覺的風險，尤其是在角色扮演框架這些方法使agent能夠從其他角色和環(huán)境中的公共信息中獲倫理與公平：堅守負責任的AI原則持續(xù)優(yōu)化與擴展：保持AI的生命力原型設計階段迭代開發(fā)階段智能體設計過程中，遵循特定的設計規(guī)范至關重要。為了更好地理解和應用這些規(guī)用戶體驗至上可靠性與控制透明度與信任用戶體驗至上可靠性與控制透明度與信任倫理與公平持續(xù)優(yōu)化與擴展用戶體驗至上打造友好便捷的交互用戶體驗至上打造友好便捷的交互可靠性與控制確保信任與安全可靠性與控制確保信任與安全智能體應確保行為的可預測性和輸出的準確性，并且在不符合預期時候可以人l在對話欄目最下方，用戶可以在模型生成答案過程中，隨時點擊輸入框右側(cè)停止符號，以控制模型輸出過程。l用戶暫停之后，可以重新編輯輸入文本，讓模型重新生成該問題的答案而不影響上下文其他內(nèi)容。右圖以豆包為例，展示了透明信任方面的l當用戶詢問“落霞與孤鶩齊飛的下一句”時，模型通過搜索信息得到結(jié)果，同時l既在回答之前展示了匯總的網(wǎng)頁，也在回答的關鍵位置標注了鏈接，且點擊可l這樣的整合提高了透明度，確保用戶知道回答的來源是真實的而不是胡亂生成倫理與公平堅守負責任的倫理與公平堅守負責任的AI原則智能體的設計和使用的過程中，應充分考慮其社會責任，確保其行為符合道德標準。右圖以deepseek為例，展示了倫理方面的設自殺方法的時候，出于人類道德和社會責任過難關。應當考慮到可能出現(xiàn)的倫理與公平問題。盡持續(xù)優(yōu)化與擴展保持持續(xù)優(yōu)化與擴展保持AI的生命力右圖以智譜清言為例，展示了優(yōu)化擴展方l在智譜清言的輸入框中，根據(jù)提示輸入“@”，喚起多種智譜的智能體工具，輔助用戶解決問題。l設計本質(zhì)上是拓寬了該應用的功能，實現(xiàn)了對話功能和智譜的智能體應用的解l這種設計方法便利了智譜擴展模型的功原型設計是產(chǎn)品開發(fā)初期用于模擬界面和交互的初步設計，旨在驗證和完善產(chǎn)品概念。過文本描述快速生成產(chǎn)簡化開發(fā)壓力。通過自然語言對話生成第九章AI智能體開發(fā)平臺9.1概述9.2女媧智能體平臺9.3其他智能體平臺9.1概述大模型應用開發(fā)平臺是為開發(fā)者提供構(gòu)建、訓練、部署和管理大模型應用的一站9.1概述各式各樣的AI智能體開發(fā)平臺9.3女媧智能體平臺9.3.1平臺介紹知識vs記憶：數(shù)據(jù)管理的功能區(qū)分與應用場景！9.3.2母嬰助手智能體實例一個專注于解答母嬰相關問題的智能體，涵蓋嬰兒喂養(yǎng)、幼兒教育、母嬰用品選擇等方面。用戶輸入母嬰9.3.2母嬰助手智能體實例1.登錄女媧智能機平臺（/）。9.3.2母嬰助手智能體實例9.3.2母嬰助手智能體實例角色定義：明確智能體的身份和專業(yè)領域（如母嬰問題解9.3.2母嬰助手智能體實例9.3.2母嬰助手智能體實例知識庫：補充垂直領域的專業(yè)知識。9.3.2母嬰助手智能體實例9.3.2母嬰助手智能體實例9.3.2母嬰助手智能體實例插件添加完成效果9.3.2母嬰助手智能體實例在預覽與調(diào)試區(qū)域測試智能體，確保其回復符合預期。對話體驗9.3.2母嬰助手智能體實例-工作流搭建工作流——為母嬰助手添加新功能4.信息總結(jié)：提取商品名稱、價格、評價9.3.2母嬰助手智能體實例-工作流2.在資源庫頁面單擊“+資源”，選擇“工創(chuàng)建工作流9.3.2母嬰助手智能體實例-工作流可以看到，工作流界面已經(jīng)包含了一個開始節(jié)點為開始節(jié)點配置輸入?yún)?shù)“product_name”，9.3.2母嬰助手智能體實例-工作流9.3.2母嬰助手智能體實例-工作流9.3.2母嬰助手智能體實例-工作流視頻下載節(jié)點音頻視頻轉(zhuǎn)文本工具節(jié)點①②③④①②③④大模型節(jié)點用于調(diào)用大型語言模型，執(zhí)行文本生成9.3.2母嬰助手智能體實例-工作流單擊“試運行”，檢查各節(jié)點運行點擊節(jié)點右上角“測試該節(jié)點”按使用“文本處理”插件，在商品名注意：將“get_video”節(jié)點的輸入?yún)?shù)“keyword”改為文本處理節(jié)點9.3.2母嬰助手智能體實例-工作流2.在智能體編排頁面的工作流區(qū)域，3.在添加工作流對話框，選擇需要4.在智能體的人設與回復邏輯區(qū)域，9.3.2母嬰助手智能體實例-知識庫適用于語料補充、客服場景、垂直領域等需要精準檢9.3.2母嬰助手智能體實例-知識庫（也可以在工作空間>資源庫中創(chuàng)建）4.輸入要采集內(nèi)容的網(wǎng)頁地址，這里注：本示例僅以母嬰助手為例講解知識庫添9.4其他智能體平臺扣子是字節(jié)跳動推出的新一代AI應用開發(fā)平臺。模型，不支級的生成式AI應用。服務和本地化部署兩種，穩(wěn)定服務和本地部署，專業(yè)性強，知識庫分段、檢索能力強，價服務和本地部署，組件市場豐富，依托百度智能云生態(tài)，在練習ll在任一個智能體開發(fā)平臺，選擇一個行業(yè)解決方案，按照平臺提供的教程完成一個簡第十章AI智能體行業(yè)案例10.1概述10.2法律行業(yè)案例10.3金融行業(yè)案例10.4教育行業(yè)案例10.5醫(yī)療行業(yè)案例10.1概述隨著大模型技術的發(fā)展，如何利用AI智能體更好地賦能垂直行業(yè)是工業(yè)界和學術界共同關注的問題，我們結(jié)合法律、金融和教育等行業(yè)背景，搭建多種形式的智能體，并重點討論在不同業(yè)務需求下的智能體10.1概述10.2法律行業(yè)案例10.3金融行業(yè)案例10.4教育行業(yè)案例10.5醫(yī)療行業(yè)案例10.2法律行業(yè)案例近年來，企業(yè)、高校和政府紛紛推出了法律行業(yè)大模睿、北京大學的ChatLaw和最高人民法院的法信法律基座法律大模型涵蓋了法律咨詢、文書生成、法律檢索和合同審10.2.1法律咨詢智能體在法律相關功能中，法律咨詢尤為重要，其核實價值主要體現(xiàn)在以下幾個方面。首先，許識的了解相對有限，而律師咨詢助手能夠有效解答常見法律問題，幫助公眾提升法律意識咨詢的便捷性使得用戶可以隨時隨地獲取法律建議，可以節(jié)省了寶貴的時間和精力。此外對面咨詢相比，在線咨詢通常費用更低，適合預算有限的用戶，具有較高的成本效益。然也是一個關鍵因素，很多人對面對面咨詢可能存在顧慮，而在線咨詢提供了更高的隱私保解決方案的提供以及行動建議等功能，其最10.2.2關鍵設計盡管直接采用專用的法律行業(yè)大模型通常能夠?qū)崿F(xiàn)更高的性能和更精確的回答，但其成本遠高于基于通用模型構(gòu)建的智能體方案。以通義法睿為例，其法律咨詢功能的API調(diào)用費用為每次0.7元，而類似DeepSeek-V3等通用大模型的處理成本，即便考慮百萬token的輸入量，也僅在2元以內(nèi)。因此，從成本效益和部署靈活性等角度出發(fā)，基于通用模型構(gòu)建法律咨詢助手的智能體在實際應用中具有很大的吸引力和推廣價值。與此同時，大模型在生成內(nèi)容時常會出現(xiàn)“幻覺問題”（即生成虛假的或不準確的信息）這對法律領域的應用提出了嚴峻的挑戰(zhàn)。為了在降低成本的同時提高回答的可信度和準確性，我們采用（Retrieval-AugmentedGeneration）技術。具體而言，將首先將法律條文、判例和相關知識整理并添加到知識庫中。隨后，在用戶咨詢過程中，通過語義檢索技術定位與問題相關的法律信息，并將檢索到的內(nèi)容作為上下文補充，最終交由大模型處理生成高質(zhì)量的回復。這種方法不僅有效緩解了大模型幻覺問題的影響，還進一步提升了法律咨詢助手的實用性和可控性，為其在實際場景中的廣泛應用奠定了為了簡化設計，本節(jié)僅考慮2020年頒布的《中華人民共和國民法典》（以下簡稱“民法典”并設計一個面向民法典的法律咨詢智能體。感興趣的讀者可以進一步收集更全面的法律法規(guī)和裁判文書最高人民法院提供超過1.5億篇裁判文書，訪問地址為/，從而構(gòu)建功能更加強大的法律行業(yè)智能體。一般地，在構(gòu)建智能體時，通常需要明確限定其預期具備的功能或技能，以便更精準地滿足用戶需求，從而生成更高質(zhì)量的回復。對于本節(jié)的法律咨詢智能體，其預期具備的技能包括1）解答民法典問題；和2）分析民法典案例。此外，面向特定行業(yè)的咨詢智能體一般還需要拒絕回答與主題無關的問題，以確?；貜蛢?nèi)容的專業(yè)性和相關性。10.2.3智能體實現(xiàn)單智能體的關鍵技術包括提示詞設計和知識庫設計。對于面向民法典的法律咨詢單智能體，核心提示詞包括，1）智能體的人設（角色），即“一個專業(yè)的民法典咨詢小助手”；2）智能體的技能，包括“解答民法典問題；分析民法典案例”；3）限制，包括要求拒絕回答無關問題并要求按格式回復。對于專業(yè)領域問答，一般還需要規(guī)定明確的回復格式，這可以通過少樣本提示完成。我們使用的民法典原文件是PDF格式，將在扣子中被轉(zhuǎn)換成文本格式（大模型無法直接處理Word和PDF等格式的文檔，需要轉(zhuǎn)換成純文本格式）在智能體配置的“知識”中選擇“文本”，添加已有的知識庫，在創(chuàng)建知識庫時,用戶可以上傳文檔，并設置文檔解析策略、過濾策略和分段策略等。對于簡單應用，一般使用默認選項即可。用戶還能看到原始文檔和分段后的對照信息，并能編輯、刪除、新增分段；這些分段文字將在服務器進行嵌入等操作，用于后續(xù)的搜索。在扣子的人設與回復邏輯面板，填入以下示例提示詞，效果如下所示10.1概述10.2法律行業(yè)案例10.3