分布式推理網(wǎng)絡(luò)(DIN)技術(shù)白皮書(2025 年)_第1頁
分布式推理網(wǎng)絡(luò)(DIN)技術(shù)白皮書(2025 年)_第2頁
分布式推理網(wǎng)絡(luò)(DIN)技術(shù)白皮書(2025 年)_第3頁
分布式推理網(wǎng)絡(luò)(DIN)技術(shù)白皮書(2025 年)_第4頁
分布式推理網(wǎng)絡(luò)(DIN)技術(shù)白皮書(2025 年)_第5頁
已閱讀5頁,還剩29頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

4 2 5 5 5 6 8 8 8 9 11 13 51.業(yè)務(wù)發(fā)展趨勢與挑戰(zhàn)1.1AI大模型發(fā)展趨勢趨勢一:AI普及速度顯著加快,推理成本迅速降低,用戶從訪問內(nèi)容向訪增長速度刷新了行業(yè)紀(jì)錄。據(jù)不完全統(tǒng)計,國內(nèi)外已有50+企業(yè)宣布接入能體系統(tǒng),如Manus發(fā)布多AIAgent協(xié)作效果視頻,OpenAI推出的Operator智能1.2AI時代網(wǎng)絡(luò)流量變化出SRv6等網(wǎng)絡(luò)技術(shù)。隨著AI推理時代的到來,大量應(yīng)用、IoT設(shè)備以及未來AI智能體等交互式訪問AI推理服務(wù),以及AI模型分發(fā)模式的變化、AI訓(xùn)推一體化等技6個具有自主決策和交互能力的Agent組成,他們之間需要進(jìn)行頻繁的通信和協(xié)作換數(shù)據(jù),游戲場景中更強(qiáng)的AINPC智能體通過Multi-Agent架構(gòu)實現(xiàn)動態(tài)交互。令時,AI智能體首先需要通過通信網(wǎng)絡(luò)獲取用戶位置、偏好等信息,然后調(diào)用商的Agent系統(tǒng)交互來完成預(yù)訂操作。在這一系列過程中,如果時延過高,用戶1.3AI普惠時代面臨的挑戰(zhàn)務(wù)器資源迅速耗盡,DeepSeek多次出現(xiàn)網(wǎng)頁和API無法訪問的情況,用戶使用時7的國家。全國移動電話用戶、寬帶接入用戶以及移動物聯(lián)網(wǎng)用戶數(shù)分別為17.9斷等風(fēng)險。尤其是在DDoS攻擊頻發(fā)的情82.推理業(yè)務(wù)服務(wù)模式及網(wǎng)絡(luò)需求同一體實現(xiàn)AI推理的低時延、高精度以及泛在接入服務(wù),對網(wǎng)絡(luò)能力提出了前2.1ToB推理服務(wù)2.1.1算網(wǎng)一體安全推理服務(wù)考慮到設(shè)備和運(yùn)維成本、計算資源共享、數(shù)據(jù)集中管控等因素,在部門/企業(yè)總部部署推理一體機(jī)/服務(wù)器,分支機(jī)構(gòu)可通過互聯(lián)網(wǎng)、專線等方式安全訪問產(chǎn)品,可通過基于SRv6和IPSec協(xié)議的隧道安全加密技術(shù),快速構(gòu)建數(shù)據(jù)安全92.1.2邊云協(xié)同后訓(xùn)練可通過以租代買,租用部分云端算力,與本地算力跨廣域協(xié)同完成模型后訓(xùn)練(PostTraining)微調(diào)。同時,為保證企業(yè)私有數(shù)據(jù)安全,可將模型的前幾層和以Qwen72B微調(diào)為例,純本地部署需建切片、PHYSec等核心技術(shù),打造超大帶寬、超低時延、丟包率達(dá)10-9的高安全2.1.3模型分層協(xié)同高質(zhì)量推理模型(如Deepseek、Qwen-2.5系列等)促進(jìn)企業(yè)推理業(yè)務(wù)的迅速增長,為企業(yè)帶來了本地自建算力集群物理擴(kuò)容難題1)頻繁擴(kuò)容,硬裝例如將所有Prefill模型以及Decode模型的前幾層與最后幾層部署在邊緣,將2.2ToC/ToH協(xié)同推理服務(wù)2.2.1大小模型協(xié)同2.2.2訓(xùn)推協(xié)同進(jìn)化據(jù)(從案例到token粒度),并上傳云端;云端則基于不確定性數(shù)據(jù),采用基于適通過擴(kuò)展存儲用于保存KVCache數(shù)據(jù),存儲單用戶的對話上下文信息和跨用戶3.分布式推理網(wǎng)絡(luò)(DIN)架構(gòu)及設(shè)計目標(biāo)隨著AI普惠時代的到來,個人、家庭、企業(yè)用戶與智能之間的連接會越來DIN(DistributedInfe1、可擴(kuò)展架構(gòu):推理業(yè)務(wù)爆發(fā)驅(qū)動網(wǎng)絡(luò)流量快速增長,加速網(wǎng)絡(luò)向邊緣進(jìn)4.分布式推理網(wǎng)絡(luò)(DIN)關(guān)鍵技術(shù)4.1節(jié)點間互聯(lián)質(zhì)量保障技術(shù)4.1.1微流級流控技術(shù)關(guān)鍵數(shù)據(jù)需要在云邊之間高效傳輸,AI訓(xùn)推的性能邊界與網(wǎng)絡(luò)丟包率存在強(qiáng)耦后續(xù)中國移動將進(jìn)一步結(jié)合AI預(yù)測流量模型等技術(shù),在主動擁塞避免等方4.1.2層次化細(xì)粒度切片技術(shù)網(wǎng)絡(luò)切片、隨流檢測技術(shù),構(gòu)建端到端確定性質(zhì)量保障體系,實現(xiàn)差異化業(yè)務(wù)SLA(時延、抖動、帶寬、丟包率等)的邊緣推理接入設(shè)備對應(yīng)用進(jìn)行識別后,將業(yè)務(wù)流引入不同G-SRv6切片網(wǎng)絡(luò)中,通過G-SRv6提供高效可編程路徑結(jié)合層次化細(xì)粒度切片實現(xiàn)物理資源硬隔離,制器基于采集數(shù)據(jù)可構(gòu)建全網(wǎng)質(zhì)量指標(biāo)地圖,當(dāng)檢測到SLA偏差時,觸發(fā)SRv6路徑重優(yōu)化(如切換至低擁塞的Underlay路徑)。4.1.3推理業(yè)務(wù)識別技術(shù)端側(cè)設(shè)備根據(jù)推理訴求攜帶標(biāo)識,可通過ARN(ApplicationResponsive資源。利用IPv6報文自帶的可編程空間,將應(yīng)用標(biāo)識信息攜帶進(jìn)入網(wǎng)絡(luò),網(wǎng)絡(luò)端側(cè)設(shè)備不具備ARN標(biāo)記能力時,需要網(wǎng)絡(luò)側(cè)具備AI推理應(yīng)用識別能力,為其封裝ARN標(biāo)識并提供對應(yīng)等級服務(wù)。網(wǎng)絡(luò)側(cè)面向不同模型推理類型(歸納4.2推理服務(wù)的調(diào)度技術(shù)發(fā)出推理業(yè)務(wù)的訪問請求到DNS,DNS域名解析先解析到DIN調(diào)度器,DIN調(diào)度對算力資源/服務(wù)的部署位置、實時狀態(tài)、負(fù)載信息的感知,以及對推理業(yè)務(wù)需4.3模型推理安全防護(hù)技術(shù)協(xié)同后訓(xùn)練(PostTraining)、PD分離協(xié)同等推理服務(wù)均存在長距鏈路傳遞等限制。相干以太網(wǎng)相干PHYSec技術(shù)適用于以太網(wǎng)長距相干鏈路,將現(xiàn)有密碼全鏈路防護(hù)能力。其基于原生PAD域承載安全協(xié)議不引入加密開銷,不影響鏈以太網(wǎng)相干PHYSec技術(shù)架構(gòu)如圖所示,創(chuàng)新提出新架構(gòu)、新算法、新協(xié)議機(jī)制PAD區(qū)域攜帶安全協(xié)議,無額外開銷。其核心技術(shù)流程為:發(fā)送端的用戶業(yè)務(wù)數(shù)據(jù)經(jīng)物理層處理還原為257B碼塊,對比特流進(jìn)行GMP映射,插入4.3.2拒絕服務(wù)流量防護(hù)并維護(hù)每IP粒度的業(yè)務(wù)流量模型,協(xié)同監(jiān)控異常的流速突升、報文成分或報文到Tbps量級,而清洗帶寬的增加依賴多方面投入,難以匹配攻擊帶寬的爆炸增4.3.3基礎(chǔ)設(shè)施輕量化APT監(jiān)測能力人工智能大模型已經(jīng)滲透到各行各業(yè)中,DeepSeek在應(yīng)用中遭受的攻擊促5.總結(jié)與展望問內(nèi)容向訪問AI模型轉(zhuǎn)變,二是AIAgent無處不在,A增長。與之相對應(yīng),AI時代網(wǎng)絡(luò)流量特征的變化,以及億級海量用戶并發(fā)以及目標(biāo),中國移動提出新型分布式推理網(wǎng)絡(luò)DIN,融合了運(yùn)營商網(wǎng)絡(luò)協(xié)議可編程、全推理、邊云協(xié)同后訓(xùn)練、模型分層協(xié)同、

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論