網(wǎng)絡(luò)級DMA（NDMA）技術(shù)需求白皮書 2023

11版權(quán)聲明ODCC（開放數(shù)據(jù)中心委員會）發(fā)布的各項成果，受《著作權(quán)法》保護，轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應注明對于未經(jīng)著作權(quán)人書面同意而實施的剽竊、復制、修改、銷售、改編、匯編和翻譯出版等侵權(quán)行為，ODCC及有關(guān)單位將追究其法律責任，感謝各單位I編寫組全新的社會生產(chǎn)力，對整個經(jīng)濟社會發(fā)揮著而業(yè)界主流的實現(xiàn)是使用點對點傳輸，如RDM I II III 1 2 4 4 5 6 6 7 8 11 14 14 15 15 16 18 20 20V 22 26 26 27 28網(wǎng)絡(luò)級DMA技術(shù)需求白皮書一、高性能分布式系統(tǒng)承載大規(guī)模算力需求（一）全球算力高速增長全球算力的高速增長是當今數(shù)字時代的一個顯著特征。從最初的單機計算到現(xiàn)在的云計算、分布式計算等技術(shù)，全球算力已經(jīng)達到了驚人的規(guī)模。算力已不僅是一個技術(shù)維度的概念，更成為了一種全新的社會生產(chǎn)力，對整個經(jīng)濟社會發(fā)揮著越來越重要的作用。個國家一個地區(qū)發(fā)達程度的重要指標。高算力國家，包括美國、新未來，隨著全球智能化進程的加速，人工智能、云計算、大數(shù)全球算力每年以驚人的速度增長，預計到2030年，全球算力規(guī)模達1平均年增速達27%；智能算力達到52.5ZFlops，平均年增速超過（二）分布式系統(tǒng)承載大規(guī)模高復雜度算力任務(wù)算力需求的高速增長，使得算力任務(wù)的規(guī)模越來越大，復雜度在年增長速度最快的人工智能領(lǐng)域，隨著ChatGPT的誕生，AI大模型再次受到業(yè)界的關(guān)注。AI大模型是指由大量參數(shù)組成的深度學習模型，通常包含數(shù)百萬到數(shù)十億個參數(shù)。這些模型可以通過大自然語言處理等。AI大模型的規(guī)模逐年快速增長，如圖2所示。型參數(shù)量大約超過100萬億個。AI大模型由于其復雜性和規(guī)模，需2超算算力年增長速度僅次于人工智能。超算系統(tǒng)通常由數(shù)以萬數(shù)據(jù)分析和模擬等任務(wù)，廣泛應用于科學研究、工程設(shè)計、天氣預報、金融分析等領(lǐng)域。圖3是世界最強超算算力TOP500給出的自1990年起超算算力的進步趨勢，并進行了線性回歸。圖中的三條線分別是上榜超算的總算力，榜單冠軍的算力以及榜單第500名超算的算力?？梢钥吹剑闼懔缀醢凑漳柖稍谔嵘?，從G級到不管是人工智能還是超算，其算力任務(wù)都呈現(xiàn)出規(guī)模擴大、復雜度提升的趨勢，遠超單個計算機或服務(wù)器的處理能力。因此，需要高性能分布式系統(tǒng)，通過網(wǎng)絡(luò)連接提供海量計算、存儲資源，從而承載大規(guī)模算力任務(wù)，突破單機算力和存儲的限制，提供高并發(fā)3（三）通信效率影響分布式系統(tǒng)性能系統(tǒng)的加速比體現(xiàn)了分布式系統(tǒng)的性能。根據(jù)阿姆達爾定律，可以計算出系統(tǒng)的加速比。阿姆達爾定律是一個計算機科學界的經(jīng)驗法則，它代表了處理器并行運算之后效率提升的能力，其計算公式表述如下。其中，S為系統(tǒng)加速比，p為并行度占比，s為并行節(jié)點數(shù)。增加并行節(jié)點數(shù)，可以提升系統(tǒng)加速比，而當s→∞時，并簡化的形式展現(xiàn)了了計算任務(wù)執(zhí)行的基本過程。圖中，藍色部分是節(jié)點并行計算的過程，當并行階段結(jié)束后，進入串行通信的過程，即并行階段的輸出發(fā)送到其他節(jié)點作為下一并行階段的輸入，只有當通信完成，各節(jié)點獲得相應輸入后，才能將計算任務(wù)向前推進，二、分布式系統(tǒng)以多對多集合通信為主4（一）什么是集合通信及其原語集合通信是一種通信方式，它將多個通信對象（如進程、線程等）組合在一起，以實現(xiàn)一次調(diào)用實現(xiàn)向多個對象發(fā)送數(shù)據(jù)，或從多個對象接收數(shù)據(jù)。集合通信常用于分布式系統(tǒng)并行計算中，協(xié)助常見的集合通信可以進一步抽象為廣播、散布、聚集等操作。其中，廣播操作將數(shù)據(jù)發(fā)送給所有通信對象；散布操作將數(shù)據(jù)分散給多個通信對象；聚集操作將多個通信對象的數(shù)據(jù)合并到一個對象MPI是常見的用于并行計算的通信框架，它定義了多種集合通信原語，AI場景中經(jīng)常使用的AllReduce就是一種MPI通信原語，如圖5所示，經(jīng)過AllReduce操作后，原先各節(jié)點上A、B、C、D的子集被進行了聚合或歸一化，最終各節(jié)點均獲取到A、B、C、D5（二）分布式系統(tǒng)中集合通信的調(diào)用應用通過調(diào)用集合通信，在進程或線程間完成數(shù)據(jù)交互，從而向前推進分布式系統(tǒng)任務(wù)。除了點對點的通信外，很大一部分的交Chunduri,ScottParker,PavanBalaji,KevinHarmsandKalyan），因此，提升多對多集合通信的傳輸效率對分布式系統(tǒng)性能的整三、大規(guī)模集合通信面臨性能挑戰(zhàn)6（一）集合通信實現(xiàn)現(xiàn)狀應用調(diào)用集合通信原語后，網(wǎng)絡(luò)完成數(shù)據(jù)的傳輸，實現(xiàn)集合通信操作。應用不感知網(wǎng)絡(luò)的動作行為，集合通信原語可以有多種實現(xiàn)方式。由于目前常用的傳輸層協(xié)議僅支持點到點傳輸，對于多對多的通信，通常都是在網(wǎng)絡(luò)上轉(zhuǎn)換成點到點通信，即應用一次集合如圖7所示。這種方式可以應用于AIParameterServer結(jié)果分發(fā)，存儲系統(tǒng)多副本寫等。源節(jié)點將同一份消息依次發(fā)送給多個目的節(jié)點，實質(zhì)上是一種帶寬資源的浪費，易形成帶寬瓶頸鏈路。另一種為中這種方式雖然減少了帶寬瓶頸，但每個中間節(jié)點在進行轉(zhuǎn)發(fā)時，都需要網(wǎng)絡(luò)層與應用層交互，引入額外CPU處理帶來的延遲開銷。這兩種方式下，都會引入了與通信規(guī)模線性相關(guān)的額外開銷，且無法7為了提升集合通信的傳輸效率，業(yè)界不斷探索著新的優(yōu)化，主（二）高性能傳輸協(xié)議的發(fā)展及其挑戰(zhàn)傳輸協(xié)議的發(fā)展集中在端側(cè)創(chuàng)新，通過高性能端到端的傳輸來優(yōu)化點到點通信，中間網(wǎng)絡(luò)無感知。RDMA就是最具有代表性的高RDMA（RemoteDirectMemoryAccess）允許在不經(jīng)過CPU的情況下，直接在主機內(nèi)存之間傳輸數(shù)據(jù)。傳統(tǒng)的網(wǎng)絡(luò)通信方式需要這些操作會占用大量的CPU資源，導致網(wǎng)絡(luò)傳輸速度變慢。而RDMA將數(shù)據(jù)從發(fā)送端的內(nèi)存直接傳輸?shù)浇邮斩说膬?nèi)存，通過0拷貝（不需要用戶空間和內(nèi)核空間中來回復制數(shù)據(jù)）、內(nèi)核Bypass（數(shù)據(jù)流程繞過內(nèi)核），和CPU卸載（在CPU不參與通信的情況），8RDMA最主要的傳輸模式是RC（ReliableConnection），即可靠連接，是一種點到點的傳輸方式。如圖10所示，RDMARC模式下，收發(fā)兩端創(chuàng)建QP（QueuePair），并建立QP之間一對一的連接關(guān)系，之后在建立好的連接上順序發(fā)送消息，由PSN（Packet但這種模式存在擴展性問題。由于每對通信進程間都需要建立QP連接，若有N個節(jié)點，每個節(jié)點P個進程，所有進程間Full-在通信過程中，QP的上下文在協(xié)議棧處理過程中也會被頻繁訪問修改。當規(guī)模擴大時，系統(tǒng)對QP狀態(tài)維護開銷增大，且網(wǎng)卡需要與主機內(nèi)存交互讀取相應QP上下文，加劇傳輸性能下降。有測試表9明，商用網(wǎng)卡在QP數(shù)量超過256時，吞吐即會出現(xiàn)明顯的下降，ScalableArchitectureforRDMANICs[J].除了擴展性問題，RDMARC模式還存在長尾延遲問題。同一個QP內(nèi)的消息必須按照請求下發(fā)的順序依次按序傳輸。如果發(fā)送端先后下發(fā)了兩個傳輸請求，分別對應著1GB的消息和1KB的消息，則1KB消息必須等待1GB消息傳輸完成后才能被傳輸，使得網(wǎng)絡(luò)上走相同的傳輸路徑，所以極易在網(wǎng)絡(luò)上產(chǎn)生流量不均，尤其盡管RDMA還定義了另外兩種模式，分別是UD（UnreliableDatagram）和RD（ReliableDatagram），但UD模式?jīng)]有可靠性保因此，為了改善RDMA規(guī)模擴展性和傳輸長尾延遲的問題，業(yè)界衍生出了兩種傳輸連接優(yōu)化的技術(shù)路線，分別是連接復用和無連連接復用的主要實現(xiàn)方式有多種，包括共享接收隊列（SharedReceiveQueue，SRQ），即一個進程共享同一個的接收隊列；擴展可靠連接(ExtendedReliableConnection，XRC)，即一個進程對于相同目地服務(wù)器上的所有進程共享同一個發(fā)送QP；動態(tài)連接傳輸（Dynamically-connectedtransport，DCT），間并不預先建立連接，而是在運行過程中根據(jù)實際通信需求動態(tài)建立連接，通信完畢后再關(guān)閉連接。這些實現(xiàn)在不同程度上減少了需無連接的主要實現(xiàn)方式為，網(wǎng)卡僅承擔Datagram級可靠傳輸，應用處理亂序重排及擁塞流控，每個節(jié)點狀態(tài)維護壓力與節(jié)點進程實現(xiàn)。無連接實現(xiàn)的出發(fā)點在于軟件的快速迭代，具有較好的靈活性，網(wǎng)卡擴展性好，但它放棄了RDMA硬件卸載協(xié)議棧的優(yōu)勢，加（三）在網(wǎng)計算的發(fā)展及其挑戰(zhàn)在網(wǎng)計算是一種通信加速技術(shù)，體現(xiàn)了數(shù)據(jù)中心從“以計算為在數(shù)據(jù)搬移的過程中完成計算，從而提升通信效率，加速應用。常見的在網(wǎng)計算場景包括在網(wǎng)聚合、在網(wǎng)緩存等，已初步展現(xiàn)了該技術(shù)的應用價值。Nvidia的SHARP（ScalableHierarchicalAggregation讓RDMA連接在交換機上終結(jié)，實現(xiàn)在網(wǎng)聚合與數(shù)據(jù)的組播分發(fā)，在網(wǎng)計算目前仍處于起步階段，對于在網(wǎng)計算的整體框架以及學術(shù)上，研究者們發(fā)表了大量在網(wǎng)計算方面的文章，其中不乏頂尖學術(shù)會議上的論文。比如2021年NSDI會議的最佳論文ATP），它面向分布式機器學習場景，定義了一套由主機和可編程交換機交對分布式訓練的網(wǎng)絡(luò)傳輸進行數(shù)據(jù)聚合優(yōu)化，在網(wǎng)絡(luò)中提供了盡力而為的聚合服務(wù)。再比如2020年OSDI會議論文Pegasus，它針對在分布式存儲系統(tǒng)中選擇性復制不能很好的應對動態(tài)變化負載，且實現(xiàn)強一致性代價較大的問題，基于UDP設(shè)計了主機和交換機之間新的傳輸協(xié)議，報文格式如圖15所示，實現(xiàn)交換機上的不僅如此，在網(wǎng)計算也引起了標準組織的關(guān)注。IRTF（InternetResearchTaskForce）是一個由IAB（InternetArchitectureBoard）授權(quán)對一些相對遠期的網(wǎng)絡(luò)問題進行研究的組織，與IETF（InternetEngineeringTaskFo式成立了COIN（ComputingintheNetwork）研究組。該工作組將針對應用場景、功能架構(gòu)、新傳輸機制等展開研究，目前仍處于應用可以看到，在網(wǎng)計算正在成為未來提升系統(tǒng)性能重要的技術(shù)方向。然而在當前的發(fā)展中，在網(wǎng)計算的設(shè)計呈現(xiàn)出碎片化的狀態(tài)，難以形成標準，其中一個很主要的原因就是統(tǒng)一傳輸框架的缺失。由于在網(wǎng)計算常常涉及到多對多的通信場景，而當前的網(wǎng)絡(luò)傳輸集中于點到點的方式，缺乏面向多對多通信的原生設(shè)計，這就使得開發(fā)出了各種私有傳輸協(xié)議來支持，帶來生態(tài)發(fā)展的局限，阻礙在網(wǎng)四、NDMA應對大規(guī)模集合通信需求（一）NDMA概念NDMA的全稱是NetworkDMA，它是網(wǎng)絡(luò)中一存訪問技術(shù)。直接內(nèi)存訪問DMA是計算系統(tǒng)中常見的技術(shù)，它允許外部設(shè)備直接訪問內(nèi)存中的數(shù)據(jù)，而無需經(jīng)過CPU的處理。DMA應用于單個節(jié)點內(nèi)部，提高了單個節(jié)點內(nèi)數(shù)據(jù)傳輸效率?；贒MA的理念，發(fā)展出了遠程直接內(nèi)存訪問RDMA。RDMA允許遠程服務(wù)器或主機直接訪問本地內(nèi)存，而無需經(jīng)過本地CPU的干預，極大降低了端到端的傳輸時延。RDMA側(cè)重于在兩個節(jié)點之間完成點到點的數(shù)據(jù)傳輸訪問。NDMA是對現(xiàn)有遠程直接內(nèi)存訪問技術(shù)的增強，著重面向網(wǎng)絡(luò)中的一組節(jié)點進行內(nèi)存直讀、直寫操作，最優(yōu)NDMA旨在將集合通信多對多操作的邏輯從應用層面下沉到網(wǎng)絡(luò)，實現(xiàn)集合通信“一棧直達”，即應用對集合通信原語的一次調(diào)仍以集合通信中的組播為例。在NDMA的方式下，組播源絡(luò)層面上只需要發(fā)送一次數(shù)據(jù)，由網(wǎng)絡(luò)上的交換機節(jié)點進行復制轉(zhuǎn)發(fā)，將數(shù)據(jù)報文發(fā)送到多個組播組節(jié)點，并完成數(shù)據(jù)在組播組節(jié)點中的內(nèi)存直接訪問操作。整個過程中，數(shù)據(jù)報文只經(jīng)過一次Tx+Rx（二）NDMA的基本模式和應用價值組播是一種1對多的傳輸，是分布式計算系統(tǒng)中最常使用的通信模式之一。在超算系統(tǒng)Mira中，MPI_bcast原語的執(zhí)行時間占MPI通信總時間的14%，時間占比在MPI集合通信原語中僅次于用作HPCTop500榜單排名測試的應用HPL，其通信以組播模式為主。在HPL中，每一輪計算循環(huán)中包含3部分通信。其中，第2部分“Panel廣播”即一列計算進程分別把將數(shù)據(jù)組播給同一行的其他進程，第3部分“行交換”過程包含一行計算進程分布把數(shù)據(jù)NDMA的組播模式利用交換機完成組播報文的復制分發(fā)，以網(wǎng)絡(luò)層組播替代應用層組播，避免了相同數(shù)據(jù)的重復發(fā)送，使得組播任務(wù)完成時間逼近理論最優(yōu)值（即數(shù)據(jù)量與帶寬之比），在大規(guī)模下相比于應用層組播任務(wù)完成時間有顯著減少，從而降低HPL過程AI計算中使用基于參數(shù)服務(wù)器（ParameterServer，PS）的數(shù)據(jù)并行方法解決訓練數(shù)據(jù)規(guī)模過大導致的訓練時間過長的問題。如圖18所示，PS訓練方法將訓練數(shù)據(jù)集分割成多個batch放置在不同的多個worker將訓練好的數(shù)據(jù)（模型參數(shù)或者梯度）發(fā)送到PS進行合并更新，然后PS將更新后的數(shù)據(jù)下發(fā)到每個worker,開啟新一輪的訓練。訓練循環(huán)往復，直至模型收斂。在此過程中，所有worker在大數(shù)據(jù)應用中，MapReduce是典型的一種計算框架。如圖19所示，Map并行執(zhí)行，其輸出結(jié)果作為Reduce的輸入，由Reduceworker完成規(guī)約化簡操作。并行的map任務(wù)會成為每個reduce任務(wù)的輸入流量，且map與reduce之間形成多組多對一的通信關(guān)系，使得交換機承受多個多對一流量，出端口緩存壓力增大，影響并行計采用聚播技術(shù)，數(shù)據(jù)在經(jīng)過交換設(shè)備時，會先進行聚合，再轉(zhuǎn)發(fā)聚合結(jié)果，緩解了瓶頸點的帶寬和緩存壓力，有效避免因網(wǎng)絡(luò)性任播是一種1對1的操作，但其特殊點在于接收端是一組節(jié)點中的一個，發(fā)送端可以選擇其中任意一個發(fā)送數(shù)據(jù)，任意一個接收到數(shù)據(jù)的接收端都可以完成數(shù)據(jù)處理。企業(yè)存儲系統(tǒng)是一個典型的應用場景。在該場景下，存儲系統(tǒng)一般由兩張網(wǎng)絡(luò)構(gòu)成，前端業(yè)務(wù)網(wǎng)絡(luò)和后端存儲網(wǎng)絡(luò)，如圖22所示。前端業(yè)務(wù)網(wǎng)絡(luò)中，通常由存儲或者控制命令請求?？刂破魍瓿烧埱筇幚砗?，根據(jù)一定的負載均衡前端客戶網(wǎng)絡(luò)和后端存儲網(wǎng)絡(luò)相對解耦，客戶端通常會隨機下發(fā)請求。而控制器由于負載分擔以及數(shù)據(jù)打散的需求，會有很大概率將請求轉(zhuǎn)發(fā)至歸屬節(jié)點進行處理，從而引入有損分布式系統(tǒng)性能端到端I/O流程所花費時延，包括主機下發(fā)請求、協(xié)議棧處理、全節(jié)點歸屬，系統(tǒng)性能還受限于“水平時延”，即控間交互流程所花費時延，包括歸屬查找、I/O請求轉(zhuǎn)發(fā)、跨引擎數(shù)據(jù)搬移等。水平時延的引入會導致客戶端請求的額外轉(zhuǎn)發(fā)，處理時延加劇，系統(tǒng)整體任播技術(shù)可以通過網(wǎng)絡(luò)交換機隨路地進行負載分擔邏輯處理，從而避免占用陣列側(cè)控制器過多的CPU資源和控間轉(zhuǎn)發(fā)帶來的帶寬（三）NDMA技術(shù)架構(gòu)NDMA是一個由網(wǎng)絡(luò)端側(cè)節(jié)點和網(wǎng)絡(luò)轉(zhuǎn)發(fā)節(jié)點相互協(xié)同，共同構(gòu)成的統(tǒng)一傳輸框架，提供對集合通信的原生支持。該框架支持三種基本模式的遠端直接內(nèi)存訪問，分別是組播、聚播和任播，能夠應用于大規(guī)模通信場景，且不綁定特定的網(wǎng)絡(luò)層協(xié)議，具有更強的從協(xié)議棧層次劃分來看，NDMA框架包含對網(wǎng)絡(luò)層、傳輸層和），從組件構(gòu)成來看，NDMA框架中包括網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備（如交換機）、網(wǎng)絡(luò)端側(cè)設(shè)備（如服務(wù)器側(cè)網(wǎng)卡/CPU）和通信應用軟件（如轉(zhuǎn)發(fā)路由表具有一定的業(yè)務(wù)邏輯，如在存儲任播場景下，轉(zhuǎn)發(fā)設(shè)備感知后端存儲系統(tǒng)的從屬關(guān)系，從而建立相應的轉(zhuǎn)發(fā)表。轉(zhuǎn)發(fā)設(shè)備能夠識別端測報文所屬類型，如組播、聚播、任播，根據(jù)報文類型網(wǎng)絡(luò)端側(cè)設(shè)備負責建立和維護面向集合通信的傳輸連接。新的傳輸連接匹配多對多通信范式，與轉(zhuǎn)發(fā)設(shè)備協(xié)同配合，根據(jù)應用需求構(gòu)建傳輸通信組，通信組內(nèi)靈活支持三種基本模式的連接關(guān)系，通信應用軟件具備調(diào)用NDMA類型接口的能力。集合通信操作的輸入輸出不發(fā)生改變，應用對集合通信原語的調(diào)用邏輯無變化，但原語的實現(xiàn)需要新增面向NDMA多對多傳輸連接所對應的動作和從連接方式來看，以RoCEv2（RDMARC）為代表的進程級連接，和以SRD為代表的無連接，是兩個極端方向的連接機制設(shè)計。進程級連接實現(xiàn)復雜度低，易于硬件卸載，利用硬件卸載協(xié)議棧極大降低了端到端傳輸時延。然而，進程級連接兩端固定，連接數(shù)量多，規(guī)模擴展受限。這種方式效率高但資源壓力大。與之相反的無連接方式，將亂序重排、擁塞控制等和功能收歸CPU，網(wǎng)卡負擔減輕，使得擴展性得到極大提升，但是回退到了軟件處理方式，時延這兩種方式的連接都無法滿足大規(guī)模分布式應用的需求。NDMA根據(jù)應用任務(wù)的特征，引入“通信組”概念。所謂通信組，指的是參與一個分布式任務(wù)的多個有相互通信需求的進程。NDMA基于通信組建立了介于進程級連接和無連接之間新的連接方式，即組級的連接共享。組級連接相對于進程級連接，極大程度降低了連接數(shù)。在N個節(jié)點，每節(jié)點P個進程的場景下，進程級連接的數(shù)量級為O（N*P*P），而組級連接的數(shù)量級僅為O（1），如圖27所示。并且，通信組的劃分與應用任務(wù)相對應，任務(wù)確定后，通信組可靠性包含三個層面的含義，分別是數(shù)據(jù)完整性，數(shù)據(jù)還原性數(shù)據(jù)完整性指的是數(shù)據(jù)無丟失，丟包情況下需要重傳。發(fā)送端根據(jù)報文應答消息來檢測是否丟包。發(fā)送端設(shè)置定時器，在定時器否則，發(fā)送端認為報文丟失，需要重傳，這其中包括顯式收到接收端發(fā)送過來的丟包指示消息，如NACK，也包括在定時器時間內(nèi)未收到接收端任何應答消息。重傳的方法分為Go-back-N和選擇重傳。RoCEv2基于RDMA的重傳機制使用Go-Back-N，即重傳丟失的數(shù)據(jù)報文N之后的所有數(shù)據(jù)報文。相比于Go-back-N這種低效的重傳方式，選擇重傳只需要重傳丟失的單個數(shù)據(jù)報文，因此丟包帶來的數(shù)據(jù)還原性指的是數(shù)據(jù)發(fā)出的順序和數(shù)據(jù)接收的順序一致，最終傳到用戶層的數(shù)據(jù)不能亂序。最常見的保序方式是讓同一個流（flow）在網(wǎng)絡(luò)上走相同的路徑，源和目的相同的流量被認為是同一個流，網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備對同一個流執(zhí)行同樣的轉(zhuǎn)發(fā)規(guī)則，保證選擇按照flowlet的粒度在網(wǎng)絡(luò)上發(fā)送，flowlet內(nèi)同一路徑順序轉(zhuǎn)發(fā)，NDMA的可靠性機制遵循上述三個層面的含義，通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)在數(shù)據(jù)完整性上，接收端通過報文應答消息ACK/NACK指示報文的接收狀態(tài)，網(wǎng)絡(luò)設(shè)備則需要根據(jù)多對多通信