CESA-2022-040《人工智能 異構(gòu)人工智能加速器統(tǒng)一接口》團(tuán)體標(biāo)準(zhǔn)（征求意見稿）編制說明

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

一、工作簡況

根據(jù)中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)2022年第六批團(tuán)體標(biāo)準(zhǔn)制修訂通知（中電

標(biāo)通〔2022〕018號），團(tuán)體標(biāo)準(zhǔn)《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》制

定工作下達(dá)立項(xiàng)通知，計(jì)劃號CESA-2022-040。

本標(biāo)準(zhǔn)由中國電子技術(shù)標(biāo)準(zhǔn)化研究院牽頭，華為技術(shù)有限公司、北京航空航

天大學(xué)聯(lián)合發(fā)起，主要參編單位包括上海人工智能研究院、英特爾（中國）有限

公司、商湯集團(tuán)股份有限公司、上海依圖科技有限公司、深圳云天勵(lì)飛技術(shù)股份

有限公司、浪潮電子信息產(chǎn)業(yè)股份有限公司、南京沐曦科技有限公司、四川華鯤

振宇智能科技有限公司、上海天數(shù)智芯半導(dǎo)體有限公司、上海燧原科技有限公司、

上海壁仞智能科技有限公司、北京格靈深瞳信息技術(shù)股份有限公司、小視科技（江

蘇）有限公司、超聚變數(shù)字技術(shù)有限公司、深圳鯤云信息科技有限公司、北京曠

視科技有限公司、阿里云計(jì)算有限公司、百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司、

昆侖芯（北京）科技有限公司、北京第四范式智能技術(shù)股份有限公司、北京希姆

計(jì)算科技有限公司、西門子（中國）有限公司、騰訊控股有限公司等國內(nèi)外人工

智能加速器和機(jī)器學(xué)習(xí)框架企業(yè)。標(biāo)準(zhǔn)的歸口單位是中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)

會(huì)和中國電子技術(shù)標(biāo)準(zhǔn)化研究院。

本標(biāo)準(zhǔn)主要工作過程如下：

2022年5月-7月，《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標(biāo)準(zhǔn)編制組成

立，對該標(biāo)準(zhǔn)的立項(xiàng)達(dá)成共識，共同收集相關(guān)資料，多次組織專家進(jìn)行討論，形

成標(biāo)準(zhǔn)草案大綱。

2022年6月17日，參加中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)團(tuán)體標(biāo)準(zhǔn)立項(xiàng)答辯，團(tuán)

體標(biāo)準(zhǔn)通過立項(xiàng)評審。2022年07月11日，中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)下達(dá)標(biāo)準(zhǔn)

計(jì)劃任務(wù)（中電標(biāo)通（2022）018號）。

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

2022年8月-10月，《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標(biāo)準(zhǔn)編制工

作組成立。召開首次標(biāo)準(zhǔn)研討會(huì)，確定標(biāo)準(zhǔn)范圍、目的、標(biāo)準(zhǔn)化對象、章節(jié)目錄，

及各章節(jié)的初步內(nèi)容范圍。

2022年11月-2023年03月，中國電子技術(shù)標(biāo)準(zhǔn)化研究院組織標(biāo)準(zhǔn)起草工作組

多次召開標(biāo)準(zhǔn)研討會(huì)，針對產(chǎn)學(xué)研單位對標(biāo)準(zhǔn)文本提出的意見建議，持續(xù)對標(biāo)準(zhǔn)

草案進(jìn)行討論、迭代。

2023年3月22日-2023年3月24日，召開信標(biāo)委AI分委會(huì)全會(huì)，分委會(huì)成員單

位就異構(gòu)人工智能加速器統(tǒng)一接口標(biāo)準(zhǔn)的范圍和關(guān)鍵問題，進(jìn)行廣泛討論，標(biāo)準(zhǔn)

起草工作組聽取意見，并做修改。

2023年3月-4月，召開標(biāo)準(zhǔn)研討會(huì)，組內(nèi)審查標(biāo)準(zhǔn)草案，形成征求意見稿。

二、標(biāo)準(zhǔn)編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問題

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標(biāo)準(zhǔn)定義異構(gòu)人工智能加速器

的統(tǒng)一接口及其語義和使用方法，提出各加速器為實(shí)現(xiàn)此接口所需的接入方法和

試驗(yàn)方法。標(biāo)準(zhǔn)適用于人工智能加速器接口的設(shè)計(jì)和實(shí)現(xiàn)，也可為人工智能加速

器應(yīng)用提供參考。

編制原則：

異構(gòu)人工智能加速器統(tǒng)一接口旨在在各人工智能加速器使能軟件之上與機(jī)

器學(xué)習(xí)框架之下，建立中間層。對上，屏蔽加速器的異構(gòu)性，對下，屏蔽機(jī)器學(xué)

習(xí)框架的多種接入方式，以達(dá)到讓加速器或機(jī)器學(xué)習(xí)框架快速對接而建立或復(fù)用

生態(tài)的目標(biāo)?；诖?，本標(biāo)準(zhǔn)有以下編制原則：

1）以各人工智能加速器使能軟件為基礎(chǔ)，研究共同性，并對使用人工智能

加速器執(zhí)行機(jī)器學(xué)習(xí)計(jì)算任務(wù)（模型訓(xùn)練、模型推理）執(zhí)行的必要過程和接口實(shí)

施分析，明確人工智能加速器統(tǒng)一接口的范圍；

2）接口解決使用各類人工智能加速器訓(xùn)練和推理的問題，標(biāo)準(zhǔn)涉及人工智

能加速器執(zhí)行控制（如運(yùn)行時(shí)），模型操作（如編譯、轉(zhuǎn)化），模型構(gòu)建等。在

研制過程中，盡量兼容各類人工智能加速器公共或極其類似的接口，率先實(shí)施標(biāo)

準(zhǔn)化，跑通系統(tǒng)，并最大程度地降低人工智能加速器接入所需開發(fā)資源，加快接

入過程。

擬解決的主要問題：

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

據(jù)2020年不完全統(tǒng)計(jì)，我國人工智能加速處理器研發(fā)機(jī)構(gòu)多達(dá)2800多家。每

種加速器都有自建軟件及應(yīng)用生態(tài)的任務(wù)。這種現(xiàn)象將給人工智能計(jì)算企業(yè)和產(chǎn)

業(yè)帶來沉重負(fù)擔(dān)。其核心問題如下：

1）技術(shù)生態(tài)：人工智能計(jì)算生態(tài)的嚴(yán)重割裂，加速器的技術(shù)生態(tài)林立，小

且脆弱；

2）兼容適配：眾多加速器需與眾多計(jì)算框架（如深度學(xué)習(xí)軟件框架）一一

適配，產(chǎn)業(yè)整體適配工作量巨大；

3）用戶使用：異構(gòu)加速器整合、使用的復(fù)雜度很高。加速器之間的兩兩互

操作在如此大的規(guī)模上，較難實(shí)現(xiàn)和維護(hù)。

人工智能應(yīng)用的建立，需要實(shí)現(xiàn)各種計(jì)算框架及各類加速器相對靈活搭配，

但需盡可能少地侵入各類人工智能加速器的已有技術(shù)路線（各種加速器的已有指

令級和算子實(shí)現(xiàn)庫），不限制創(chuàng)新。

三、主要試驗(yàn)[或驗(yàn)證]情況分析

異構(gòu)人工智能加速器統(tǒng)一接口的定義參考了國內(nèi)主流的人工智能加速器使

能軟件的設(shè)計(jì)。在試驗(yàn)方面，標(biāo)準(zhǔn)定義了接入符合性驗(yàn)證方法和指標(biāo)?；趫F(tuán)體

標(biāo)準(zhǔn)建立周期較短、靈活等特點(diǎn)，本標(biāo)準(zhǔn)的主要目標(biāo)是跑通系統(tǒng)，完成從加速器

及其使能軟件，到統(tǒng)一接口，再到上層機(jī)器學(xué)習(xí)框架和應(yīng)用全棧跑通的目標(biāo)，達(dá)

成驗(yàn)證的目的。標(biāo)準(zhǔn)的參與企業(yè)幾乎包含國內(nèi)和國際所有的（有產(chǎn)品化、商用能

力的）人工智能加速器研制企業(yè)及其國內(nèi)代理。當(dāng)前已有人工智能加速器企業(yè)對

接和使用此接口，已形成了一定產(chǎn)業(yè)遵從效益。

四、知識產(chǎn)權(quán)情況說明

本標(biāo)準(zhǔn)不涉及知識產(chǎn)權(quán)的產(chǎn)出或使用。

五、產(chǎn)業(yè)化情況、推廣應(yīng)用論證和預(yù)期達(dá)到的經(jīng)濟(jì)效果

本標(biāo)準(zhǔn)預(yù)計(jì)達(dá)成以下產(chǎn)業(yè)預(yù)期：

1）技術(shù)生態(tài)：為異構(gòu)人工智能加速器提供接入方案。在不要求異構(gòu)人工智

能加速器改動(dòng)指令級或算子實(shí)現(xiàn)庫的情況下，幫助人工智能加速器快速建立生態(tài)

2）兼容適配：為機(jī)器學(xué)習(xí)軟件框架提供統(tǒng)一接口，為多種加速器與多種框

架的兼容適配提供方案。降低產(chǎn)業(yè)整體的適配工作量

3）用戶使用：為用戶提供統(tǒng)一接口，屏蔽異構(gòu)加速器的復(fù)雜度，降低使用、

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

維護(hù)難度。

AI新興技術(shù)領(lǐng)域，此領(lǐng)域的技術(shù)發(fā)展較快，尤其是芯片領(lǐng)域，正是國內(nèi)近

兩年大力發(fā)展的方向；另外，利用中間層屏蔽異構(gòu)性，是技術(shù)界常用的方法，但

針對廣泛AI異構(gòu)加速器統(tǒng)一接口的標(biāo)準(zhǔn)化，在國內(nèi)尚屬首次。ISO/IECTR17903

（中國代表團(tuán)牽頭，在編）討論過程中，各國專家認(rèn)為新中間層有利于解決產(chǎn)業(yè)

問題，認(rèn)為此系未來重要的標(biāo)準(zhǔn)化方向。在ISO/IECTR17903中設(shè)置了相關(guān)章

節(jié)，擬描述概念框架和關(guān)鍵問題。國內(nèi)AI加速器研制機(jī)構(gòu)眾多，芯片產(chǎn)業(yè)發(fā)展

迅速，有大量生態(tài)發(fā)展需求。國內(nèi)深度學(xué)習(xí)框架（5+）或其它工具軟件數(shù)量較多，

有大量加速器適配工作量。國內(nèi)AI應(yīng)用逐步深化，應(yīng)用逐漸增多，需求強(qiáng)烈。

利用標(biāo)準(zhǔn)化的技術(shù)方案降低應(yīng)用、維護(hù)復(fù)雜度，是產(chǎn)業(yè)效能升級的必要項(xiàng)。

通過人工智能加速器統(tǒng)一接口的研制和產(chǎn)業(yè)應(yīng)用，有望降低產(chǎn)業(yè)中各人工智

能加速器與各機(jī)器學(xué)習(xí)框架對接及維護(hù)的整體成本。當(dāng)有m個(gè)框架，n種加速器

時(shí)，兩兩對接需要m*n的總體工作量。在使用人工智能加速器統(tǒng)一接口后，m

個(gè)框架和n種加速器可分別對接本接口。一旦對接，就天然享有已對接的對側(cè)支

持（如加速器對接后，就能被已對接的框架調(diào)用。反之亦然。）使用統(tǒng)一接口，

并不阻礙特定框架對特定加速器的適配和使用。對加速器來講，對統(tǒng)一接口的接

入，即可獲得多框架的支持。對框架來講，對統(tǒng)一接口的適配，即可獲得多加速

器的運(yùn)行能力。本標(biāo)準(zhǔn)提出一種非侵入式的解決方案，降低產(chǎn)業(yè)整體復(fù)雜度。

六、轉(zhuǎn)化國際標(biāo)準(zhǔn)和國外先進(jìn)標(biāo)準(zhǔn)情況

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》在《國家新一代人工智能標(biāo)準(zhǔn)

體系建設(shè)指南》（國標(biāo)委[2020]35號文）中，屬于C類（基礎(chǔ)軟硬件平臺）。本

標(biāo)準(zhǔn)不轉(zhuǎn)化國外標(biāo)準(zhǔn)。

標(biāo)準(zhǔn)與國外相關(guān)標(biāo)準(zhǔn)的比較如下：

標(biāo)準(zhǔn)主要內(nèi)容與本標(biāo)準(zhǔn)的關(guān)系

KhronosOpenCL跨處理器的并KhronosOpenCL3.0Specification不專門針

3.0行編程接口對AI計(jì)算，不能覆蓋深度神經(jīng)網(wǎng)絡(luò)相關(guān)操作及

Specification相關(guān)推理、訓(xùn)練控制過程。本標(biāo)準(zhǔn)專為人工智能

（鏈接）領(lǐng)域計(jì)算研制，在并行計(jì)算方面，與Khronos

OpenCL3.0保持一定兼容。國內(nèi)機(jī)構(gòu)對Khronos

OpenCL標(biāo)準(zhǔn)的參與受國際關(guān)系因素影響較大

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

InteloneAPI1.2Intel企標(biāo)，定oneAPI標(biāo)準(zhǔn)主要為IntelCPU服務(wù)，定義接口

（鏈接）義了跨處理器的顆粒度和選擇，以Intel指令集和調(diào)用作為

（主要為第一參考。在并行計(jì)算方面，oneAPI與Khronos

CPU-GPU）的編OpenCL3.0保持一定程度的兼容。本標(biāo)準(zhǔn)為公

程接口共標(biāo)準(zhǔn)，且不著重針對CPU-GPU間計(jì)算任務(wù)的遷

移

ISO/IECTR17903提供機(jī)器學(xué)習(xí)ISO/IECTR17903由ISO/IECJTC1/SC42中

Overviewof計(jì)算設(shè)備的概國代表團(tuán)（SAC）牽頭，不涉及接口，但在國際

machinelearning覽，包含機(jī)器學(xué)標(biāo)準(zhǔn)討論中，認(rèn)為統(tǒng)一接口是技術(shù)發(fā)展的重要方

computing習(xí)設(shè)備性能相向，ISO/IECTR17903為本標(biāo)準(zhǔn)提供國際高水

devices（鏈接）關(guān)的特性及其平標(biāo)準(zhǔn)上的理論鋪墊

使用方法和指

標(biāo)

IEEE2937定義了AI服務(wù)IEEE2937規(guī)定典型AI計(jì)算設(shè)備的性能測試方

Standardfor器，AI服務(wù)器集法，不涉及接口定義。但在系統(tǒng)使用統(tǒng)一接口層

performance群，AI計(jì)算中心時(shí)，性能可能稍有損失，使用IEEE2937及相關(guān)

benchmarkingfor（AIHPC設(shè)施）工具（由電子四院等單位研制）實(shí)施性能損失評

artificial性能測試方法估，為調(diào)優(yōu)提供依據(jù)

intelligence

serversystems

（鏈接）

七、與現(xiàn)行相關(guān)法律、法規(guī)、規(guī)章及相關(guān)標(biāo)準(zhǔn)的協(xié)調(diào)性

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》與現(xiàn)行法律、法規(guī)、強(qiáng)制性國

家標(biāo)準(zhǔn)及相關(guān)標(biāo)準(zhǔn)協(xié)調(diào)配套情況如下：

文件相關(guān)內(nèi)容分析、討論

2020.8，國務(wù)從財(cái)稅、投融資、IPO、研究因國際局勢影響，國內(nèi)芯片產(chǎn)業(yè)在2019

院:《新時(shí)期促開發(fā)、進(jìn)出口、人才、知識年后，因國內(nèi)需求拉動(dòng)，進(jìn)入了投資、

進(jìn)集成電路產(chǎn)產(chǎn)權(quán)、市場應(yīng)用、國際合作產(chǎn)業(yè)活動(dòng)高增長階段。小生態(tài)林立，生

業(yè)和軟件產(chǎn)業(yè)等多角度對半導(dǎo)體產(chǎn)業(yè)的發(fā)態(tài)建設(shè)困難，投資見效慢、風(fēng)險(xiǎn)大的矛

高質(zhì)量發(fā)展的展提供政策支持，提出中國盾十分突出。

若干政策》芯片自給率要在2025年達(dá)異構(gòu)加速器統(tǒng)一接口，有利于幫助小企

到70%。業(yè)快速建立應(yīng)用生態(tài)，減少因?yàn)榻⑸?/p>

態(tài)或在技術(shù)路線上的誤判和盲目投入，

可能帶來的損失等問題

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

2021.12，國務(wù)搶先布局前沿技術(shù)融合創(chuàng)國內(nèi)AI加速器研制機(jī)構(gòu)，在2021年總

院：《“十四五”新，推進(jìn)言學(xué)科和交叉研究[1]

數(shù)達(dá)到2800多家，異構(gòu)化明顯，小

數(shù)字經(jīng)濟(jì)發(fā)展平臺建設(shè)，重點(diǎn)布局下一代

規(guī)劃》移動(dòng)通信技術(shù)、量子信息、生態(tài)林立，生態(tài)建設(shè)總體困難，群體性

第三代半導(dǎo)體等新興技術(shù)，矛盾突出。

推動(dòng)信息、生物、材料、能異構(gòu)加速器統(tǒng)一接口，有利于解決群體

源等領(lǐng)域技術(shù)融合和群體性性問題。

突破

2021.11，工信推動(dòng)芯片企業(yè)豐富產(chǎn)品體國家政策要求豐富芯片產(chǎn)品體系，是從

部：《“十四五”系，加快模組分級分類研發(fā)，芯片應(yīng)用角度，對芯片研制提出了需

信息通信行業(yè)優(yōu)化模組環(huán)境適應(yīng)性，降低求。部署在相同計(jì)算系統(tǒng)中的異構(gòu)芯片

發(fā)展規(guī)劃》功耗及成本，增強(qiáng)原始創(chuàng)新的協(xié)同，需要統(tǒng)一的編程模式和數(shù)據(jù)交

能力和產(chǎn)業(yè)基礎(chǔ)支撐能力換方法。

異構(gòu)加速器統(tǒng)一接口，有利于降低應(yīng)用

復(fù)雜度，也是我國AI產(chǎn)業(yè)解決自身問

題原始創(chuàng)造力的體現(xiàn)。降本增效，對產(chǎn)

業(yè)發(fā)展起到支撐作用。

[1]魏少軍.實(shí)干推動(dòng)設(shè)計(jì)業(yè)不斷進(jìn)步.中國半導(dǎo)體行業(yè)協(xié)會(huì)集成電路設(shè)計(jì)業(yè)分會(huì)年會(huì)

的報(bào)告.2021.（鏈接）

標(biāo)準(zhǔn)與國內(nèi)相關(guān)標(biāo)準(zhǔn)的比較如下：

標(biāo)準(zhǔn)主要內(nèi)容與本標(biāo)準(zhǔn)的關(guān)系

GB/T42018－2022定義了各類人工智能GB/T42018－2022標(biāo)準(zhǔn)在內(nèi)容上與本

《信息技術(shù)人工智能物理計(jì)算資源的形標(biāo)準(zhǔn)無覆蓋關(guān)系，但提出的人工智能

平臺資源供給》態(tài)、組成、基礎(chǔ)技術(shù)計(jì)算設(shè)備可使用各類人工智能加速處

參數(shù)，虛擬計(jì)算資源理器。本標(biāo)準(zhǔn)旨在促進(jìn)異構(gòu)加速器應(yīng)

的基本特征，并針對用的簡化，使其更好地服務(wù)于各類人

各類計(jì)算設(shè)備形態(tài)，工智能計(jì)算設(shè)備

提出了測試方法

20203869-T-469《人工定義了機(jī)器學(xué)習(xí)系統(tǒng)20203869-T-469標(biāo)準(zhǔn)在內(nèi)容上與本標(biāo)

智能面向機(jī)器學(xué)習(xí)的的基礎(chǔ)架構(gòu)準(zhǔn)無覆蓋關(guān)系，但提出的機(jī)器學(xué)習(xí)系

系統(tǒng)規(guī)范》統(tǒng)的參考架構(gòu)，為本標(biāo)準(zhǔn)所定義的統(tǒng)

一接口，明確上下層部件、組件及運(yùn)

行時(shí)關(guān)系

GB/T42382.1－2023定義了離線模型的表GB/T42382.1－2023標(biāo)準(zhǔn)定義的離線

《信息技術(shù)神經(jīng)網(wǎng)絡(luò)示和壓縮方法模型表示方法針對離線模型，即訓(xùn)練

表示與模型壓縮第1好的模型。用于不同格式離線模型的

部分：卷積神經(jīng)網(wǎng)絡(luò)》互轉(zhuǎn)。本標(biāo)準(zhǔn)定義異構(gòu)人工智能加速

器統(tǒng)一接口，與已有標(biāo)準(zhǔn)不存在沖突

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

T/CESA1228.1－2022定義了典型（CPU，T/CESA1228.1－2022標(biāo)準(zhǔn)僅定義典

《信息技術(shù)人工智能GPU，NPU，F(xiàn)PGA）人型人工智能加速處理器的虛擬化方法

計(jì)算設(shè)備調(diào)度與協(xié)同工智能加速處理器的和基礎(chǔ)調(diào)度模式，在過程和功能層面，

第1部分：虛擬化與調(diào)虛擬化方法和基礎(chǔ)調(diào)而非接口層面。本標(biāo)準(zhǔn)完成統(tǒng)一接口，

度》度模式可相互配套使用。AI系統(tǒng)的建設(shè)，可

使用本標(biāo)準(zhǔn)，而不必實(shí)施虛擬化過程，

也可實(shí)施虛擬化，形成更精細(xì)的算力

切分和調(diào)度

CESA-2021-3-018《信定義了深度學(xué)習(xí)框架CESA-2021-3-018不定義異構(gòu)加速器

息技術(shù)人工智能深與各種人工智能加速統(tǒng)一接口。本標(biāo)準(zhǔn)定義的統(tǒng)一接口，

度學(xué)習(xí)框架多硬件平器直接適配的技術(shù)要可作為一種“抽象”的加速器接入使

臺適配技術(shù)要求與評求和指標(biāo)用。

價(jià)指標(biāo)》

八、重大分歧意見的處理經(jīng)過和依據(jù)

無。

九、貫徹標(biāo)準(zhǔn)的要求和措施建議

本文件可作為推薦性標(biāo)準(zhǔn)，標(biāo)準(zhǔn)發(fā)布后實(shí)施。

標(biāo)準(zhǔn)發(fā)布后，將盡快推出、實(shí)施人工智能加速器統(tǒng)一接口接入符合性測試，

將對接的技術(shù)細(xì)節(jié)和流程普及到產(chǎn)業(yè)，豐富人工智能加速器應(yīng)用生態(tài)，加速國內(nèi)

各人工智能加速器技術(shù)生態(tài)的建立，降低產(chǎn)業(yè)整體成本。

十、替代或廢止現(xiàn)行相關(guān)標(biāo)準(zhǔn)的建議

無。

十一、其它應(yīng)予說明的事項(xiàng)

無。

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》

團(tuán)體標(biāo)準(zhǔn)編制起草組

2023-5-8

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

一、工作簡況

根據(jù)中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)2022年第六批團(tuán)體標(biāo)準(zhǔn)制修訂通知（中電

標(biāo)通〔2022〕018號），團(tuán)體標(biāo)準(zhǔn)《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》制

定工作下達(dá)立項(xiàng)通知，計(jì)劃號CESA-2022-040。

本標(biāo)準(zhǔn)由中國電子技術(shù)標(biāo)準(zhǔn)化研究院牽頭，華為技術(shù)有限公司、北京航空航

天大學(xué)聯(lián)合發(fā)起，主要參編單位包括上海人工智能研究院、英特爾（中國）有限

公司、商湯集團(tuán)股份有限公司、上海依圖科技有限公司、深圳云天勵(lì)飛技術(shù)股份

有限公司、浪潮電子信息產(chǎn)業(yè)股份有限公司、南京沐曦科技有限公司、四川華鯤

振宇智能科技有限公司、上海天數(shù)智芯半導(dǎo)體有限公司、上海燧原科技有限公司、

上海壁仞智能科技有限公司、北京格靈深瞳信息技術(shù)股份有限公司、小視科技（江

蘇）有限公司、超聚變數(shù)字技術(shù)有限公司、深圳鯤云信息科技有限公司、北京曠

視科技有限公司、阿里云計(jì)算有限公司、百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司、

昆侖芯（北京）科技有限公司、北京第四范式智能技術(shù)股份有限公司、北京希姆

計(jì)算科技有限公司、西門子（中國）有限公司、騰訊控股有限公司等國內(nèi)外人工

智能加速器和機(jī)器學(xué)習(xí)框架企業(yè)。標(biāo)準(zhǔn)的歸口單位是中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)

會(huì)和中國電子技術(shù)標(biāo)準(zhǔn)化研究院。

本標(biāo)準(zhǔn)主要工作過程如下：

2022年5月-7月，《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標(biāo)準(zhǔn)編制組成

立，對該標(biāo)準(zhǔn)的立項(xiàng)達(dá)成共識，共同收集相關(guān)資料，多次組織專家進(jìn)行討論，形

成標(biāo)準(zhǔn)草案大綱。

2022年6月17日，參加中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)團(tuán)體標(biāo)準(zhǔn)立項(xiàng)答辯，團(tuán)

體標(biāo)準(zhǔn)通過立項(xiàng)評審。2022年07月11日，中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)下達(dá)標(biāo)準(zhǔn)

計(jì)劃任務(wù)（中電標(biāo)通（2022）018號）。

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

2022年8月-10月，《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標(biāo)準(zhǔn)編制工

作組成立。召開首次標(biāo)準(zhǔn)研討會(huì)，確定標(biāo)準(zhǔn)范圍、目的、標(biāo)準(zhǔn)化對象、章節(jié)目錄，

及各章節(jié)的初步內(nèi)容范圍。

2022年11月-2023年03月，中國電子技術(shù)標(biāo)準(zhǔn)化研究院組織標(biāo)準(zhǔn)起草工作組

多次召開標(biāo)準(zhǔn)研討會(huì)，針對產(chǎn)學(xué)研單位對標(biāo)準(zhǔn)文本提出的意見建議，持續(xù)對標(biāo)準(zhǔn)

草案進(jìn)行討論、迭代。

2023年3月22日-2023年3月24日，召開信標(biāo)委AI分委會(huì)全會(huì)，分委會(huì)成員單

位就異構(gòu)人工智能加速器統(tǒng)一接口標(biāo)準(zhǔn)的范圍和關(guān)鍵問題，進(jìn)行廣泛討論，標(biāo)準(zhǔn)

起草工作組聽取意見，并做修改。

2023年3月-4月，召開標(biāo)準(zhǔn)研討會(huì)，組內(nèi)審查標(biāo)準(zhǔn)草案，形成征求意見稿。

二、標(biāo)準(zhǔn)編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問題

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標(biāo)準(zhǔn)定義異構(gòu)人工智能加速器

的統(tǒng)一接口及其語義和使用方法，提出各加速器為實(shí)現(xiàn)此接口所需的接入方法和

試驗(yàn)方法。標(biāo)準(zhǔn)適用于人工智能加速器接口的設(shè)計(jì)和實(shí)現(xiàn)，也可為人工智能加速

器應(yīng)用提供參考。

編制原則：

異構(gòu)人工智能加速器統(tǒng)一接口旨在在各人工智能加速器使能軟件之上與機(jī)

器學(xué)習(xí)框架之下，建立中間層。對上，屏蔽加速器的異構(gòu)性，對下，屏蔽機(jī)器學(xué)

習(xí)框架的多種接入方式，以達(dá)到讓加速器或機(jī)器學(xué)習(xí)框架快速對接而建立或復(fù)用

生態(tài)的目標(biāo)?；诖?，本標(biāo)準(zhǔn)有以下編制原則：

1）以各人工智能加速器使能軟件為基礎(chǔ)，研究共同性，并對使用人工智能

加速器執(zhí)行機(jī)器學(xué)習(xí)計(jì)算任務(wù)（模型訓(xùn)練、模型推理）執(zhí)行的必要過程和接口實(shí)

施分析，明確人工智能加速器統(tǒng)一接口的范圍；

2）接口解決使用各類人工智能加速器訓(xùn)練和推理的問題，標(biāo)準(zhǔn)涉及人工智

能加速器執(zhí)行控制（如運(yùn)行時(shí)），模型操作（如編譯、轉(zhuǎn)化），模型構(gòu)建等。在

研制過程中，盡量兼容各類人工智能加速器公共或極其類似的接口，率先實(shí)施標(biāo)

準(zhǔn)化，跑通系統(tǒng)，并最大程度地降低人工智能加速器接入所需開發(fā)資源，加快接

入過程。

擬解決的主要問題：

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

據(jù)2020年不完全統(tǒng)計(jì)，我國人工智能加速處理器研發(fā)機(jī)構(gòu)多達(dá)2800多家。每

種加速器都有自建軟件及應(yīng)用生態(tài)的任務(wù)。這種現(xiàn)象將給人工智能計(jì)算企業(yè)和產(chǎn)

業(yè)帶來沉重負(fù)擔(dān)。其核心問題如下：

1）技術(shù)生態(tài)：人工智能計(jì)算生態(tài)的嚴(yán)重割裂，加速器的技術(shù)生態(tài)林立，小

且脆弱；

2）兼容適配：眾多加速器需與眾多計(jì)算框架（如深度學(xué)習(xí)軟件框架）一一

適配，產(chǎn)業(yè)整體適配工作量巨大；

3）用戶使用：異構(gòu)加速器整合、使用的復(fù)雜度很高。加速器之間的兩兩互

操作在如此大的規(guī)模上，較難實(shí)現(xiàn)和維護(hù)。

人工智能應(yīng)用的建立，需要實(shí)現(xiàn)各種計(jì)算框架及各類加速器相對靈活搭配，

但需盡可能少地侵入各類人工智能加速器的已有技術(shù)路線（各種加速器的已有指

令級和算子實(shí)現(xiàn)庫），不限制創(chuàng)新。

三、主要試驗(yàn)[或驗(yàn)證]情況分析

異構(gòu)人工智能加速器統(tǒng)一接口的定義參考了國內(nèi)主流的人工智能加速器使

能軟件的設(shè)計(jì)。在試驗(yàn)方面，標(biāo)準(zhǔn)定義了接入符合性驗(yàn)證方法和指標(biāo)?；趫F(tuán)體

標(biāo)準(zhǔn)建立周期較短、靈活等特點(diǎn)，本標(biāo)準(zhǔn)的主要目標(biāo)是跑通系統(tǒng)，完成從加速器

及其使能軟件，到統(tǒng)一接口，再到上層機(jī)器學(xué)習(xí)框架和應(yīng)用全棧跑通的目標(biāo)，達(dá)

成驗(yàn)證的目的。標(biāo)準(zhǔn)的參與企業(yè)幾乎包含國內(nèi)和國際所有的（有產(chǎn)品化、商用能

力的）人工智能加速器研制企業(yè)及其國內(nèi)代理。當(dāng)前已有人工智能加速器企業(yè)對

接和使用此接口，已形成了一定產(chǎn)業(yè)遵從效益。

四、知識產(chǎn)權(quán)情況說明

本標(biāo)準(zhǔn)不涉及知識產(chǎn)權(quán)的產(chǎn)出或使用。

五、產(chǎn)業(yè)化情況、推廣應(yīng)用論證和預(yù)期達(dá)到的經(jīng)濟(jì)效果

本標(biāo)準(zhǔn)預(yù)計(jì)達(dá)成以下產(chǎn)業(yè)預(yù)期：

1）技術(shù)生態(tài)：為異構(gòu)人工智能加速器提供接入方案。在不要求異構(gòu)人工智

能加速器改動(dòng)指令級或算子實(shí)現(xiàn)庫的情況下，幫助人工智能加速器快速建立生態(tài)

2）兼容適配：為機(jī)器學(xué)習(xí)軟件框架提供統(tǒng)一接口，為多種加速器與多種框

架的兼容適配提供方案。降低產(chǎn)業(yè)整體的適配工作量

3）用戶使用：為用戶提供統(tǒng)一接口，屏蔽異構(gòu)加速器的復(fù)雜度，降低使用、

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)

維護(hù)難度。

AI新興技術(shù)