T-CESA 1026-2018 人工智能 深度學(xué)習(xí)算法評(píng)估規(guī)范

中國(guó)人工智能開源軟件發(fā)展聯(lián)盟標(biāo)準(zhǔn)AIOSS—01—2018Artificialintelligence—AssessmentspecificationfordeeplearningalgorithmsI 1 1 2 2 4 4 4 4 4 5 5 5 5 6 7 7 8 8 8 8 8 8 9 9 9 9 9 9 9 AIOSS-01-2018 請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。北京京東尚科信息技術(shù)有限公司、深圳賽西信息技術(shù)有限公司、數(shù)據(jù)劉新凱、王太峰、巢林林、袁杰、曹安然、尹AIOSS-01-2018展規(guī)劃》中指出，人工智能進(jìn)入新的發(fā)展階段自主操控等新特征?！币庖?，請(qǐng)與中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院（中國(guó)人工智能開源軟件發(fā)展聯(lián)盟秘通信地址：北京東城區(qū)安定門東大街1號(hào)（100準(zhǔn)的持續(xù)改進(jìn)，本標(biāo)準(zhǔn)的更多信息歡迎關(guān)注“中國(guó)人工智能開源軟件發(fā)展聯(lián)盟”公眾號(hào)。1人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范確定現(xiàn)有深度學(xué)習(xí)算法的可靠性所達(dá)到的預(yù)期水平的對(duì)于給定的數(shù)據(jù)集，預(yù)測(cè)為真正例的樣本占所有實(shí)際為正例樣本的比對(duì)于給定的數(shù)據(jù)集，正確分類的樣本數(shù)占總樣本數(shù)的比AIOSS-01-20182在給定的軟硬件環(huán)境下，深度學(xué)習(xí)算法對(duì)給定的數(shù)據(jù)進(jìn)行運(yùn)算并獲得結(jié)果所需要的時(shí)間。3響應(yīng)時(shí)間代碼規(guī)范性代碼漏洞目標(biāo)函數(shù)的影響擬合程度數(shù)據(jù)集標(biāo)注質(zhì)數(shù)據(jù)集標(biāo)注質(zhì)量數(shù)據(jù)集污染情況白盒方式生成的樣本黑盒方式生成的樣本指定目標(biāo)方式生成的樣本式生成的樣本深度學(xué)習(xí)框架差異操作系統(tǒng)差異深度學(xué)習(xí)算法的可靠性指標(biāo)體系對(duì)抗性樣本的影響硬件架構(gòu)差異干擾數(shù)據(jù)移AIOSS-01-20184用于評(píng)估深度學(xué)習(xí)算法實(shí)現(xiàn)的功能是否滿足要求，應(yīng)包括但不限于下列用于評(píng)估代碼實(shí)現(xiàn)功能的正確性，應(yīng)包括下用于評(píng)估訓(xùn)練數(shù)據(jù)集帶來的影響，應(yīng)包括下b)數(shù)據(jù)集規(guī)模：通常用樣本數(shù)量來衡量，大規(guī)模數(shù)據(jù)集通常具有更好的樣本多樣性；c)數(shù)據(jù)集標(biāo)注質(zhì)量：指數(shù)據(jù)集標(biāo)注信息是否d)數(shù)據(jù)集污染情況：指數(shù)據(jù)集被人為添加的惡意數(shù)據(jù)的程度。用于評(píng)估對(duì)抗性樣本對(duì)深度學(xué)習(xí)算法的影響，應(yīng)包括下列a)白盒方式生成的樣本：指目標(biāo)模型已知的情況下，利用梯度下降等方式生成5用于評(píng)估運(yùn)行深度學(xué)習(xí)算法的軟硬件平臺(tái)對(duì)可靠性的影響，應(yīng)包括下列用中，數(shù)據(jù)集分布可能發(fā)生遷移，即真實(shí)數(shù)據(jù)集分布與訓(xùn)練數(shù)據(jù)集分布之間存在差異性；估、設(shè)計(jì)階段的評(píng)估、實(shí)現(xiàn)階段的評(píng)估、運(yùn)行階AIOSS-01-20186開始確定可靠性目標(biāo)確定可靠性目標(biāo)選擇評(píng)估指標(biāo)選擇評(píng)估指標(biāo)需求階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則？是設(shè)計(jì)階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則？是實(shí)現(xiàn)階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則 是否滿足評(píng)估準(zhǔn)則？是設(shè)計(jì)階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則？是實(shí)現(xiàn)階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則？是運(yùn)行階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則？是否否否得出通過可靠性評(píng)估結(jié)論得出未通過可靠性評(píng)估結(jié)論得出通過可靠性評(píng)估結(jié)論得出未通過可靠性評(píng)估結(jié)論結(jié)束結(jié)束7歷史記錄和軟件失效模式和影響分析等技術(shù)識(shí)別深度學(xué)習(xí)算法發(fā)生算法失效2)應(yīng)識(shí)別危險(xiǎn)的后果；如對(duì)環(huán)境或人員是否有傷害、需要完成的任務(wù)是否有影響等；3)危險(xiǎn)事件應(yīng)由運(yùn)行場(chǎng)景和算法失效的相關(guān)組合確定；4)應(yīng)以能在深度學(xué)習(xí)算法所在的軟件系統(tǒng)層面觀察到的輸出來定義結(jié)果。算法失效導(dǎo)致系統(tǒng)完成任務(wù)有障礙但能夠完成，或?qū)Π踩?、?cái)產(chǎn)、環(huán)境和業(yè)務(wù)ABCDAIOSS-01-201881)依據(jù)規(guī)范性附錄A選取的某一級(jí)指標(biāo)下2)依據(jù)規(guī)范性附錄A選取的某階段的一級(jí)指標(biāo)全部通過。a)面向深度學(xué)習(xí)算法的需求階段、設(shè)計(jì)階段、實(shí)現(xiàn)階段、運(yùn)行階段四個(gè)階段實(shí)b)通過當(dāng)前階段的評(píng)估是進(jìn)入下一階段評(píng)估的前提條件之一；d)各階段評(píng)估活動(dòng)的輸入、關(guān)鍵活動(dòng)及輸出要求詳見本標(biāo)準(zhǔn)第5至第8章；3)針對(duì)算法在該階段開展可靠性評(píng)估工作所選擇的評(píng)估指標(biāo)及針對(duì)評(píng)估指標(biāo)的評(píng)估結(jié)果；定算法應(yīng)實(shí)現(xiàn)的功能性需求、非功能性需求和應(yīng)滿足的確性和軟硬件平臺(tái)依賴的影響等進(jìn)行評(píng)估，以確定算法的需求滿足可靠性目標(biāo)要求。開展本階段可靠性評(píng)估工作前至少應(yīng)完成獲取深度學(xué)f)深度學(xué)習(xí)算法的運(yùn)行條件與環(huán)境約束。92)分析需求階段設(shè)定的響應(yīng)時(shí)間要求是否影響可靠性目標(biāo)。深度學(xué)習(xí)算法需求階段的可靠性評(píng)估報(bào)告，評(píng)估報(bào)告要求見4務(wù)功能性需求、非功能性需求的深度學(xué)習(xí)目標(biāo)函數(shù)及性、訓(xùn)練數(shù)據(jù)集的影響及目標(biāo)函數(shù)等進(jìn)行評(píng)估，以確定算法的設(shè)計(jì)滿足可靠性目標(biāo)要1)分析設(shè)計(jì)完成后任務(wù)指標(biāo)要求是否滿足需求階2)分析設(shè)計(jì)完成后響應(yīng)時(shí)間要求是否滿足需求階段設(shè)定的相應(yīng)要求。AIOSS-01-2018深度學(xué)習(xí)算法設(shè)計(jì)階段的可靠性評(píng)估報(bào)告，評(píng)估報(bào)告要求見41)驗(yàn)證算法實(shí)現(xiàn)后的任務(wù)指標(biāo)是否達(dá)到需求階段設(shè)定的相應(yīng)要求；2)驗(yàn)證算法實(shí)現(xiàn)后的響應(yīng)時(shí)間是否達(dá)到需求階段設(shè)定的相應(yīng)要求。c)對(duì)目標(biāo)函數(shù)的影響進(jìn)行評(píng)估：分析算法的擬合程度對(duì)算法深度學(xué)習(xí)算法實(shí)現(xiàn)階段的可靠性評(píng)估報(bào)告，評(píng)估報(bào)告要求見4深度學(xué)習(xí)算法運(yùn)行階段是在實(shí)際應(yīng)用場(chǎng)景下運(yùn)1)驗(yàn)證算法運(yùn)行時(shí)任務(wù)指標(biāo)是否達(dá)到需求階2)驗(yàn)證算法運(yùn)行時(shí)響應(yīng)時(shí)間是否達(dá)到需求階段設(shè)定的相應(yīng)要求。AIOSS-01-20181)分析環(huán)境干擾數(shù)據(jù)對(duì)算法運(yùn)行的影響，可以參考以下幾個(gè)方面：深度學(xué)習(xí)算法運(yùn)行階段的可靠性報(bào)告，評(píng)估報(bào)告要求見4表A.1給出了深度學(xué)習(xí)算法的可靠性評(píng)估指標(biāo)的選取規(guī)則。針對(duì)不同級(jí)別的的深度學(xué)習(xí)算法階段可靠性目標(biāo)性標(biāo)間洞度量況移A●●●●●B●●●●○C●○●○○D●○○○○A●●●●●●●B●●●●●●○C●○○●●○○--D●○○●○○○AIOSS-01-2018階段可靠性目標(biāo)標(biāo)間洞度量況移A●●●●●●●●●B●●●●●●●●●C●○●○○●○○○D●○○○○○○○○A●●●●●●●●B●●●●○●●○C●○●○○●○○D●○○○○○○○表B.1﹑B.2分別給出人臉識(shí)別算法可靠性評(píng)估實(shí)施案例和行為檢測(cè)算法可靠性評(píng)估實(shí)施案例。人臉識(shí)別是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。其通過攝像機(jī)或攝像人臉識(shí)別閘機(jī)系統(tǒng)將傳統(tǒng)閘機(jī)設(shè)備集成人臉識(shí)別能力，用戶在閘機(jī)處提供人臉影像進(jìn)行人臉攝像頭捕捉影像，將不同視頻幀進(jìn)行預(yù)處理，之后發(fā)送云端服務(wù)器中部署的人臉識(shí)別算法。人臉識(shí)別首先判斷視頻幀中是否包含人臉，如果不存在人臉，切換到下個(gè)視頻幀。如果存在人臉，則判斷是否存在遮擋以及是否為活體人臉。如果存在遮擋等干擾，返回信息提醒除去遮擋物，展示真實(shí)人臉。如果人臉正常，算法判斷4.用戶以人臉作為身份識(shí)別憑證進(jìn)行注冊(cè)，通過閘機(jī)時(shí)通過攝像頭提供人臉閘機(jī)123123AIOSS-01-2018基于本人臉識(shí)別的算法會(huì)被應(yīng)用到國(guó)際會(huì)議的門禁系統(tǒng)中。會(huì)議的參會(huì)人員包括各B查準(zhǔn)率、查全率、準(zhǔn)確率、響應(yīng)時(shí)間、深度學(xué)習(xí)樣本、黑盒方式生成的樣本、指定目標(biāo)方式生成的樣本、不指定目b)深度學(xué)習(xí)算法可靠性評(píng)估通過的準(zhǔn)則應(yīng)滿足：面向算法需求階段、設(shè)計(jì)階段、實(shí)現(xiàn)階段及運(yùn)行階段軟件系統(tǒng)的需求說明書：人臉識(shí)別系統(tǒng)需求深度學(xué)習(xí)算法的需求說明書：人臉檢測(cè)識(shí)別算法需求說明書深度學(xué)習(xí)算法的設(shè)計(jì)說明：人臉識(shí)別算法設(shè)計(jì)文AIOSS-01-2018包含深度學(xué)習(xí)算法的軟件系統(tǒng)：人臉識(shí)別系算法實(shí)際運(yùn)行30天時(shí)間中平均單次識(shí)別響應(yīng)時(shí)間為AIOSS-01-2018拋等不友好的暴力行為。具體實(shí)現(xiàn)是通過對(duì)輸入的視頻單幀圖像，首先檢測(cè)圖像中的人是否手拿包裹，以開始出現(xiàn)拿包裹的人圖像作為起始幀，再對(duì)拿包裹的人進(jìn)行軌跡追蹤與行為分類，行為檢測(cè)系統(tǒng)是將行為檢測(cè)技術(shù)集成至一個(gè)小型高性能計(jì)算盒子中，場(chǎng)院的監(jiān)控視頻通過交換機(jī)傳輸?shù)胶凶雍?，搭載在盒子上的行為檢測(cè)技術(shù)對(duì)監(jiān)控視頻進(jìn)行行為識(shí)別，識(shí)別出來的結(jié)硬件設(shè)備：普通攝像頭、高性能計(jì)算盒子（NVIDIA操作系統(tǒng)：Linux3.10.0,深度學(xué)習(xí)框架：Tensorflow操作系統(tǒng)：CentOS,深度學(xué)習(xí)框架：Tensorflow行為分類是對(duì)侯選區(qū)域進(jìn)行行為分類（如是否暴力行為如果分類結(jié)果為暴123123基于行為檢測(cè)技術(shù)的行為檢測(cè)系統(tǒng)將會(huì)被運(yùn)用到多種B準(zhǔn)確率、召回率、響應(yīng)時(shí)間、深度學(xué)習(xí)框架差本b)深度學(xué)習(xí)算法可靠性評(píng)估通過的準(zhǔn)則應(yīng)滿足：面向算法需求階段、設(shè)計(jì)階段、實(shí)現(xiàn)階段及運(yùn)行階軟件系統(tǒng)的需求說明書：行為檢測(cè)系統(tǒng)需求文檔_v軟件系統(tǒng)設(shè)計(jì)規(guī)范：行為檢測(cè)系統(tǒng)設(shè)計(jì)規(guī)范_v軟硬件接口規(guī)范：行為檢測(cè)系統(tǒng)接口規(guī)范_v深度學(xué)習(xí)算法的需求說明書：行為檢測(cè)算法需求說明_v1.式平臺(tái)，支持高清視頻流的實(shí)時(shí)識(shí)別。AIOSS-01-2018深度學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)集：作業(yè)區(qū)域行人操作視頻訓(xùn)練集_v1.深度學(xué)習(xí)算法的設(shè)計(jì)說明：行為檢測(cè)系統(tǒng)算法設(shè)計(jì)說明_v1.量深度學(xué)習(xí)算法的對(duì)抗性樣本：行為檢測(cè)系統(tǒng)視頻訓(xùn)練集_v1.深度學(xué)習(xí)算法的設(shè)計(jì)說明：行為檢測(cè)系統(tǒng)算法設(shè)計(jì)說明_v1.深度學(xué)習(xí)算法的功能說明：行為檢測(cè)系統(tǒng)算法功能說明_v1.0深度學(xué)習(xí)算法的源代碼：行為檢測(cè)系統(tǒng)算法源代碼_v