T-CESA 1026-2018 人工智能 深度學(xué)習(xí)算法評(píng)估規(guī)范_第1頁(yè)
T-CESA 1026-2018 人工智能 深度學(xué)習(xí)算法評(píng)估規(guī)范_第2頁(yè)
T-CESA 1026-2018 人工智能 深度學(xué)習(xí)算法評(píng)估規(guī)范_第3頁(yè)
T-CESA 1026-2018 人工智能 深度學(xué)習(xí)算法評(píng)估規(guī)范_第4頁(yè)
T-CESA 1026-2018 人工智能 深度學(xué)習(xí)算法評(píng)估規(guī)范_第5頁(yè)
已閱讀5頁(yè),還剩25頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

中國(guó)人工智能開源軟件發(fā)展聯(lián)盟標(biāo)準(zhǔn)AIOSS—01—2018Artificialintelligence—AssessmentspecificationfordeeplearningalgorithmsI 1 1 2 2 4 4 4 4 4 5 5 5 5 6 7 7 8 8 8 8 8 8 9 9 9 9 9 9 9 AIOSS-01-2018 請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。北京京東尚科信息技術(shù)有限公司、深圳賽西信息技術(shù)有限公司、數(shù)據(jù)劉新凱、王太峰、巢林林、袁杰、曹安然、尹AIOSS-01-2018展規(guī)劃》中指出,人工智能進(jìn)入新的發(fā)展階段自主操控等新特征?!币庖?,請(qǐng)與中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院(中國(guó)人工智能開源軟件發(fā)展聯(lián)盟秘通信地址:北京東城區(qū)安定門東大街1號(hào)(100準(zhǔn)的持續(xù)改進(jìn),本標(biāo)準(zhǔn)的更多信息歡迎關(guān)注“中國(guó)人工智能開源軟件發(fā)展聯(lián)盟”公眾號(hào)。1人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范確定現(xiàn)有深度學(xué)習(xí)算法的可靠性所達(dá)到的預(yù)期水平的對(duì)于給定的數(shù)據(jù)集,預(yù)測(cè)為真正例的樣本占所有實(shí)際為正例樣本的比對(duì)于給定的數(shù)據(jù)集,正確分類的樣本數(shù)占總樣本數(shù)的比AIOSS-01-20182在給定的軟硬件環(huán)境下,深度學(xué)習(xí)算法對(duì)給定的數(shù)據(jù)進(jìn)行運(yùn)算并獲得結(jié)果所需要的時(shí)間。3響應(yīng)時(shí)間代碼規(guī)范性代碼漏洞目標(biāo)函數(shù)的影響擬合程度數(shù)據(jù)集標(biāo)注質(zhì)數(shù)據(jù)集標(biāo)注質(zhì)量數(shù)據(jù)集污染情況白盒方式生成的樣本黑盒方式生成的樣本指定目標(biāo)方式生成的樣本式生成的樣本深度學(xué)習(xí)框架差異操作系統(tǒng)差異深度學(xué)習(xí)算法的可靠性指標(biāo)體系對(duì)抗性樣本的影響硬件架構(gòu)差異干擾數(shù)據(jù)移AIOSS-01-20184用于評(píng)估深度學(xué)習(xí)算法實(shí)現(xiàn)的功能是否滿足要求,應(yīng)包括但不限于下列用于評(píng)估代碼實(shí)現(xiàn)功能的正確性,應(yīng)包括下用于評(píng)估訓(xùn)練數(shù)據(jù)集帶來的影響,應(yīng)包括下b)數(shù)據(jù)集規(guī)模:通常用樣本數(shù)量來衡量,大規(guī)模數(shù)據(jù)集通常具有更好的樣本多樣性;c)數(shù)據(jù)集標(biāo)注質(zhì)量:指數(shù)據(jù)集標(biāo)注信息是否d)數(shù)據(jù)集污染情況:指數(shù)據(jù)集被人為添加的惡意數(shù)據(jù)的程度。用于評(píng)估對(duì)抗性樣本對(duì)深度學(xué)習(xí)算法的影響,應(yīng)包括下列a)白盒方式生成的樣本:指目標(biāo)模型已知的情況下,利用梯度下降等方式生成5用于評(píng)估運(yùn)行深度學(xué)習(xí)算法的軟硬件平臺(tái)對(duì)可靠性的影響,應(yīng)包括下列用中,數(shù)據(jù)集分布可能發(fā)生遷移,即真實(shí)數(shù)據(jù)集分布與訓(xùn)練數(shù)據(jù)集分布之間存在差異性;估、設(shè)計(jì)階段的評(píng)估、實(shí)現(xiàn)階段的評(píng)估、運(yùn)行階AIOSS-01-20186開始確定可靠性目標(biāo)確定可靠性目標(biāo)選擇評(píng)估指標(biāo)選擇評(píng)估指標(biāo)需求階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則?是設(shè)計(jì)階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則?是實(shí)現(xiàn)階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則 是否滿足評(píng)估準(zhǔn)則?是設(shè)計(jì)階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則?是實(shí)現(xiàn)階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則?是運(yùn)行階段的評(píng)估 是否滿足評(píng)估準(zhǔn)則?是否否否得出通過可靠性評(píng)估結(jié)論得出未通過可靠性評(píng)估結(jié)論得出通過可靠性評(píng)估結(jié)論得出未通過可靠性評(píng)估結(jié)論結(jié)束結(jié)束7歷史記錄和軟件失效模式和影響分析等技術(shù)識(shí)別深度學(xué)習(xí)算法發(fā)生算法失效2)應(yīng)識(shí)別危險(xiǎn)的后果;如對(duì)環(huán)境或人員是否有傷害、需要完成的任務(wù)是否有影響等;3)危險(xiǎn)事件應(yīng)由運(yùn)行場(chǎng)景和算法失效的相關(guān)組合確定;4)應(yīng)以能在深度學(xué)習(xí)算法所在的軟件系統(tǒng)層面觀察到的輸出來定義結(jié)果。算法失效導(dǎo)致系統(tǒng)完成任務(wù)有障礙但能夠完成,或?qū)Π踩?、?cái)產(chǎn)、環(huán)境和業(yè)務(wù)ABCDAIOSS-01-201881)依據(jù)規(guī)范性附錄A選取的某一級(jí)指標(biāo)下2)依據(jù)規(guī)范性附錄A選取的某階段的一級(jí)指標(biāo)全部通過。a)面向深度學(xué)習(xí)算法的需求階段、設(shè)計(jì)階段、實(shí)現(xiàn)階段、運(yùn)行階段四個(gè)階段實(shí)b)通過當(dāng)前階段的評(píng)估是進(jìn)入下一階段評(píng)估的前提條件之一;d)各階段評(píng)估活動(dòng)的輸入、關(guān)鍵活動(dòng)及輸出要求詳見本標(biāo)準(zhǔn)第5至第8章;3)針對(duì)算法在該階段開展可靠性評(píng)估工作所選擇的評(píng)估指標(biāo)及針對(duì)評(píng)估指標(biāo)的評(píng)估結(jié)果;定算法應(yīng)實(shí)現(xiàn)的功能性需求、非功能性需求和應(yīng)滿足的確性和軟硬件平臺(tái)依賴的影響等進(jìn)行評(píng)估,以確定算法的需求滿足可靠性目標(biāo)要求。開展本階段可靠性評(píng)估工作前至少應(yīng)完成獲取深度學(xué)f)深度學(xué)習(xí)算法的運(yùn)行條件與環(huán)境約束。92)分析需求階段設(shè)定的響應(yīng)時(shí)間要求是否影響可靠性目標(biāo)。深度學(xué)習(xí)算法需求階段的可靠性評(píng)估報(bào)告,評(píng)估報(bào)告要求見4務(wù)功能性需求、非功能性需求的深度學(xué)習(xí)目標(biāo)函數(shù)及性、訓(xùn)練數(shù)據(jù)集的影響及目標(biāo)函數(shù)等進(jìn)行評(píng)估,以確定算法的設(shè)計(jì)滿足可靠性目標(biāo)要1)分析設(shè)計(jì)完成后任務(wù)指標(biāo)要求是否滿足需求階2)分析設(shè)計(jì)完成后響應(yīng)時(shí)間要求是否滿足需求階段設(shè)定的相應(yīng)要求。AIOSS-01-2018深度學(xué)習(xí)算法設(shè)計(jì)階段的可靠性評(píng)估報(bào)告,評(píng)估報(bào)告要求見41)驗(yàn)證算法實(shí)現(xiàn)后的任務(wù)指標(biāo)是否達(dá)到需求階段設(shè)定的相應(yīng)要求;2)驗(yàn)證算法實(shí)現(xiàn)后的響應(yīng)時(shí)間是否達(dá)到需求階段設(shè)定的相應(yīng)要求。c)對(duì)目標(biāo)函數(shù)的影響進(jìn)行評(píng)估:分析算法的擬合程度對(duì)算法深度學(xué)習(xí)算法實(shí)現(xiàn)階段的可靠性評(píng)估報(bào)告,評(píng)估報(bào)告要求見4深度學(xué)習(xí)算法運(yùn)行階段是在實(shí)際應(yīng)用場(chǎng)景下運(yùn)1)驗(yàn)證算法運(yùn)行時(shí)任務(wù)指標(biāo)是否達(dá)到需求階2)驗(yàn)證算法運(yùn)行時(shí)響應(yīng)時(shí)間是否達(dá)到需求階段設(shè)定的相應(yīng)要求。AIOSS-01-20181)分析環(huán)境干擾數(shù)據(jù)對(duì)算法運(yùn)行的影響,可以參考以下幾個(gè)方面:深度學(xué)習(xí)算法運(yùn)行階段的可靠性報(bào)告,評(píng)估報(bào)告要求見4表A.1給出了深度學(xué)習(xí)算法的可靠性評(píng)估指標(biāo)的選取規(guī)則。針對(duì)不同級(jí)別的的深度學(xué)習(xí)算法階段可靠性目標(biāo)性標(biāo)間洞度量況移A●●●●●B●●●●○C●○●○○D●○○○○A●●●●●●●B●●●●●●○C●○○●●○○--D●○○●○○○AIOSS-01-2018階段可靠性目標(biāo)標(biāo)間洞度量況移A●●●●●●●●●B●●●●●●●●●C●○●○○●○○○D●○○○○○○○○A●●●●●●●●B●●●●○●●○C●○●○○●○○D●○○○○○○○表B.1﹑B.2分別給出人臉識(shí)別算法可靠性評(píng)估實(shí)施案例和行為檢測(cè)算法可靠性評(píng)估實(shí)施案例。人臉識(shí)別是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。其通過攝像機(jī)或攝像人臉識(shí)別閘機(jī)系統(tǒng)將傳統(tǒng)閘機(jī)設(shè)備集成人臉識(shí)別能力,用戶在閘機(jī)處提供人臉影像進(jìn)行人臉攝像頭捕捉影像,將不同視頻幀進(jìn)行預(yù)處理,之后發(fā)送云端服務(wù)器中部署的人臉識(shí)別算法。人臉識(shí)別首先判斷視頻幀中是否包含人臉,如果不存在人臉,切換到下個(gè)視頻幀。如果存在人臉,則判斷是否存在遮擋以及是否為活體人臉。如果存在遮擋等干擾,返回信息提醒除去遮擋物,展示真實(shí)人臉。如果人臉正常,算法判斷4.用戶以人臉作為身份識(shí)別憑證進(jìn)行注冊(cè),通過閘機(jī)時(shí)通過攝像頭提供人臉閘機(jī)123123AIOSS-01-2018基于本人臉識(shí)別的算法會(huì)被應(yīng)用到國(guó)際會(huì)議的門禁系統(tǒng)中。會(huì)議的參會(huì)人員包括各B查準(zhǔn)率、查全率、準(zhǔn)確率、響應(yīng)時(shí)間、深度學(xué)習(xí)樣本、黑盒方式生成的樣本、指定目標(biāo)方式生成的樣本、不指定目b)深度學(xué)習(xí)算法可靠性評(píng)估通過的準(zhǔn)則應(yīng)滿足:面向算法需求階段、設(shè)計(jì)階段、實(shí)現(xiàn)階段及運(yùn)行階段軟件系統(tǒng)的需求說明書:人臉識(shí)別系統(tǒng)需求深度學(xué)習(xí)算法的需求說明書:人臉檢測(cè)識(shí)別算法需求說明書深度學(xué)習(xí)算法的設(shè)計(jì)說明:人臉識(shí)別算法設(shè)計(jì)文AIOSS-01-2018包含深度學(xué)習(xí)算法的軟件系統(tǒng):人臉識(shí)別系算法實(shí)際運(yùn)行30天時(shí)間中平均單次識(shí)別響應(yīng)時(shí)間為AIOSS-01-2018拋等不友好的暴力行為。具體實(shí)現(xiàn)是通過對(duì)輸入的視頻單幀圖像,首先檢測(cè)圖像中的人是否手拿包裹,以開始出現(xiàn)拿包裹的人圖像作為起始幀,再對(duì)拿包裹的人進(jìn)行軌跡追蹤與行為分類,行為檢測(cè)系統(tǒng)是將行為檢測(cè)技術(shù)集成至一個(gè)小型高性能計(jì)算盒子中,場(chǎng)院的監(jiān)控視頻通過交換機(jī)傳輸?shù)胶凶雍?,搭載在盒子上的行為檢測(cè)技術(shù)對(duì)監(jiān)控視頻進(jìn)行行為識(shí)別,識(shí)別出來的結(jié)硬件設(shè)備:普通攝像頭、高性能計(jì)算盒子(NVIDIA操作系統(tǒng):Linux3.10.0,深度學(xué)習(xí)框架:Tensorflow操作系統(tǒng):CentOS,深度學(xué)習(xí)框架:Tensorflow行為分類是對(duì)侯選區(qū)域進(jìn)行行為分類(如是否暴力行為如果分類結(jié)果為暴123123基于行為檢測(cè)技術(shù)的行為檢測(cè)系統(tǒng)將會(huì)被運(yùn)用到多種B準(zhǔn)確率、召回率、響應(yīng)時(shí)間、深度學(xué)習(xí)框架差本b)深度學(xué)習(xí)算法可靠性評(píng)估通過的準(zhǔn)則應(yīng)滿足:面向算法需求階段、設(shè)計(jì)階段、實(shí)現(xiàn)階段及運(yùn)行階軟件系統(tǒng)的需求說明書:行為檢測(cè)系統(tǒng)需求文檔_v軟件系統(tǒng)設(shè)計(jì)規(guī)范:行為檢測(cè)系統(tǒng)設(shè)計(jì)規(guī)范_v軟硬件接口規(guī)范:行為檢測(cè)系統(tǒng)接口規(guī)范_v深度學(xué)習(xí)算法的需求說明書:行為檢測(cè)算法需求說明_v1.式平臺(tái),支持高清視頻流的實(shí)時(shí)識(shí)別。AIOSS-01-2018深度學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)集:作業(yè)區(qū)域行人操作視頻訓(xùn)練集_v1.深度學(xué)習(xí)算法的設(shè)計(jì)說明:行為檢測(cè)系統(tǒng)算法設(shè)計(jì)說明_v1.量深度學(xué)習(xí)算法的對(duì)抗性樣本:行為檢測(cè)系統(tǒng)視頻訓(xùn)練集_v1.深度學(xué)習(xí)算法的設(shè)計(jì)說明:行為檢測(cè)系統(tǒng)算法設(shè)計(jì)說明_v1.深度學(xué)習(xí)算法的功能說明:行為檢測(cè)系統(tǒng)算法功能說明_v1.0深度學(xué)習(xí)算法的源代碼:行為檢測(cè)系統(tǒng)算法源代碼_v

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論