T-CSBME 064-2022 骨齡輔助診斷人工智能醫(yī)療器械質(zhì)量要求與評價 第1部分：數(shù)據(jù)集

CCSC30團(tuán)體標(biāo)準(zhǔn)T/CSBME064—2022骨齡輔助診斷人工智能醫(yī)療器械質(zhì)量要求與評價第1部分:數(shù)據(jù)集中國生物醫(yī)學(xué)工程學(xué)會T/CSBME064—2022前言 引言 2規(guī)范性引用文件 3術(shù)語和定義 4縮略語 5數(shù)據(jù)集 6數(shù)據(jù)采集 7數(shù)據(jù)整理 8數(shù)據(jù)標(biāo)注 9符合性評價 參考文獻(xiàn) IT/CSBME064—2022Ⅲ本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分:標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件由浙江大學(xué)醫(yī)學(xué)院附屬兒童醫(yī)院提出。本文件由中國生物醫(yī)學(xué)工程學(xué)會標(biāo)準(zhǔn)化技術(shù)委員會歸口管理。本文件起草單位:浙江大學(xué)醫(yī)學(xué)院附屬兒童醫(yī)院、復(fù)旦大學(xué)附屬兒科醫(yī)院、天津醫(yī)科大學(xué)總醫(yī)院、北京大學(xué)第一醫(yī)院、深圳市兒童醫(yī)院、中山大學(xué)附屬第一醫(yī)院、西安市兒童醫(yī)院、華中科技大學(xué)附屬同濟醫(yī)院、重慶醫(yī)科大學(xué)附屬兒童醫(yī)院、南昌大學(xué)第二附屬醫(yī)院、中國生物醫(yī)學(xué)工程學(xué)會醫(yī)學(xué)人工智能分會、杭州深睿博聯(lián)科技有限公司、杭州依圖醫(yī)療技術(shù)有限公司。ⅣT/CSBME064—2022引言骨齡作為兒童青少年內(nèi)分泌疾病診治及生長發(fā)育水平評估最常用的臨床工具之一,是骨骼實際發(fā)育程度與標(biāo)準(zhǔn)發(fā)育程度比較而得到,不受個體高度影響,與生理年齡對比,更能客觀反映身體發(fā)育成熟度。手腕部骨齡測定廣泛應(yīng)用于兒科內(nèi)分泌、兒童保健、法醫(yī)學(xué)和運動醫(yī)學(xué)等領(lǐng)域,對評價男女兒童青少年的骨發(fā)育情況、預(yù)測生長潛能、早期發(fā)現(xiàn)有骨齡異常的內(nèi)分泌和遺傳代謝性疾病,對有關(guān)疾病的診治和療效判斷具有重要意義。提升手腕部骨齡檢測的技術(shù)水平,制定針對適齡兒童青少年的骨齡檢測標(biāo)準(zhǔn)的需求十分迫切。利用人工智能技術(shù)結(jié)合大數(shù)據(jù)研發(fā)的骨齡輔助診斷產(chǎn)品可以有效地提升兒童青少年骨齡評估效率以及準(zhǔn)確性。本文件的制定期望解決當(dāng)前骨齡輔助診斷人工智能醫(yī)療器械缺乏數(shù)據(jù)集質(zhì)量評價標(biāo)準(zhǔn)的問題。T/CSBME064—20221骨齡輔助診斷人工智能醫(yī)療器械質(zhì)量要求與評價第1部分:數(shù)據(jù)集本文件規(guī)定了骨齡輔助診斷人工智能醫(yī)療器械所使用的數(shù)據(jù)集的質(zhì)量要求和評價標(biāo)準(zhǔn),描述了對應(yīng)的評價方法。本文件適用于骨齡輔助診斷人工智能醫(yī)療器械所使用的數(shù)據(jù)集的驗證與評估,以及醫(yī)療機構(gòu)、研究機構(gòu)、企業(yè)等對骨齡輔助診斷人工智能醫(yī)療器械的設(shè)計、研發(fā)和管理,其他相關(guān)領(lǐng)域可參考使用。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中,注日期的引用文件,僅該日期對應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本文件。GB/T5271.28—2001信息技術(shù)詞匯第28部分:人工智能基本概念與專家系統(tǒng)TY/T3001—2006中國青少年兒童手腕骨成熟度及評價方法YY/T0723—2009醫(yī)用電氣設(shè)備醫(yī)學(xué)數(shù)字影像和通訊(DICOM)放射治療對象YY/T1833.1人工智能醫(yī)療器械質(zhì)量要求和評價第1部分:術(shù)語I5O12052健康信息學(xué)醫(yī)學(xué)數(shù)字成像和通訊(DICOM),包括工作流和數(shù)據(jù)管理[Healthinfor-matiCs—DigitalimagingandCommuniCationinmediCine(DICOM)inCludingworkflowanddataman-agement]3術(shù)語和定義GB/T5271.28—2001、YY/T0723—2009、YY/T1833.1界定的以及下列術(shù)語和定義適用于本文件。3.1數(shù)據(jù)data信息的可再解釋的形式化表示,以適用于通信、解釋或處理。[來源:GB/T25000.12—2017,4.2]3.2數(shù)據(jù)質(zhì)量dataquality在指定條件下使用時,數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。[來源:GB/T25000.12—2017,4.3]3.3數(shù)據(jù)集dataset數(shù)據(jù)記錄匯聚的數(shù)據(jù)形式。T/CSBME064—202223.4數(shù)據(jù)治理datagovernance對數(shù)據(jù)進(jìn)行處置、格式化和規(guī)范化的過程。3.5數(shù)據(jù)清洗datacleaning檢測和修正數(shù)據(jù)集合中錯誤數(shù)據(jù)項以及對數(shù)據(jù)進(jìn)行平滑處理等操作的數(shù)據(jù)預(yù)處理過程。3.6個人信息personalinformation以電子或者其他方式記錄的能夠單獨或者與其他信息結(jié)合識別特定自然人身份或者反映特定自然人活動情況的各種信息。[來源:GB/T35273—2020,3.1]3.7匿名化anonymization通過對個人信息的技術(shù)處理,使得個人信息主體無法被識別或者關(guān)聯(lián),且處理后的信息不能被復(fù)原的過程。[來源:GB/T35273—2020,3.14]3.8手腕骨skeletonofhandandwrist構(gòu)成手的諸關(guān)節(jié)和橈尺遠(yuǎn)端關(guān)節(jié)的骨。注:包括橈骨遠(yuǎn)端、尺骨遠(yuǎn)端,腕骨,掌骨,近節(jié)指骨,中節(jié)指骨,遠(yuǎn)節(jié)指骨。[來源:TY/T3001—2006,3.2]4縮略語下列縮略語適用于本文件。ETL:提取、轉(zhuǎn)換和加載(ExtraCt-Transform-Load)5數(shù)據(jù)集數(shù)據(jù)類型為手腕骨的X射線影像,影像存儲格式應(yīng)符合I5O12052中對DICOM格式的要求。為保證數(shù)據(jù)集具有充分的臨床代表性,控制數(shù)據(jù)集偏倚,宜充分考慮數(shù)據(jù)的多樣性,包括如下情況:a)考慮受試者人群差異:數(shù)據(jù)宜覆蓋全國各主要區(qū)域,至少包括南部和北部;b)考慮設(shè)備差異:數(shù)據(jù)納入范圍宜覆蓋不少于3個廠商的設(shè)備;C)考慮預(yù)期使用者代表性:在符合臨床病例分布的基礎(chǔ)上,數(shù)據(jù)集中各年齡段樣本量宜盡量均衡,宜納入青春后期病例,以驗證骨齡輔助診斷模型在各個年齡段的泛化性能。5.3數(shù)據(jù)完備性數(shù)據(jù)集中的數(shù)據(jù)應(yīng)具備受試者基本信息,包括年齡、性別、民族、省份、影像學(xué)判讀結(jié)果。T/CSBME064—202236數(shù)據(jù)采集數(shù)據(jù)集文檔應(yīng)采用技術(shù)手段保護(hù)受試者隱私,制定適當(dāng)?shù)臄?shù)據(jù)脫敏或匿名化規(guī)則,明確個人信息脫敏內(nèi)容(包括但不限于身份證號碼、姓名、地址、電話號碼、電子郵件、社保號碼、病歷編號、醫(yī)療保險號碼、銀行賬戶號碼以及其他可用于識別的編碼或特征)。為保證每張樣片都成功匿名,脫敏后由人工進(jìn)行檢查確認(rèn)。采集設(shè)備應(yīng)為注冊上市產(chǎn)品。采集參數(shù)依據(jù)X射線照射劑量最小化設(shè)置,拍攝條件宜在1mAs~15mAs,40kvp~80kvp范圍內(nèi)。存儲格式應(yīng)符合I5O12052對DICOM對格式的要求。影像拍攝操作應(yīng)按照TY/T3001—2006對影像拍攝的規(guī)范要求進(jìn)行拍攝。7數(shù)據(jù)整理數(shù)據(jù)清洗旨在對用于模型訓(xùn)練的影像數(shù)據(jù)進(jìn)行完備性和邏輯性檢查,應(yīng)明確統(tǒng)一的清洗規(guī)則、清洗方法、預(yù)期結(jié)果等。數(shù)據(jù)清洗規(guī)則包括但不限于非空檢核、主鍵重復(fù)檢核、非法值清洗、數(shù)據(jù)格式檢核、記錄數(shù)檢核。數(shù)據(jù)清洗方法包括但不限于缺失數(shù)據(jù)處理、相似重復(fù)對象監(jiān)測、異常數(shù)據(jù)處理、數(shù)據(jù)不一致性監(jiān)測等。7.2數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理應(yīng)對X射線影像數(shù)據(jù)進(jìn)行組織格式、有效性、相關(guān)信息的提取過程進(jìn)行規(guī)范化統(tǒng)一數(shù)據(jù)治理,提高數(shù)據(jù)質(zhì)量,包括但不限于格式轉(zhuǎn)換、歸一化整理、更正及修復(fù)錯誤數(shù)據(jù)等。8數(shù)據(jù)標(biāo)注標(biāo)注人員分為初級標(biāo)注人員、審核人員、仲裁人員三種角色,應(yīng)滿足以下要求。a)骨齡閱片1年及以上工作時間,并且骨齡閱片量超過1千例。b)參與標(biāo)注前,應(yīng)統(tǒng)一接受必要的培訓(xùn),培訓(xùn)內(nèi)容包括但不限于標(biāo)注規(guī)則、標(biāo)注流程、術(shù)語和定義、樣本總體描述、相關(guān)案例等,所用案例應(yīng)獨立于待標(biāo)注樣本。培訓(xùn)宜設(shè)置標(biāo)注人員培訓(xùn)合格標(biāo)準(zhǔn),宜選擇與標(biāo)準(zhǔn)判讀結(jié)果吻合率和重復(fù)率在90%以上的醫(yī)師作為標(biāo)注人員。C)審核人員、仲裁人員一般應(yīng)由數(shù)據(jù)集建設(shè)實施單位聘請行業(yè)內(nèi)知名專家擔(dān)任。標(biāo)注流程分為骨齡片合規(guī)性判斷和手腕骨發(fā)育等級標(biāo)注。T/CSBME064—20224標(biāo)注人員應(yīng)首先對待標(biāo)注樣本進(jìn)行合規(guī)性判斷,若判定不合規(guī),則“跳過”該片,不計入標(biāo)注數(shù)據(jù)庫。骨齡片拍攝不合規(guī)的情況包含但不限于:手指拍攝不全、橈尺骨骨骺拍攝不全、手指嚴(yán)重蜷曲等。手腕骨發(fā)育登記標(biāo)注宜采用兩標(biāo)一審的模式:即先由兩位標(biāo)注人員行盲法獨立標(biāo)注同一份病例,再由審核人員對結(jié)果審核并給出最終的骨發(fā)育等級評價。審核人員對有歧義的病例,應(yīng)核實標(biāo)準(zhǔn)骨齡圖譜和文字,并進(jìn)行必要的測量,糾正標(biāo)注人員的主觀認(rèn)知偏差以及偶然的標(biāo)注失誤。如果標(biāo)注人員和審核人員仍存在歧義,則請仲裁人員給出最終結(jié)果。9符合性評價9.1數(shù)據(jù)集符合性評價對照數(shù)據(jù)集說明文檔,對整個數(shù)據(jù)集開展統(tǒng)計分析,檢查數(shù)據(jù)集所包含的數(shù)據(jù)類型應(yīng)符合5.1的要求。對照數(shù)據(jù)集說明文檔,對整個數(shù)據(jù)集的樣本來源地、采集設(shè)備、受試者年齡開展統(tǒng)計分析,檢查數(shù)據(jù)集是否從受試者人群差異、設(shè)備差異、預(yù)期使用者的代表性的角度符合5.2的要求。對數(shù)據(jù)集中的數(shù)據(jù)應(yīng)具備受試者基本信息,包括年齡、性別、民族、省份、影像學(xué)判讀結(jié)果,符合5.3的要求。9.2數(shù)據(jù)采集符合性評價9.2.1倫理批準(zhǔn)與患者隱私保護(hù)對照數(shù)據(jù)集說明文檔,對數(shù)據(jù)集開展隨機抽樣驗證,對抽樣樣本集數(shù)據(jù)的相關(guān)機構(gòu)批準(zhǔn)文檔和數(shù)據(jù)脫敏情況進(jìn)行檢查,應(yīng)符合6.1的要求。對照數(shù)據(jù)集說明文檔,對數(shù)據(jù)集開展隨機抽樣驗證,按照I5O12052進(jìn)行檢查,應(yīng)符合6.2的要求。按照TY/T3001—2006影像拍攝操作要求進(jìn)行實際操作,將采集的數(shù)據(jù)對照數(shù)據(jù)集說明文檔,對數(shù)據(jù)集進(jìn)行驗證,應(yīng)符合6.3的要求。9.3數(shù)據(jù)整理符合性評價對照數(shù)據(jù)集說明文檔,對數(shù)據(jù)集開展隨機抽樣驗證,對抽樣樣本集數(shù)據(jù)的清洗規(guī)則、方法和結(jié)果進(jìn)對照數(shù)據(jù)集說明文檔,對數(shù)據(jù)集開展隨機抽樣驗證,對抽樣樣本集數(shù)據(jù)預(yù)處理的方法、所使用的軟T/CSBME064—20225件工具(如ETL工具)等進(jìn)行檢查,應(yīng)符合7.2的要求。9.4數(shù)據(jù)標(biāo)注符合性評價對數(shù)據(jù)集開展隨機抽樣驗證,對照數(shù)據(jù)集的說明文檔,對抽樣樣本集的數(shù)據(jù)標(biāo)注人員的資質(zhì)進(jìn)行檢查,應(yīng)符合8.1的要求。對