工業(yè)數(shù)據(jù)流通數(shù)據(jù)質(zhì)量管理規(guī)范

1工業(yè)數(shù)據(jù)流通數(shù)據(jù)質(zhì)量管理規(guī)范本文件給出了工業(yè)數(shù)據(jù)流通中數(shù)據(jù)質(zhì)量的總體要求和職責(zé)要求，規(guī)定了數(shù)據(jù)質(zhì)量管理指標(biāo)、質(zhì)量管理流程、質(zhì)量管理工具等方面的要求。本文件適用于工業(yè)數(shù)據(jù)流通過(guò)程中對(duì)工業(yè)數(shù)據(jù)進(jìn)行質(zhì)量管理的工作。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T36344-2018信息技術(shù)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1工業(yè)數(shù)據(jù)industrialdata在工業(yè)領(lǐng)域中，涉及企業(yè)的所有生產(chǎn)活動(dòng)和服務(wù)所產(chǎn)生的數(shù)據(jù)。[來(lái)源：GB/T42128-2022，3.1.1]3.2數(shù)據(jù)質(zhì)量dataquality數(shù)據(jù)的一組固有特性滿足要求的程度。[來(lái)源：GB/T39400-2020,3.1]3.3數(shù)據(jù)質(zhì)量管理dataqualitymanagement指導(dǎo)和控制某機(jī)構(gòu)數(shù)據(jù)質(zhì)量的協(xié)調(diào)活動(dòng)。[來(lái)源：GB/T39400-2020,3.2]3.4數(shù)據(jù)質(zhì)量管理工具dataqualitymanagementtool運(yùn)用信息化技術(shù)和管理方法來(lái)規(guī)劃、實(shí)施與控制數(shù)據(jù)質(zhì)量的識(shí)別、評(píng)估、提升等一系列活動(dòng)。4總體要求工業(yè)數(shù)據(jù)流通過(guò)程中，相關(guān)單位應(yīng)按本文件的要求建立數(shù)據(jù)質(zhì)量管理體系，編寫出臺(tái)相應(yīng)的文件，在執(zhí)行過(guò)程中應(yīng)對(duì)其有效性進(jìn)行持續(xù)改進(jìn)，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的持續(xù)提高。具體包括：2DB21/TXXXXX—XXXXa）識(shí)別數(shù)據(jù)質(zhì)量管理工作覆蓋的范圍，確定數(shù)據(jù)質(zhì)量管理涉及的環(huán)節(jié)和流程；b）確定這些環(huán)節(jié)和流程的順序和相互關(guān)系；c）確定所需采取的準(zhǔn)則和方法,以確保這些環(huán)節(jié)和流程的運(yùn)行及控制有效；d）確保管理職責(zé)明晰、保障機(jī)制健全，以支持這些環(huán)節(jié)和流程的運(yùn)行和監(jiān)控；e）對(duì)這些環(huán)節(jié)和流程進(jìn)行分析、監(jiān)督和考核；f）采取必要的措施，以實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理目標(biāo)和對(duì)這些環(huán)節(jié)和流程的持續(xù)改進(jìn)。5職責(zé)要求數(shù)據(jù)質(zhì)量管理者應(yīng)對(duì)本單位與數(shù)據(jù)質(zhì)量管理相關(guān)的工作作出規(guī)定，具有以下方面的職責(zé)：a）指導(dǎo)推進(jìn)、監(jiān)督考核本單位工業(yè)數(shù)據(jù)流通、利用相關(guān)工作；b）根據(jù)需要確保按照本文件的要求，建立、實(shí)施、保持并持續(xù)改進(jìn)數(shù)據(jù)質(zhì)量管理體系；c）提出工業(yè)數(shù)據(jù)的數(shù)據(jù)目錄規(guī)范、數(shù)據(jù)質(zhì)量指標(biāo)要求，制定數(shù)據(jù)質(zhì)量管理規(guī)則，確保數(shù)據(jù)質(zhì)量管理工作有明確的目標(biāo)和評(píng)估標(biāo)準(zhǔn)；d）向最高管理者報(bào)告數(shù)據(jù)質(zhì)量管理情況和改進(jìn)需求，提供數(shù)據(jù)質(zhì)量監(jiān)測(cè)和評(píng)估報(bào)告；e）負(fù)責(zé)與數(shù)據(jù)質(zhì)量管理工作有關(guān)的外部聯(lián)系工作；f）對(duì)其他部門提出的數(shù)據(jù)質(zhì)量要求及時(shí)進(jìn)行處理和反饋，定期執(zhí)行數(shù)據(jù)質(zhì)量評(píng)估。6數(shù)據(jù)質(zhì)量管理指標(biāo)工業(yè)數(shù)據(jù)質(zhì)量管理指標(biāo)框架見圖1，應(yīng)基于此框架對(duì)工業(yè)數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量的符合性評(píng)價(jià)。圖1質(zhì)量管理指標(biāo)框架各質(zhì)量特性的說(shuō)明如下：a）規(guī)范性：數(shù)據(jù)符合數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、業(yè)務(wù)規(guī)則、元數(shù)據(jù)、權(quán)威參考數(shù)據(jù)及安全規(guī)范的程度。1)數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)的命名、定義、結(jié)構(gòu)和取值規(guī)范方面的規(guī)則和基準(zhǔn)。2)數(shù)據(jù)模型是對(duì)分析的圖像和文本表述，該分析識(shí)別了組織為完成其使命、功能、目標(biāo)、目的和戰(zhàn)略，以及管理和評(píng)價(jià)組織所需要的數(shù)據(jù)。3)業(yè)務(wù)規(guī)則是一種權(quán)威性原則或指導(dǎo)方針，用來(lái)描述業(yè)務(wù)交互，并建立行動(dòng)和數(shù)據(jù)行為結(jié)果及完整性的規(guī)則。4)元數(shù)據(jù)是關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)(可能包括其數(shù)據(jù)描述)，以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪問(wèn)權(quán)和數(shù)據(jù)易變性的數(shù)據(jù)。5)權(quán)威參考數(shù)據(jù)是系統(tǒng)、應(yīng)用軟件、數(shù)據(jù)庫(kù)、流程、報(bào)告或平臺(tái)日志記錄用來(lái)參考的特定字段的有效數(shù)據(jù)集合。6)安全規(guī)范是安全和隱私方面的規(guī)則，包括數(shù)據(jù)權(quán)限管理、數(shù)據(jù)脫敏處理。b）完整性：按照數(shù)據(jù)規(guī)則要求，數(shù)據(jù)元素被賦予數(shù)值的程度。即數(shù)據(jù)信息是否存在缺失的狀況，包括數(shù)據(jù)元素完整性和數(shù)據(jù)記錄完整性；3c）準(zhǔn)確性：數(shù)據(jù)準(zhǔn)確表示其所描述的真實(shí)實(shí)體(實(shí)體對(duì)象)真實(shí)值的程度，即數(shù)據(jù)記錄的信息是否存在異?；蝈e(cuò)誤，包括數(shù)據(jù)內(nèi)容正確性、數(shù)據(jù)格式合規(guī)性、數(shù)據(jù)重復(fù)率、數(shù)據(jù)唯一性、臟數(shù)據(jù)出現(xiàn)率；d）一致性：數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無(wú)矛盾的程度，即數(shù)據(jù)是否遵循了統(tǒng)一的規(guī)范數(shù)據(jù)集合是否保持了統(tǒng)一的格式，主要體現(xiàn)在數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)是否符合邏輯，包括相同數(shù)據(jù)一致性和關(guān)聯(lián)數(shù)據(jù)一致性；e）時(shí)效性：數(shù)據(jù)在時(shí)間變化中的正確程度，包括基于時(shí)間段的正確性、基于時(shí)間點(diǎn)及時(shí)性、時(shí)序性；f）可訪問(wèn)性：數(shù)據(jù)能被訪問(wèn)的程度，包括可訪問(wèn)和可用性。數(shù)據(jù)質(zhì)量管理過(guò)程中數(shù)據(jù)質(zhì)量評(píng)價(jià)應(yīng)按GB/T36344-2018的規(guī)定進(jìn)行。注：由于工業(yè)產(chǎn)品生命周期同一階段的數(shù)據(jù)具有強(qiáng)關(guān)聯(lián)性，如產(chǎn)品零部件組成、工況、設(shè)備狀態(tài)、維修情況、零部件經(jīng)營(yíng)流程具有較強(qiáng)時(shí)序性。因此，工業(yè)數(shù)據(jù)質(zhì)量特性評(píng)價(jià)宜側(cè)重7質(zhì)量管理流程7.1概述工業(yè)數(shù)據(jù)質(zhì)量管理應(yīng)貫穿于工業(yè)數(shù)據(jù)流通的各個(gè)階段，數(shù)據(jù)質(zhì)量管理者應(yīng)按照數(shù)據(jù)質(zhì)量管理的要求，對(duì)影響數(shù)據(jù)質(zhì)量的數(shù)據(jù)流程加以識(shí)別，制定管理措施，并實(shí)施流程控制，從數(shù)據(jù)采集源頭開始疏理數(shù)據(jù)流向，識(shí)別影響數(shù)據(jù)質(zhì)量的數(shù)據(jù)流程，關(guān)鍵流程至少應(yīng)包括數(shù)據(jù)采集、數(shù)據(jù)審核、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)更正等。7.2數(shù)據(jù)采集數(shù)據(jù)質(zhì)量管理者應(yīng)明確數(shù)據(jù)采集流程的工序、內(nèi)容和崗位職責(zé)，編制程序文件和相應(yīng)的作業(yè)指導(dǎo)文件。在數(shù)據(jù)采集工作中應(yīng)滿足以下要求：a）數(shù)據(jù)事權(quán)部門應(yīng)制定基礎(chǔ)數(shù)據(jù)采集的業(yè)務(wù)規(guī)則，并負(fù)責(zé)監(jiān)督在各級(jí)各類相關(guān)系統(tǒng)中實(shí)現(xiàn)；b）承擔(dān)數(shù)據(jù)采集任務(wù)的操作人員應(yīng)由數(shù)據(jù)事權(quán)部門培訓(xùn)考核后上崗，數(shù)據(jù)事權(quán)部門對(duì)于保證數(shù)據(jù)的規(guī)范性、完整性、準(zhǔn)確性、一致性、時(shí)效性等質(zhì)量特性具有指導(dǎo)的義務(wù)和責(zé)任；c）基礎(chǔ)數(shù)據(jù)應(yīng)與相關(guān)標(biāo)準(zhǔn)所定義的數(shù)據(jù)項(xiàng)集合相吻合，以保證原始數(shù)據(jù)的完整性；d）基礎(chǔ)數(shù)據(jù)中的數(shù)據(jù)項(xiàng)應(yīng)和數(shù)據(jù)項(xiàng)名稱對(duì)應(yīng)的標(biāo)準(zhǔn)數(shù)據(jù)代碼相吻合，且符合相關(guān)標(biāo)準(zhǔn)規(guī)定的邏輯校驗(yàn)關(guān)系，并且同時(shí)符合數(shù)據(jù)項(xiàng)名稱表征的客觀實(shí)體，以保證原始數(shù)據(jù)的準(zhǔn)確性；e）基礎(chǔ)數(shù)據(jù)中的數(shù)據(jù)項(xiàng)應(yīng)和工業(yè)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)定的數(shù)據(jù)屬性相吻合，以保證原始數(shù)據(jù)的規(guī)范性；f）基礎(chǔ)數(shù)據(jù)應(yīng)和數(shù)據(jù)事權(quán)部門操作日志所記載的最末一次數(shù)據(jù)屬性相吻合，以保證原始數(shù)據(jù)的時(shí)效性和一致性。7.3數(shù)據(jù)審核數(shù)據(jù)質(zhì)量管理者應(yīng)明確數(shù)據(jù)審核流程的工序、內(nèi)容和崗位職責(zé)，編制程序文件和相應(yīng)的作業(yè)指導(dǎo)文件。在數(shù)據(jù)審核工作中滿足以下要求：a）數(shù)據(jù)事權(quán)部門應(yīng)建立基礎(chǔ)數(shù)據(jù)采集的審核程序，對(duì)錄入系統(tǒng)的數(shù)據(jù)質(zhì)量進(jìn)行審核；b）在基礎(chǔ)數(shù)據(jù)的采集過(guò)程中，數(shù)據(jù)事權(quán)部門應(yīng)采用抽驗(yàn)方式對(duì)所錄入數(shù)據(jù)的質(zhì)量進(jìn)行人工或計(jì)算機(jī)檢驗(yàn)，抽驗(yàn)樣本數(shù)量應(yīng)按一定比率進(jìn)行抽取，抽驗(yàn)樣本周期和抽驗(yàn)樣本數(shù)據(jù)跨度應(yīng)分別控制在規(guī)定時(shí)間之內(nèi)；c）對(duì)錄入數(shù)據(jù)采用了計(jì)算機(jī)自動(dòng)審核方式的，應(yīng)建立相應(yīng)的審核制度和規(guī)程；d）應(yīng)保持上述質(zhì)量審核的全部證實(shí)性記錄。7.4數(shù)據(jù)校驗(yàn)4DB21/TXXXXX—XXXX數(shù)據(jù)質(zhì)量管理者應(yīng)明確數(shù)據(jù)校驗(yàn)流程的工序、內(nèi)容和崗位職責(zé)，編制程序文件和相應(yīng)的作業(yè)指導(dǎo)文件。在數(shù)據(jù)校驗(yàn)工作中中滿足以下要求：a）數(shù)據(jù)事權(quán)部門應(yīng)建立在線校驗(yàn)程序和相關(guān)校驗(yàn)規(guī)程，對(duì)在線數(shù)據(jù)規(guī)范性、完整性、準(zhǔn)確性、一致性、時(shí)效性等質(zhì)量特性進(jìn)行校驗(yàn)；b）相關(guān)部門應(yīng)設(shè)立相應(yīng)的數(shù)據(jù)檢驗(yàn)管理崗位，承擔(dān)在線數(shù)據(jù)校驗(yàn)管理職責(zé)，對(duì)校驗(yàn)結(jié)果進(jìn)行統(tǒng)一匯總及處置；c）有針對(duì)性地制定相應(yīng)的校驗(yàn)方法，對(duì)不同數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行交叉校驗(yàn)；d）應(yīng)保持上述數(shù)據(jù)校驗(yàn)的證實(shí)性記錄。7.5數(shù)據(jù)更正數(shù)據(jù)質(zhì)量管理者應(yīng)明確數(shù)據(jù)更正流程的工序和內(nèi)容，編制程序文件和相應(yīng)的作業(yè)指導(dǎo)文件。在數(shù)據(jù)更正工作中滿足以下要求：a）數(shù)據(jù)質(zhì)量管理部門和數(shù)據(jù)事權(quán)部門應(yīng)建立數(shù)據(jù)更正的業(yè)務(wù)規(guī)則，并負(fù)責(zé)監(jiān)督、指導(dǎo)各級(jí)部門對(duì)業(yè)務(wù)規(guī)則的執(zhí)行，對(duì)拒不執(zhí)行的部門，數(shù)據(jù)質(zhì)量管理部門和數(shù)據(jù)事權(quán)部門有權(quán)終止違規(guī)者的更正操作；b）在基礎(chǔ)數(shù)據(jù)審核或校驗(yàn)過(guò)程中，若發(fā)現(xiàn)質(zhì)量不合格的數(shù)據(jù)，應(yīng)要求采集人員重新核對(duì)，經(jīng)確認(rèn)后，對(duì)原錄入數(shù)據(jù)進(jìn)行更正；c）對(duì)外部受眾投訴的數(shù)據(jù)質(zhì)量問(wèn)題，應(yīng)啟動(dòng)更正程序，及時(shí)更正來(lái)自外部發(fā)現(xiàn)的質(zhì)量不合格數(shù)據(jù)；d）數(shù)據(jù)事權(quán)部門和數(shù)據(jù)質(zhì)量管理部門應(yīng)保持上述數(shù)據(jù)更正的證實(shí)性記錄。8質(zhì)量管理工具8.1數(shù)據(jù)質(zhì)量管理規(guī)則數(shù)據(jù)質(zhì)量管理規(guī)則要求包括但不限于：a）應(yīng)支持根據(jù)數(shù)據(jù)質(zhì)量特性自定義質(zhì)量維度；b）應(yīng)支持關(guān)聯(lián)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，進(jìn)行基礎(chǔ)規(guī)則定義。包括但不限于空值校驗(yàn)、值域校驗(yàn)、格式校驗(yàn)、長(zhǎng)度校驗(yàn)、精度校驗(yàn)、唯一性約束校驗(yàn)、主外鍵校驗(yàn)等；c）應(yīng)支持根據(jù)基礎(chǔ)規(guī)則和平臺(tái)應(yīng)用場(chǎng)景自定義業(yè)務(wù)規(guī)則；d）應(yīng)通過(guò)自定義SQL語(yǔ)句等方式完成對(duì)數(shù)據(jù)質(zhì)量的檢核。8.2數(shù)據(jù)質(zhì)量檢測(cè)任務(wù)數(shù)據(jù)質(zhì)量檢測(cè)任務(wù)要求包括但不限于：a）應(yīng)支持質(zhì)量檢測(cè)任務(wù)的創(chuàng)建；b）應(yīng)支持檢測(cè)任務(wù)調(diào)度規(guī)則的設(shè)定；c）應(yīng)支持手動(dòng)執(zhí)行與自動(dòng)執(zhí)行檢測(cè)任務(wù)，支持手動(dòng)、定時(shí)、輪詢、每周、自定義等多種調(diào)度規(guī)則；d）應(yīng)支持質(zhì)量檢測(cè)任務(wù)運(yùn)維，查看任務(wù)執(zhí)行日志、任務(wù)調(diào)度次數(shù)等；e）應(yīng)支持問(wèn)題數(shù)據(jù)的查詢與導(dǎo)出；f）應(yīng)支持未達(dá)標(biāo)數(shù)據(jù)的查詢與導(dǎo)出。注1：?jiǎn)栴}數(shù)據(jù)是指平臺(tái)設(shè)置數(shù)據(jù)庫(kù)表中合格注2：未達(dá)標(biāo)數(shù)據(jù)是未達(dá)到平臺(tái)設(shè)置的數(shù)據(jù)質(zhì)量特性合格8.3數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)質(zhì)量監(jiān)控要求包括但不限于：a）應(yīng)支持對(duì)數(shù)據(jù)進(jìn)行監(jiān)控，明確數(shù)據(jù)的來(lái)源和去向；5b）應(yīng)支持對(duì)規(guī)則校驗(yàn)的結(jié)果進(jìn)行監(jiān)控和分析，校驗(yàn)結(jié)果應(yīng)定位到原始數(shù)據(jù)項(xiàng)。8.4數(shù)據(jù)質(zhì)量報(bào)警應(yīng)支持問(wèn)題數(shù)據(jù)的報(bào)警。8.5數(shù)據(jù)質(zhì)量檢測(cè)報(bào)告數(shù)據(jù)質(zhì)量檢測(cè)報(bào)告要求包括但不限于：a）應(yīng)支持對(duì)校驗(yàn)結(jié)果進(jìn)行記錄并生成檢測(cè)報(bào)告，檢測(cè)報(bào)告的內(nèi)容包括但不限于：1）歷史檢測(cè)記錄的數(shù)據(jù)波動(dòng)，以及本次質(zhì)量檢測(cè)執(zhí)行時(shí)間、檢測(cè)結(jié)果等基本信息；2）對(duì)應(yīng)數(shù)據(jù)的動(dòng)態(tài)質(zhì)量變化情況；3）每項(xiàng)業(yè)務(wù)規(guī)則檢測(cè)數(shù)據(jù)量、問(wèn)題數(shù)據(jù)量、合格率等詳細(xì)信息。b）應(yīng)支持在線查看每項(xiàng)業(yè)務(wù)規(guī)則問(wèn)題數(shù)據(jù)的詳情；c）應(yīng)支持打包下載對(duì)應(yīng)的問(wèn)題數(shù)據(jù)；d）應(yīng)支持?jǐn)?shù)據(jù)質(zhì)量檢測(cè)報(bào)告的查看和下載。8.6數(shù)據(jù)質(zhì)量檢測(cè)報(bào)告分析數(shù)據(jù)質(zhì)量檢測(cè)報(bào)告分析要求包括但不限于：a）應(yīng)具備對(duì)檢測(cè)報(bào)告進(jìn)行綜合性分析的功能，包括但不限于以下內(nèi)容：1）應(yīng)支持通過(guò)多維度的分析報(bào)告來(lái)展示質(zhì)量檢測(cè)總體結(jié)果，包含檢測(cè)數(shù)據(jù)來(lái)源、檢測(cè)時(shí)間、綜合得分、檢測(cè)數(shù)據(jù)量、合格數(shù)據(jù)量、規(guī)則數(shù)目、檢測(cè)資源數(shù)目等基本信息，和各個(gè)質(zhì)量維度下每項(xiàng)的得分，以及此次檢測(cè)數(shù)據(jù)的短板問(wèn)題所屬維度；2）應(yīng)支持展示每項(xiàng)業(yè)務(wù)規(guī)則的詳細(xì)檢測(cè)內(nèi)容，如每項(xiàng)的檢測(cè)數(shù)據(jù)總數(shù)、問(wèn)題數(shù)據(jù)數(shù)目，合格率、問(wèn)題數(shù)據(jù)分布情況等；3）應(yīng)支持通過(guò)評(píng)分報(bào)告詳情展示每項(xiàng)規(guī)則對(duì)應(yīng)的得分情況及對(duì)應(yīng)的比分權(quán)重，體現(xiàn)不同規(guī)則的重要程度，并對(duì)高權(quán)重質(zhì)量規(guī)則進(jìn)行著重分析處理；4）應(yīng)支持每個(gè)業(yè)務(wù)規(guī)則橫向?qū)Ρ龋峁┖暧^的檢測(cè)報(bào)告分析，展示數(shù)據(jù)質(zhì)量問(wèn)題的分布。b）應(yīng)具備對(duì)檢測(cè)報(bào)告進(jìn)行統(tǒng)計(jì)分析的功能，包括但不限于以下內(nèi)容：1）應(yīng)支持通過(guò)圖表的形式展示數(shù)據(jù)質(zhì)量概覽信息；2）應(yīng)支持按照數(shù)據(jù)源目錄層級(jí)，即分層分域原則，按照指定的業(yè)務(wù)層級(jí)如區(qū)域、部門、指定表等