DB3704T 0041-2024一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚治理規(guī)范

ICS35.020CCSL80DB37044IDB3704/T0041-2024 II一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚治理規(guī)范 1 12規(guī)范性引用文件 13術(shù)語和定義 14總體要求 25總體架構(gòu) 26匯聚治理流程 37數(shù)據(jù)匯聚要求 48數(shù)據(jù)治理要求 69數(shù)據(jù)安全保護要求 8附錄A（資料性） 9DB3704/T0041-2024本文件按照GB/T1.1-2020《標準化工作導(dǎo)則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。DB3704/T0041-20241一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚治理規(guī)范本文件規(guī)定了一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚和治理的總體架構(gòu)、總體要求、匯聚治理流程、數(shù)據(jù)匯聚要求、數(shù)據(jù)治理要求和數(shù)據(jù)安全保護要求。本文件適用政務(wù)數(shù)據(jù)、公共數(shù)據(jù)以及社會數(shù)據(jù)通過棗莊市一體化大數(shù)據(jù)平臺進行數(shù)據(jù)匯聚治理的實施和管理。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件,僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T18391.1-2009信息技術(shù)元數(shù)據(jù)注冊系統(tǒng)(MDR)第1部分：框架GB/T22239-2019信息安全技術(shù)網(wǎng)絡(luò)安全等級保護基本要求GB/T34960.5-2018信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范GB/T35273-2020信息安全技術(shù)個人信息安全規(guī)范GB/T35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評價指標GB/T38664.1-2020信息技術(shù)大數(shù)據(jù)政務(wù)數(shù)據(jù)開放共享第1部分：總則GB/T38664.2-2020信息技術(shù)大數(shù)據(jù)政務(wù)數(shù)據(jù)開放共享第2部分：基本要求GB/T39477-2020信息安全技術(shù)政務(wù)信息共享數(shù)據(jù)安全技術(shù)要求DB37/T4646.1-2023公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范第1部分：數(shù)據(jù)歸集3術(shù)語和定義GB/T35295-2017界定的以及下列術(shù)語和定義適用于本文件。3.1政務(wù)數(shù)據(jù)各級政務(wù)部門及其技術(shù)支撐單位在履行職責過程中依法采集、生成、存儲、管理的各類數(shù)據(jù)資源。注:根據(jù)可傳播范圍,政務(wù)數(shù)據(jù)一般包括可共享政務(wù)數(shù)據(jù)、可開放公共數(shù)據(jù)及不宜開放共享政務(wù)數(shù)據(jù)。[來源:GB/T38664.1-2020，3.1]3.2數(shù)據(jù)匯聚大數(shù)據(jù)業(yè)務(wù)主管部門根據(jù)數(shù)據(jù)管理和共享服務(wù)需求采集各類數(shù)據(jù)資源的活動。3.3數(shù)據(jù)治理數(shù)據(jù)資源及其應(yīng)用過程中相關(guān)管控活動、績效和風險管理的集合。DB3704/T0041-20242[來源:GB/T34960.5-2018，3.1]3.4數(shù)據(jù)管理數(shù)據(jù)資源獲取、控制、價值提升等活動的集合。[來源:GB/T34960.5-2018，3.2]3.5元數(shù)據(jù)定義和描述其他數(shù)據(jù)的數(shù)據(jù)。[來源:GB/T18391.1-2009，3.2.16]3.6數(shù)據(jù)生命周期數(shù)據(jù)獲取、存儲、治理、整合、分析、應(yīng)用、歸檔和銷毀等各種生存形態(tài)變化的過程。3.7數(shù)據(jù)提供方在數(shù)據(jù)資源匯聚、治理、應(yīng)用過程中，提供數(shù)據(jù)資源的數(shù)據(jù)權(quán)屬單位。3.8數(shù)據(jù)需求方在數(shù)據(jù)資源共享開放和應(yīng)用過程中，提出使用需求或者申請使用數(shù)據(jù)的單位。4總體要求本標準針對一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚治理提出要求，總體上應(yīng)滿足以下要求：a)數(shù)據(jù)匯聚治理安全應(yīng)符合GB/T38664.2-2020的要求。b)應(yīng)根據(jù)數(shù)據(jù)不同的業(yè)務(wù)更新周期建立高速及時的匯聚通道，確保數(shù)據(jù)的及時性。c)應(yīng)記錄并保留匯聚治理過程中歷史數(shù)據(jù)的變化和移動情況，確保數(shù)據(jù)生命周期的可追溯性。d)數(shù)據(jù)匯聚治理過程中不應(yīng)造成數(shù)據(jù)的缺失和遺漏，確保數(shù)據(jù)的完整性。e)應(yīng)如實準確的處理數(shù)據(jù)，不應(yīng)虛構(gòu)或篡改數(shù)據(jù)，應(yīng)準確記錄數(shù)據(jù)不應(yīng)存在異?；蝈e誤數(shù)據(jù)，確保數(shù)據(jù)的準確性。f)應(yīng)依據(jù)國家、行業(yè)或地方數(shù)據(jù)標準對數(shù)據(jù)進行治理，確保數(shù)據(jù)治理的規(guī)范性。5總體架構(gòu)棗莊市數(shù)據(jù)匯聚治理的總體架構(gòu)分為三層，分為數(shù)源層、市級平臺層和省級樞紐層，數(shù)源層由各區(qū)縣節(jié)點和市直各部門提供政務(wù)數(shù)據(jù)資源，同時接入公共數(shù)據(jù)和社會數(shù)據(jù)，市級平臺依托棗莊市一體化大數(shù)據(jù)平臺實現(xiàn)各類數(shù)據(jù)資源的匯聚、通過數(shù)據(jù)治理實現(xiàn)數(shù)據(jù)清洗和數(shù)據(jù)質(zhì)量檢測形成數(shù)據(jù)資源庫，省級樞紐為上級平臺，市級平臺按照省級要求實現(xiàn)數(shù)據(jù)業(yè)務(wù)的互聯(lián)互通。（總體框架見圖1）3目錄級聯(lián)數(shù)鍵部門1市直部門區(qū)縣1數(shù)據(jù)聚部門2管理數(shù)據(jù)匯聚數(shù)據(jù)共拿數(shù)據(jù)共拿數(shù)據(jù)返還資源編目資源編目問題反饋問題反饋標準下發(fā)聚部部門門43圖1數(shù)據(jù)匯聚治理總體構(gòu)圖數(shù)據(jù)匯聚治理總體流程見圖2,流程包含以下內(nèi)容：a)將原始數(shù)據(jù)進行數(shù)據(jù)匯聚并存放在一體化大數(shù)據(jù)平臺原始庫中；b)對原始庫數(shù)據(jù)進行數(shù)據(jù)治理包括數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量檢測等，使其統(tǒng)一標準規(guī)范并且能夠滿足數(shù)據(jù)共享應(yīng)用的質(zhì)量要求，治理后的數(shù)據(jù)存放在一體化大數(shù)據(jù)平臺標準庫中，對于數(shù)據(jù)治理過程中發(fā)現(xiàn)的問題數(shù)據(jù)存放在一體化大數(shù)據(jù)平臺問題庫中，其中明確數(shù)據(jù)來源單位的問題數(shù)據(jù)反饋回數(shù)據(jù)源端，無法反饋的問題數(shù)據(jù)根據(jù)業(yè)務(wù)要求進行存儲或者銷毀；c)基于數(shù)據(jù)資源庫建設(shè)和數(shù)據(jù)創(chuàng)新應(yīng)用需求，從業(yè)務(wù)維度對標準數(shù)據(jù)進行數(shù)據(jù)融合，融合后的數(shù)據(jù)存放在一體化大數(shù)據(jù)平臺主題庫中；d)當原始數(shù)據(jù)發(fā)生更新時，應(yīng)依照數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)融合的步驟進行數(shù)據(jù)處理；e)數(shù)據(jù)流轉(zhuǎn)各個環(huán)節(jié)能夠?qū)?shù)據(jù)進行溯源。4數(shù)據(jù)溯源標準庫主題庫問題庫問題數(shù)據(jù)反饋數(shù)據(jù)融合數(shù)據(jù)匯聚數(shù)據(jù)清洗原始庫數(shù)據(jù)源大數(shù)據(jù)業(yè)務(wù)主管部門應(yīng)基于數(shù)據(jù)資源管理和共享開放的需求，按照“按需歸集，應(yīng)歸盡歸”的a)棗莊市一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚范圍應(yīng)包括政務(wù)數(shù)據(jù)b)公共數(shù)據(jù)匯聚應(yīng)符合DB37/T464b)接入形式包括數(shù)據(jù)庫表、文件、服務(wù)接口。b)應(yīng)采用前置庫方式進行數(shù)據(jù)匯聚，前置庫應(yīng)支持國產(chǎn)數(shù)據(jù)庫。c)前置數(shù)據(jù)庫字符編碼應(yīng)為UTF-8。e)數(shù)據(jù)庫表名稱應(yīng)規(guī)范統(tǒng)一，一般為“機構(gòu)簡稱首字母縮寫+數(shù)據(jù)資源名稱首字母縮寫”,數(shù)f)數(shù)據(jù)庫表字段應(yīng)與數(shù)據(jù)目錄的數(shù)據(jù)項保持一致，且必須設(shè)有主鍵字段，并在數(shù)據(jù)表庫中創(chuàng)5DB3704/T0041-2024g)數(shù)據(jù)庫表結(jié)構(gòu)應(yīng)保持穩(wěn)定，不應(yīng)隨意更改。h)數(shù)據(jù)提供方應(yīng)提供必要的字段說明文檔和對應(yīng)的全部代碼表，確保所有數(shù)據(jù)內(nèi)容可被正確理解。i)數(shù)據(jù)提供方應(yīng)提供數(shù)據(jù)對賬表，包含數(shù)據(jù)條數(shù)等信息，一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚通過數(shù)據(jù)對賬保證數(shù)據(jù)無缺失和遺漏。7.2.2文件匯聚a)結(jié)構(gòu)化文件格式包括CSV、TXT、XLS、XLSX等，非結(jié)構(gòu)化文件格式包括PDF、DOC、DOCX、WPS、ZIP以及圖片、音頻、視頻等資源的常用格式。CSV、XLS、XLSX的首行數(shù)據(jù)應(yīng)為列名，字符編碼應(yīng)為UTF-8且不應(yīng)存在特殊字符。b)文件傳輸方式可采用FTP、SFTP等。c)應(yīng)設(shè)置文件大小閾值，文件超出閾值應(yīng)拆分為多個小文件。d)文件名稱應(yīng)規(guī)范統(tǒng)一，應(yīng)與數(shù)據(jù)目錄的數(shù)據(jù)資源名稱保持一致。e)文件的存儲路徑應(yīng)規(guī)范統(tǒng)一，可根據(jù)更新的頻度和檢索效率建立子文件夾，不應(yīng)隨意更改路徑。f)特殊類文件應(yīng)提供必要的說明文檔，確保所有文件內(nèi)容可被正確理解。g)結(jié)構(gòu)化文件中除業(yè)務(wù)字段外,應(yīng)包含記錄ID、批次號、業(yè)務(wù)操作標識和更新時間等字段。h)數(shù)據(jù)提供方應(yīng)提供文件對賬表，明確所匯聚電子文件包含的內(nèi)容和數(shù)量等信息。7.2.3服務(wù)接口匯聚a)服務(wù)接口資源采用Schema架構(gòu)說明的標準XML文件方式進行描述，其中編碼方式為UTF-8，服務(wù)接口示例見A.1.1。b)服務(wù)接口主要分為增刪改類數(shù)據(jù)服務(wù)接口和只增類數(shù)據(jù)服務(wù)接口。c)通過服務(wù)接口匯聚，數(shù)據(jù)提供方應(yīng)提供詳細的數(shù)據(jù)接口服務(wù)說明文檔。d)一個數(shù)據(jù)接口服務(wù)一般應(yīng)且只對應(yīng)一項數(shù)據(jù)資源。e)服務(wù)應(yīng)是無狀態(tài)的，兩次請求之間無須狀態(tài)和會話的保持。f)服務(wù)地址和參數(shù)不應(yīng)隨意變更。7.3數(shù)據(jù)對賬要求a)數(shù)據(jù)資源提供方應(yīng)對各類數(shù)據(jù)資源匯聚時提供對賬表，明確所匯聚資源的數(shù)量和內(nèi)容等信息，數(shù)據(jù)對賬表示例見A1.1.3.b)一體化大數(shù)據(jù)平臺匯聚任務(wù)完成后應(yīng)根據(jù)對賬表對已匯聚數(shù)據(jù)進行核對，確保數(shù)據(jù)提供方提供的數(shù)據(jù)與已匯聚的數(shù)據(jù)保持一致。c)數(shù)據(jù)對賬出現(xiàn)異常，應(yīng)及時進行數(shù)據(jù)匯聚任務(wù)核查并進行糾正，保證數(shù)據(jù)無重復(fù)無遺漏。7.4數(shù)據(jù)更新要求7.4.1更新方法a)對存在更新標識的數(shù)據(jù)應(yīng)支持增量更新。b)對不存在更新標識的數(shù)據(jù)應(yīng)支持全量更新。7.4.2更新策略a)對產(chǎn)生呈現(xiàn)周期性規(guī)律的數(shù)據(jù)應(yīng)支持定時更新策略。DB3704/T0041-20246b)對產(chǎn)生由特定事件觸發(fā)的數(shù)據(jù)應(yīng)支持事件觸發(fā)更新策略。c)對產(chǎn)生無特定規(guī)律的數(shù)據(jù)應(yīng)支持手動更新策略。7.4.3更新頻率a)根據(jù)數(shù)據(jù)變化情況，數(shù)據(jù)應(yīng)進行及時和持續(xù)更新。b)實時產(chǎn)生且實時性要求高的數(shù)據(jù)應(yīng)進行實時更新。c)實時產(chǎn)生且實時性要求低的數(shù)據(jù)應(yīng)采用定時更新。8數(shù)據(jù)治理要求8.1數(shù)據(jù)治理規(guī)劃數(shù)據(jù)治理規(guī)劃的基本內(nèi)容包括但不限于：a)建立一體化大數(shù)據(jù)平臺數(shù)據(jù)治理規(guī)劃組織架構(gòu)，明確數(shù)據(jù)治理管理制度和職責。b)開展需求調(diào)研，調(diào)研一體化大數(shù)據(jù)平臺數(shù)據(jù)治理現(xiàn)狀、治理環(huán)境，明確數(shù)據(jù)治理需求和目標，形成數(shù)據(jù)治理需求調(diào)研報告。c)進行需求分析，對數(shù)據(jù)治理調(diào)研結(jié)果進行分析，梳理數(shù)據(jù)治理需求，包括數(shù)據(jù)模型、數(shù)據(jù)標準、數(shù)據(jù)關(guān)系、業(yè)務(wù)視圖、技術(shù)視圖、數(shù)據(jù)分類分級等，確認影響業(yè)務(wù)的關(guān)鍵數(shù)據(jù)指標，分析關(guān)鍵業(yè)務(wù)的數(shù)據(jù)質(zhì)量，形成數(shù)據(jù)治理需求分析報告。d)設(shè)計治理規(guī)劃，根據(jù)數(shù)據(jù)治理需求開展數(shù)據(jù)治理規(guī)劃，包括數(shù)據(jù)治理戰(zhàn)略、制度、組織、標準、流程和技術(shù)架構(gòu)等，形成數(shù)據(jù)治理規(guī)劃方案。8.2數(shù)據(jù)治理實施數(shù)據(jù)治理的實施包括但不限于數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量檢測、問題數(shù)據(jù)處理。8.2.1數(shù)據(jù)標準管理a)大數(shù)據(jù)業(yè)務(wù)主管部門結(jié)合棗莊市實際，統(tǒng)籌管理棗莊市數(shù)據(jù)相關(guān)標準規(guī)范。b)一體化大數(shù)據(jù)平臺應(yīng)能與省級樞紐對接獲取省級管理的標準規(guī)范。c)應(yīng)根據(jù)相關(guān)國家標準、行業(yè)標準、地方標準，按照“一數(shù)一標準”原則規(guī)范數(shù)據(jù)資源管理工作。d)應(yīng)基于標準規(guī)范中對數(shù)據(jù)元的規(guī)范要求建立數(shù)據(jù)治理規(guī)則，對數(shù)據(jù)資源進行治理實施和處8.2.2元數(shù)據(jù)管理a)應(yīng)根據(jù)元數(shù)據(jù)的管理范圍構(gòu)建元數(shù)據(jù)庫。b)應(yīng)建立元數(shù)據(jù)管理體系，保障采集數(shù)據(jù)的質(zhì)量。c)建立元數(shù)據(jù)創(chuàng)建、維護、整合、存儲、分發(fā)、查詢、報告和分析機制。d)應(yīng)根據(jù)法律和政策要求，負責觸發(fā)數(shù)據(jù)或數(shù)據(jù)集的可訪問更新。e)應(yīng)提供元數(shù)據(jù)的生存周期管理能力。8.2.3數(shù)據(jù)清洗a)制定數(shù)據(jù)過濾策略，應(yīng)對確定的無效數(shù)據(jù)、干擾數(shù)據(jù)進行數(shù)據(jù)過濾操作。7b)根據(jù)數(shù)據(jù)相關(guān)業(yè)務(wù)的合理性，應(yīng)設(shè)置重復(fù)數(shù)據(jù)判定規(guī)則，基于唯一標識符或者關(guān)鍵字段進c)對于來源于不同層級、不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存在數(shù)據(jù)格式和數(shù)據(jù)內(nèi)容不符合數(shù)據(jù)標準時，應(yīng)對數(shù)據(jù)資源進行數(shù)據(jù)關(guān)系梳理，確定數(shù)據(jù)資源整體的統(tǒng)一數(shù)據(jù)視圖；根據(jù)數(shù)據(jù)標準進行數(shù)據(jù)轉(zhuǎn)換與加載，包括但不限于代碼轉(zhuǎn)換、從前往后截斷、從后往前截斷、日期格式轉(zhuǎn)換、時間格式轉(zhuǎn)換、d)對于數(shù)據(jù)資源目錄要求必填項目進行檢驗，對于關(guān)鍵字段缺失的情況，查找源頭數(shù)據(jù)填充a)數(shù)據(jù)提供方應(yīng)規(guī)范數(shù)據(jù)生產(chǎn)，在數(shù)據(jù)匯聚前依據(jù)相關(guān)標b)對于匯聚到市一體化大數(shù)據(jù)平臺的數(shù)據(jù)應(yīng)建立數(shù)據(jù)質(zhì)量檢測機制，依據(jù)標準規(guī)范進行全量d)對于多來源的相同業(yè)務(wù)數(shù)據(jù)，應(yīng)進行多f)數(shù)據(jù)質(zhì)量檢測應(yīng)根據(jù)數(shù)據(jù)不斷匯聚定期探查數(shù)據(jù)資源變化及時更新和優(yōu)問題數(shù)據(jù)處理流程見圖3,流程包含以下內(nèi)容：a)數(shù)據(jù)治理過程中會產(chǎn)生按照規(guī)則不能處理的、不符合條件的各種數(shù)據(jù)，應(yīng)將問題數(shù)據(jù)進行b)應(yīng)按照問題數(shù)據(jù)的來源單位及時將數(shù)據(jù)推送至數(shù)據(jù)提供方，并督促其核查完善。c)數(shù)據(jù)提供方接收到問題數(shù)據(jù)后，應(yīng)及時進行修正并作為更新數(shù)據(jù)再次匯聚，形成閉環(huán)處置問題數(shù)據(jù)推送問題數(shù)據(jù)中心數(shù)據(jù)提問題數(shù)據(jù)推送問題數(shù)據(jù)中心數(shù)據(jù)治理(修正)DB3704/T0041-202488.2.6數(shù)據(jù)治理結(jié)果評價a)應(yīng)建立評價指標體系，明確評價范圍、依據(jù)標準，根據(jù)不同周期、數(shù)據(jù)管理目標對評價指標進行適當調(diào)整，對數(shù)據(jù)治理結(jié)果進行綜合評價；b)數(shù)據(jù)治理結(jié)果評價應(yīng)圍繞數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全兩部分進行；數(shù)據(jù)質(zhì)量評價維度包含完整性、準確性、規(guī)范性、一致性、時效性與可訪問性六個維度，六個維度應(yīng)符合GB/T36344的規(guī)定，數(shù)據(jù)安全評價維度應(yīng)包含數(shù)據(jù)采集安全、數(shù)據(jù)傳輸安全、數(shù)據(jù)存儲安全、數(shù)據(jù)處理安全、數(shù)據(jù)交換安全、數(shù)據(jù)銷毀安全六個維度。c)數(shù)據(jù)資源在提供數(shù)據(jù)服務(wù)和應(yīng)用中，應(yīng)根據(jù)服務(wù)的內(nèi)容、應(yīng)用的方向等不同場景，對所需的治理結(jié)果評價體系進行適當調(diào)整。9數(shù)據(jù)安全保護要求a)數(shù)據(jù)安全要求應(yīng)符合GB/T39477-2020的要求。b)數(shù)據(jù)匯聚治理安全應(yīng)符合GB/T22239-2019中等級保護三級的要求。c)個人信息安全應(yīng)符合GB/T35273-2020要求。d)對數(shù)據(jù)匯聚治理過程進行有針對性的保護，個人信息、敏感數(shù)據(jù)和重要數(shù)據(jù)應(yīng)加強安全管控措施。9數(shù)據(jù)匯聚示例A.1.1數(shù)據(jù)庫表示例表1業(yè)務(wù)數(shù)據(jù)庫表實例……I…U…D