元數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量監(jiān)控

1、元數(shù)據(jù)管理 & 數(shù)據(jù)質(zhì)量監(jiān)控北京瑞斯泰得數(shù)據(jù)技術(shù)開發(fā)有限公司Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385項目背景數(shù)據(jù) 各種各樣的數(shù)據(jù) 分散存在 影響不確定 數(shù)據(jù)由來不清楚ETL ETL之前無法獲知數(shù)據(jù)概況 ETL過程中缺乏監(jiān)控Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)382

2、40385功能概覽元數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量監(jiān)控平臺元數(shù)據(jù)管理元數(shù)據(jù)管理數(shù)據(jù)庫管理業(yè)務(wù)數(shù)據(jù)字典報表腳本數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)質(zhì)量監(jiān)控質(zhì)量點監(jiān)控數(shù)據(jù)剖析數(shù)據(jù)檢查數(shù)據(jù)對比數(shù)據(jù)指標(biāo)數(shù)據(jù)庫監(jiān)控表監(jiān)控表空間監(jiān)控SQL腳本監(jiān)控結(jié)果管理結(jié)果管理質(zhì)量點監(jiān)控數(shù)據(jù)剖析數(shù)據(jù)檢查數(shù)據(jù)對比數(shù)據(jù)指標(biāo)表空間監(jiān)控SQL腳本監(jiān)控任務(wù)調(diào)度管理任務(wù)調(diào)度管理任務(wù)中心日志中心系統(tǒng)管理系統(tǒng)管理元數(shù)據(jù)維護(hù)權(quán)限管理工作區(qū)工作區(qū)個人文件夾公共文件夾Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385

3、元數(shù)據(jù)管理 對對各各種元數(shù)據(jù)實施統(tǒng)一管理種元數(shù)據(jù)實施統(tǒng)一管理包括增、刪、改、查、預(yù)覽等操作。數(shù)據(jù)質(zhì)量監(jiān)控 基于元數(shù)據(jù)做各種分析和監(jiān)控基于元數(shù)據(jù)做各種分析和監(jiān)控數(shù)據(jù)：質(zhì)量點監(jiān)控、數(shù)據(jù)剖析，數(shù)據(jù)檢查等數(shù)據(jù)庫：表空間監(jiān)控、數(shù)據(jù)庫監(jiān)控、表監(jiān)控ETL：SQL腳本監(jiān)控結(jié)果管理 展示數(shù)據(jù)質(zhì)量管理中各種監(jiān)控展示數(shù)據(jù)質(zhì)量管理中各種監(jiān)控和分析的和分析的行結(jié)果行結(jié)果Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385任務(wù)調(diào)度管理 展示各類監(jiān)控或任務(wù)狀態(tài)，可停止

4、、暫停、重啟監(jiān)控和任務(wù) 展示各種監(jiān)控或任務(wù)執(zhí)行的日志、結(jié)果信息系統(tǒng)管理 元數(shù)據(jù)添加、變化日志、類別、屬性、屬性類別的維護(hù) 權(quán)限管理：用戶及其權(quán)限管理工作區(qū) 個人文件夾：存儲個人關(guān)注的對象 公共文件夾：存儲公共對象，達(dá)到資源共享Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385pServerpApplicationpftpptelnetp p指標(biāo)p維度p緯表p字典基本表p字典數(shù)據(jù)表 p數(shù)據(jù)庫p表p視圖物化視圖p存儲過程p字段p pETLp

5、報表p數(shù)據(jù)接口p接口文件 元數(shù)據(jù)的類型Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數(shù)據(jù)管理1.數(shù)據(jù)庫元數(shù)據(jù)2.管理型元數(shù)據(jù)3.業(yè)務(wù)元數(shù)據(jù)4.數(shù)據(jù)字典元數(shù)據(jù)5.腳本元數(shù)據(jù)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數(shù)據(jù)管理-數(shù)據(jù)庫元數(shù)據(jù) 基本操作 增、刪、改、查 加

6、入到“個人文件夾” 加入到“公共文件夾” 表 存在性實時查詢 字段備注查詢 字段備注保存 表數(shù)據(jù)預(yù)覽 影響分析 血統(tǒng)分析Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數(shù)據(jù)管理-管理型元數(shù)據(jù) 基本操作 編輯、刪除 加入到“個人

7、文件夾” 加入到“公共文件夾” 工作桌面支持 自動登錄netterm 自動登錄plsqlBeijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數(shù)據(jù)管理-業(yè)務(wù)元數(shù)據(jù) 增加步驟 添加對象類別，例如：“統(tǒng)計周期” 添加對象屬性類別，例如：

8、“字符型” 添加對象屬性，例如：“描述” 新增一個具體的元數(shù)據(jù)，例如：“月”Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數(shù)據(jù)管理-數(shù)據(jù)字典 基本操作 瀏覽 增加 編輯 刪除Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元數(shù)據(jù)管理-SQL腳本元數(shù)據(jù) 基本操作 編輯 刪除

9、 工作桌面支持 用UltraEdit 打開腳本文件和日志文件Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385血統(tǒng)分析 功能描述：通過對元數(shù)據(jù)關(guān)系的回溯，以圖形方式展現(xiàn)指定元數(shù)據(jù)的數(shù)據(jù)血統(tǒng)和加工過程。 作用：通過該功能，業(yè)務(wù)人員可以清楚的了解指標(biāo)等關(guān)鍵數(shù)據(jù)的來龍去脈。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guang

10、zhou (8620)38240385影響分析 功能描述：通過分析元數(shù)據(jù)之間的關(guān)系，以圖形方式直觀展現(xiàn)指定實體對全局的影響，如某數(shù)據(jù)庫表的變更將影響到哪些ETL、數(shù)據(jù)庫表等。 作用：通過影響分析，技術(shù)人員可掌握各程序、數(shù)據(jù)之間的關(guān)系和相互影響，更好確定系統(tǒng)變更所涉及的范圍，避免遺漏和誤操作，從而降低維護(hù)人員的工作量和出錯的機(jī)率。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數(shù)據(jù)質(zhì)量六大評估標(biāo)準(zhǔn)哪些數(shù)據(jù)是以非標(biāo)準(zhǔn)格式存儲的？哪些數(shù)據(jù)值

11、提供了沖突信息？哪些數(shù)據(jù)不能正確描述對象的屬性或已經(jīng)過期？那些數(shù)據(jù)根本就不存在？關(guān)鍵數(shù)據(jù)是否及時傳送到目標(biāo)應(yīng)用？哪些數(shù)據(jù)記錄時重復(fù)的記錄？Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數(shù)據(jù)質(zhì)量監(jiān)控質(zhì)量點監(jiān)控數(shù)據(jù)剖析數(shù)據(jù)指標(biāo)表空間監(jiān)控表監(jiān)控SQL腳本監(jiān)控Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (

12、8620)38240385數(shù)據(jù)質(zhì)量監(jiān)控-質(zhì)量點監(jiān)控 功能描述監(jiān)控某個生產(chǎn)流程環(huán)節(jié)，查看該環(huán)節(jié)的質(zhì)量指標(biāo)是否符合要求。 作用保證數(shù)據(jù)在生產(chǎn)過程的某個生產(chǎn)環(huán)節(jié)的正確性和一致性。 規(guī)則維護(hù) 定義SQL 告警條件 任務(wù)調(diào)度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 數(shù)據(jù)集維護(hù) 規(guī)則維護(hù) 標(biāo)準(zhǔn)探測 模式探測 分布探測 日期探測 任務(wù)調(diào)度數(shù)據(jù)質(zhì)量監(jiān)控-數(shù)據(jù)剖析Beijing Stats Data Mining Co. Ltd.Beijing

13、 (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385p探測出檢查對象的數(shù)據(jù)模式，方便做數(shù)據(jù)分析，并能根據(jù)探出的數(shù)據(jù)模式自動生成數(shù)據(jù)規(guī)則表達(dá)式，產(chǎn)生數(shù)據(jù)校驗規(guī)則。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數(shù)據(jù)質(zhì)量監(jiān)控-數(shù)據(jù)指標(biāo) 數(shù)據(jù)集維護(hù) 規(guī)則維護(hù) 統(tǒng)計周期 度量設(shè)定 告警條件 任務(wù)調(diào)度Beijing Stats Data Mining Co. Ltd.B

14、eijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數(shù)據(jù)質(zhì)量監(jiān)控-表空間監(jiān)控 功能描述監(jiān)控數(shù)據(jù)庫表空間使用量是否超過指定的限額或百分比。 作用提前獲得表空間不足的信息，以便及時處理，防止由于空間不足引起的異常發(fā)生。 告警條件 可用空間小于N兆 使用率超過M% 告警責(zé)任人 任務(wù)調(diào)度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Sta

15、ts Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385表空間監(jiān)控結(jié)果表空間監(jiān)控結(jié)果Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385數(shù)據(jù)質(zhì)量監(jiān)控-表監(jiān)控 表選擇 任務(wù)調(diào)度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8

16、621)53060345 Guangzhou (8620)38240385數(shù)據(jù)質(zhì)量監(jiān)控-SQL腳本監(jiān)控 告警條件錯誤關(guān)鍵字、過濾關(guān)鍵字 超時設(shè)置超時時長 任務(wù)調(diào)度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385任務(wù)調(diào)度中心任務(wù)中

17、心 瀏覽任務(wù) 暫停任務(wù) 重啟任務(wù) 刪除任務(wù)日志中心 結(jié)果信息 調(diào)度日志 調(diào)度成功 調(diào)度失敗 正在運(yùn)行Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 任務(wù)中心Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385 日志中心Beijing Stats Data Mining Co.

18、Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385系統(tǒng)管理元數(shù)據(jù)管理 查看、搜索元數(shù)據(jù)變化日志 元數(shù)據(jù)對象類別維護(hù) 元數(shù)據(jù)對象屬性類型維護(hù) 元數(shù)據(jù)對象屬性維護(hù)權(quán)限管理 用戶所擁有的角色維護(hù)Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385工作區(qū)個人文件夾 目錄維護(hù)：增、刪、改 瀏覽、刪除被創(chuàng)建的對象公共文件夾 目錄維護(hù)：增、刪、改 瀏覽、刪除被創(chuàng)建的對象Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53