基于數(shù)據(jù)倉庫維轉(zhuǎn)技術(shù)的IC卡話機(jī)研究系統(tǒng)_天津通信技術(shù)

1、本文收錄于 2003年 4期基于數(shù)據(jù)倉庫和維度轉(zhuǎn)換技術(shù)的廣東電信公話IC 話機(jī)話務(wù)動(dòng)態(tài)分析系統(tǒng)馬根峰( 廣東電信公用電話管理中心廣州 510635摘要在電信市場尤其是公話市場競爭激烈的今天，廣東電信公話中心的有關(guān)經(jīng)營分析 人員比較迫切的想進(jìn)行眾多IC話機(jī)話務(wù)的動(dòng)態(tài)分析，即不但要能從較高層面上分析全省或某些地區(qū)、所有或部分話機(jī)類型、某些地區(qū)某些話機(jī)類型的話務(wù)在某些 時(shí)間段的變化，而且要能從細(xì)節(jié)上跟蹤每一部IC話機(jī)的200、IC話務(wù)在不同時(shí)期的變化。從而了解IC話機(jī)話務(wù)變化的原因或找出其中的規(guī)律，為管理者決策提供依 據(jù)。但目前話機(jī)資料及話務(wù)數(shù)據(jù)分散于不同數(shù)據(jù)庫表的組織方式確不能提供這樣 的支撐，所

2、以必須對(duì)數(shù)據(jù)進(jìn)行重新組織，并且要按照不同的分析需要對(duì)數(shù)據(jù)按照 不同的綜合程度來組織。然而話務(wù)的動(dòng)態(tài)分析還要求對(duì)話機(jī)資料更新、對(duì)話務(wù)信 息表按照時(shí)間維度進(jìn)行轉(zhuǎn)換，通常的 OLAP 分析工具在對(duì)幾十萬條記錄的數(shù)據(jù)表 進(jìn)行維度轉(zhuǎn)換時(shí)效率就極為低下。在這種前提下筆者編寫了 ”話務(wù)動(dòng)態(tài)分析系統(tǒng) ” ，利用數(shù)據(jù)倉庫技術(shù)對(duì)數(shù)據(jù)源進(jìn)行挖掘、按照不同的粒度來組織；在數(shù)據(jù)倉庫設(shè) 計(jì)時(shí)兼顧動(dòng)態(tài)分析的需要，在數(shù)據(jù)倉庫數(shù)據(jù)生成時(shí)自已編寫程序?qū)崿F(xiàn)話務(wù)按照時(shí) 間維度轉(zhuǎn)換，輕松地實(shí)現(xiàn)了話務(wù)的動(dòng)態(tài)分析。關(guān)鍵詞 數(shù)據(jù)倉庫； OLAP ；維度；分布式數(shù)據(jù)庫訪問技術(shù)；事務(wù)The system dynamic analyse of c

3、harge of pay phone for IC card in Public Payphone Center, Guangdong Telecom Corporation based on Data Warehousing & dimension conversion MA Gen-feng (Public Payphone Center, Guangdong Telecom Corporation, Guangzhou 510635 ABSTRACT: Today, the competition becomes more severe in telecom market, especi

4、ally in public pay phone market. The analyst in Public Payphone Center, Guangdong Telecom Corporation want to analyze the change of 200 & IC charge of many pay phone for IC card in different time as well as the influence on the change of the charge of all or part areas, all or part user types of pay

5、 phone, part areas and part user types of pay phone. If they do this they can find the reason for those change or the rule hide in those change so that they can support the decisionmaker to make decision well. But the data of pay phone for IC card and the charge of them every month is distributed in

6、 many tables in database in On-Line operating environment now, it result in the huge difficulty to supply the analyst with sufficient proof to analyze the change of those charge above. So it is necessary to organize these data and store them in different integration level. What is more, it is necess

7、ary to update the information of pay phone and convert the time dimensionality because of the analysis above. While the OLAP tools for Data Warehousing shows quite low efficient in the process of this conversion of table with millions records well. So I develop a system to process the analysis of th

8、e change of the charge of two hundred thousand pay phone for IC card easily. In the system, it is the first step to dig the detail data of phones and those charge to the Data Warehousing, followed by the high efficient time dimensionality conversion of phones and those charge to a table then data in

9、 different integration level is created.KEY WORDS: Data Warehousing。 OLAP 。 Dimensionality 。 Access to distributed Database。 Transaction1 引言200及IC卡業(yè)務(wù)是廣東電信的一項(xiàng)重要業(yè)務(wù)，因而對(duì)于眾多IC 話機(jī)上發(fā)生的200及IC話務(wù)分析顯得非常必要。目前對(duì)于它們的分析主要包括層面比較高的地區(qū)級(jí)話務(wù) 的變化以及某一計(jì)費(fèi)月IC話機(jī)的話務(wù)情況。但經(jīng)營分析人員即使知道了全省或部分地區(qū)的 話務(wù)變化，卻不能找出其中的原因或規(guī)律。這所以采取這樣的分析方式，就是因?yàn)镮C卡業(yè)

10、務(wù)及200業(yè)務(wù)數(shù)據(jù)分散于操作型環(huán)境之中，并且都是以細(xì)節(jié)級(jí)數(shù)據(jù)存貯的每個(gè)月IC話機(jī)的資料、IC話機(jī)的IC話費(fèi)、全省200業(yè)務(wù)的話費(fèi)分別存放在一個(gè)數(shù)據(jù)庫表中）。在這種操作型 的環(huán)境中要想進(jìn)行”先高層后低層”的話務(wù)動(dòng)態(tài)分析，即按照地區(qū)t市縣t支局的層次，結(jié) 合 IC 話機(jī)的用戶類型來一級(jí)一級(jí)地找出 IC 話機(jī)話費(fèi)變化原因或規(guī)律，顯然是不現(xiàn)實(shí)的 。要想解決上面的問題，必須利用數(shù)據(jù)倉庫技術(shù)對(duì)話機(jī)資料數(shù)據(jù)及話務(wù)數(shù)據(jù)包括200及 IC話務(wù)數(shù)據(jù)重新組織，對(duì)其按照不同的細(xì)節(jié)程度來設(shè)置不同的粒度來滿足不同層次上話務(wù)動(dòng) 態(tài)分析目標(biāo)的需要，形成一個(gè)綜合的、面向分析的環(huán)境；然后去掉各級(jí)粒度表中的時(shí)間維 度，來滿足不同層

11、次上話務(wù)動(dòng)態(tài)分析目標(biāo)的需要。但這些 OLAP 工具通常用于處理記錄較少的表的維度轉(zhuǎn)換，對(duì)于處理電信運(yùn)營商中存 在的每個(gè)月都是幾十萬、幾百萬乃至幾千萬條記錄的表的維度轉(zhuǎn)換時(shí)從執(zhí)行時(shí)間上講是不 可行的 處理百萬級(jí)數(shù)據(jù)表的維度轉(zhuǎn)換時(shí)運(yùn)行幾百個(gè)小時(shí)也得不到結(jié)果），所以筆者首先利 用數(shù)據(jù)倉庫技術(shù)將數(shù)據(jù)進(jìn)行挖掘，在數(shù)據(jù)倉庫設(shè)計(jì)時(shí)兼顧動(dòng)態(tài)分析的需要，在數(shù)據(jù)生成時(shí) 自已編寫程序?qū)崿F(xiàn)維度轉(zhuǎn)換，然后基于維度轉(zhuǎn)換后的數(shù)據(jù)表來生成不同粒度的綜合級(jí)表。最終在PC機(jī)上僅用了十五分鐘就完成了二十多萬部 200專用話機(jī)資料的更新及二十幾萬條 記錄的話費(fèi)表的處理并生成了數(shù)據(jù)倉庫中的不同粒度的數(shù)據(jù)，從而輕松地實(shí)現(xiàn)了話務(wù)的動(dòng) 態(tài)分

12、析。2 數(shù)據(jù)倉庫與 OLAP2.1 數(shù)據(jù)倉庫的特點(diǎn)數(shù)據(jù)倉庫技術(shù)是用以更好地支持企業(yè)或組織的決策分析處理的，面向主題的，集成的 ，不可更新的、隨時(shí)間不斷變化的數(shù)據(jù)集合。它通過將數(shù)據(jù)按照不同的綜合程度即粒度）來組織，以滿足不同分析的需要。2.2 聯(lián)機(jī)分析處理 OLAPOLAP 是針對(duì)特定問題的聯(lián)機(jī)數(shù)據(jù)訪問與分析。通過對(duì)信息 這里的信息已經(jīng)從原始的 數(shù)據(jù)進(jìn)行了轉(zhuǎn)換，以反映用戶所能理解的企業(yè)的真實(shí)的 ”維”）的很多種可能的觀察形式進(jìn) 行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行深入觀察。維是OLAP中的一個(gè)基本概念，它反映了人們觀察數(shù)據(jù)的特定角度，如電信業(yè)務(wù)分析 中從不同的計(jì)費(fèi)月來觀察話

13、機(jī)的話務(wù)，這里的時(shí)間計(jì)費(fèi)月）就是一個(gè)維。一個(gè)維往往具有多個(gè)層次，如時(shí)間維可以從日期、月份、季度、年等不同的層次來描 述。但在廣東電信公話管理中心，對(duì) IC話機(jī)話務(wù)的動(dòng)態(tài)話務(wù)分析主要從月份這個(gè)層次來進(jìn) 行。2.3 數(shù)據(jù)倉庫中的星型模式及改進(jìn)2.3.1 數(shù)據(jù)倉庫中的星型模式 星型模式是用關(guān)系數(shù)據(jù)庫系統(tǒng)來實(shí)現(xiàn)的數(shù)據(jù)倉庫中最常見的模式，在這種模式下， 數(shù)據(jù)倉庫由事實(shí)表和維表構(gòu)成。事實(shí)表中包含著用于分析的指標(biāo)和聯(lián)接維表的主鍵。如下 面細(xì)節(jié)級(jí)話機(jī)話務(wù)和話機(jī)資料的關(guān)系模式話機(jī)話務(wù) 電話號(hào)碼 ,時(shí)間代碼 ,200話費(fèi) ,IC 話費(fèi)）話機(jī)（電話號(hào)碼，地區(qū)代碼，市縣代碼，支局代碼，話機(jī)類型代碼，話機(jī)安裝地址， 地

14、區(qū)（地區(qū)代碼，地區(qū)名，時(shí)間 （時(shí)間代碼 ，時(shí)間在這種模型下，可以很輕松地分析出某個(gè)維 如時(shí)間維中各月份）的話務(wù)總體情況， 這就是在事實(shí)表中增加維度的好處；對(duì)于事實(shí)表中記錄不多的情況下，可以用 OLAP 的一 些工具 如Brio ）將時(shí)間維從事實(shí)表去掉，在事實(shí)表中增加時(shí)間維表的各個(gè)取值來作為事實(shí) 表中的幾個(gè)字段，這樣就可以輕松地分析幾個(gè)時(shí)段的某個(gè)或某些維的話費(fèi)、某些話機(jī)的話 費(fèi)的變化這類問題了。2.3.2 本系統(tǒng)中對(duì)于傳統(tǒng)星型模式的改進(jìn)對(duì)于廣東電信來說，每個(gè)月的IC話務(wù)數(shù)據(jù)都在二十多萬條記錄以上， n個(gè)月累加起 來就是n*幾十萬，這樣龐大的表用 OLAP工具來進(jìn)行維度轉(zhuǎn)換顯然是不現(xiàn)實(shí)，也是不可行

15、 的；并且它還無法處理每個(gè)月二十多萬部 IC話機(jī)的資料更新。筆者在 廣東電信公話IC話 機(jī)動(dòng)態(tài)話務(wù)分析系統(tǒng) 中的解決方法是，直接在數(shù)據(jù)倉庫各級(jí)粒度的話務(wù)表中去掉時(shí)間維 度，增加時(shí)間維表中的值 各個(gè)月）作為各級(jí)粒度話務(wù)表的字段；又將話機(jī)資料和話務(wù)表合 為一個(gè)表，這樣不但在進(jìn)行維度轉(zhuǎn)換時(shí)同時(shí)更新話機(jī)資料，而且能夠提高以后用戶查詢的 響應(yīng)速度。在系統(tǒng)中用自己編寫的程序在 PC機(jī)上僅運(yùn)行了十五分鐘的時(shí)間就完成了一個(gè)月 二十多萬條記錄的話機(jī)資料表的更新和話務(wù)表的維度轉(zhuǎn)換、并且生成了各級(jí)粒度的綜合表 。數(shù)據(jù)倉庫采取這種設(shè)計(jì)方案的另一個(gè)好處理就是每一次處理只需要處理一個(gè)月的數(shù)據(jù)， 而不是像OLAP工具那樣一

16、次需要處理n個(gè)月的數(shù)據(jù)。3 系統(tǒng)中的數(shù)據(jù)倉庫設(shè)計(jì)3.1 廣東電信公話中心操作型環(huán)境下的數(shù)據(jù)組織情況在廣東電信公用電話管理中心， 200話機(jī)資料、所有 200業(yè)務(wù)費(fèi)用的關(guān)系模式IC話機(jī)資料的關(guān)系模式A84_xxxx（ 電話號(hào)碼 ，地區(qū)代碼 ，市縣代碼 ，支局代碼 ，話機(jī)使用標(biāo)志 IC話機(jī)話務(wù)關(guān)系模式A92_IC_xxxx（ 電話號(hào)碼 ，總次數(shù) ，總時(shí)長秒 ，總時(shí)長分 ，總金額 ， ，免費(fèi)次數(shù) ，免時(shí)長秒 ， 免時(shí)長分 ，地區(qū)代碼 全省 200業(yè)務(wù)話費(fèi)的關(guān)系模式Fee_200_xxxx（電話號(hào)碼，總次數(shù)，總通話時(shí)長秒，總計(jì)費(fèi)時(shí)長分，總金額，IP國際次數(shù)，IP 國際通話時(shí)長秒，IP國際計(jì)費(fèi)時(shí)長分，I

17、P國際金額 地區(qū)xxxx表示年月，如0302代表2003年2月的話機(jī)資料或話機(jī)話費(fèi)3.2 系統(tǒng)的中數(shù)據(jù)倉庫設(shè)計(jì)考慮到篇幅，各步驟經(jīng)過簡化如下：概念模型設(shè)計(jì)邏輯模型設(shè)計(jì)數(shù)據(jù)倉庫生成3.2.1概念模型設(shè)計(jì)中的界定系統(tǒng)邊界在廣東電信公話中心，管理者最迫切進(jìn)行的分析主要有： 分析各地區(qū)IC話機(jī)的200、IC話務(wù)的總體情況及不同時(shí)期的變化 分析各種類型IC話機(jī)的200、IC話務(wù)總體情況及不同時(shí)期的變化 分析各地區(qū)各種類型IC話機(jī)的200、IC話務(wù)情況及不同時(shí)期的變化 分析各IC話機(jī) 包括新增、拆機(jī)的IC話機(jī)）的200、IC話務(wù)情況及不同時(shí)期的 變化要進(jìn)行以上的分析，所需數(shù)據(jù)應(yīng)包括：各地區(qū)不同時(shí)期IC話機(jī)

18、的200、IC話務(wù) 各種類型不同時(shí)期IC話機(jī)的200、IC話務(wù) 各地區(qū)各種類型IC話機(jī)不同時(shí)期的200、IC話務(wù) IC話機(jī)在不同時(shí)期的200、IC話務(wù)3.2.2邏輯模型設(shè)計(jì)確定粒度層次劃分粒度是數(shù)據(jù)綜合級(jí)別的程度。在數(shù)據(jù)倉庫中，多重粒度是必不可少的。數(shù)據(jù)倉庫 的主要作用是DSS分析，因而其絕大部分查詢都基于一定程度的綜合數(shù)據(jù)之上，而只有較 少的查詢涉及細(xì)節(jié)。在本系統(tǒng)中采用了五重重粒度，早期細(xì)節(jié)級(jí)的IC話機(jī)資料表A84_src和話費(fèi)細(xì)節(jié)級(jí)的表Fee_IC_src;維度轉(zhuǎn)換后的細(xì)節(jié)級(jí)話機(jī)話費(fèi)表PhonelCFee_detail;輕度綜合級(jí)的各地區(qū)、市縣、支局、話機(jī)類型的話務(wù)表phonefeelC_

19、littleuplvl表；較高綜合級(jí)的各地區(qū)、話機(jī)類型的話務(wù)表 phonefeelC_midlvl ;以及高度綜合級(jí)的各地區(qū)話務(wù)表phonefeelC_Are0ahighlvl、各話機(jī)類型話務(wù)表 phonefeeIC_Userhighlvl。高度綜合級(jí)較高綜合級(jí)輕度綜合級(jí)維度轉(zhuǎn)換后 的細(xì)節(jié)級(jí)級(jí)早期細(xì)節(jié)級(jí)圖1話務(wù)動(dòng)態(tài)分析系統(tǒng)中數(shù)據(jù)倉庫數(shù)據(jù)組織結(jié)構(gòu)關(guān)系模式定義；A84_src（G200_xxxx表各個(gè)字段，話機(jī)資料日期Fee_IC_src（電話號(hào)碼，年月,200總金額,IC總金額地區(qū)PhonelCFee_detail（A84_xxxx 表各字段，話機(jī)資料日期，200301_200金額,200301

20、_IC金 額,200412_200金額，200412_IC金額 這里及以下綜合級(jí)表中的話機(jī)資料日期字段都經(jīng)過了編碼來反映話機(jī)的存在時(shí)間，不同于A84_src上邊的話機(jī)資料日期字段phonefeelCittleuplvl（地區(qū)，市縣，支局，話機(jī)類型，話機(jī)資料日期，200301_200金額,200301_IC 金額，,200412_200金額，200412_IC 金額 phonefeeIC_midlvl( 地區(qū) , 話機(jī)類型 ,話機(jī)資料日期 ,200301_200金額,200301_IC 金額，,200412_200金額,200412_IC 金額 phonefeeIC_Areahighlvl( 地

21、區(qū) ,話機(jī)資料日期 ,200301_200金額,200301_IC 金額，,200412_200金額,200412_IC 金額 phonefeelC_Userhighlvl(話機(jī)類型，話機(jī)資料日期，200301_200金額,200301_IC 金額,2 00412_200金額,200412_IC金額 對(duì)于關(guān)系模式的這種設(shè)計(jì)，大家可能會(huì)一方面質(zhì)疑它的擴(kuò)展性，即它能用來分析其 它年月的話務(wù)嗎？另一方面可能會(huì)質(zhì)疑如果它可以擴(kuò)展來統(tǒng)計(jì)更多時(shí)間的話務(wù)情況，那最 多可以統(tǒng)計(jì)幾年的話務(wù)？只要向幾個(gè)話務(wù)表中增加幾個(gè)年月的金額字段，在我編寫的維度 轉(zhuǎn)換程序中只要增加幾個(gè)變量及幾條賦值語句，就可以統(tǒng)計(jì)許多年的數(shù)據(jù)

22、；兩者， MS SQL SERVER7.0最多支持1024列的表，這可以用來統(tǒng)計(jì)分析 40多年的數(shù)據(jù)。3.3 選定數(shù)據(jù)庫產(chǎn)品來建立數(shù)據(jù)倉庫目前數(shù)據(jù)倉庫的實(shí)現(xiàn)還主要借助于關(guān)系數(shù)據(jù)庫系統(tǒng)，兩者由于本系統(tǒng)中數(shù)據(jù)倉庫數(shù)據(jù)來自于遠(yuǎn)程數(shù)據(jù)庫，因此要用到分布式訪問技術(shù)。而遠(yuǎn)程數(shù)據(jù)庫系統(tǒng)是MSSQLSERVER7.0，加上 MSSQLSERVER 與其它數(shù)據(jù)庫系統(tǒng)的連接性能又比較好，更不用說與MSSQLSERVER 的連接性能了，因此選用了 MSSQLSERVER7.0來建立數(shù)據(jù)倉庫。同時(shí)這也符合分布式數(shù)據(jù)庫系統(tǒng)建立時(shí)盡量采用”同構(gòu)同質(zhì)”型局部數(shù)據(jù)庫管理系統(tǒng)的建議。3.4 數(shù)據(jù)倉庫中數(shù)據(jù)的生成3.4.1 操作

23、型環(huán)境數(shù)據(jù)的挖掘和數(shù)據(jù)倉庫中綜合級(jí)數(shù)據(jù)的生成在數(shù)據(jù)倉庫設(shè)計(jì)步驟中，數(shù)據(jù)倉庫的生成是其中的關(guān)鍵部分，它為DSS系統(tǒng)提供了基礎(chǔ)數(shù)據(jù)的支持。在這一步里所要做的工作是接口編程，以實(shí)現(xiàn)將操作型環(huán)境下的數(shù)據(jù)裝 載進(jìn)入數(shù)據(jù)倉庫環(huán)境。建立和設(shè)計(jì)這個(gè)接口，不僅要對(duì)數(shù)據(jù)進(jìn)行抽取，而且還要從面向應(yīng) 用和操作的環(huán)境生成完整的數(shù)據(jù)。數(shù)據(jù)挖掘的方法主要有DTS工具，用客戶端開發(fā)語言的編程，以及DBMS的存貯過程。我在進(jìn)行數(shù)據(jù)倉庫數(shù)據(jù)挖掘及數(shù)據(jù)生成時(shí)均采用了存貯過程，原因在于它在數(shù)據(jù)庫/數(shù)據(jù)倉庫中的預(yù)編譯特性及在數(shù)據(jù)庫訪問時(shí)的高效率。3.4.2數(shù)據(jù)生成時(shí)的數(shù)據(jù)完整性控制數(shù)據(jù)倉庫中數(shù)據(jù)挖掘及綜合級(jí)數(shù)據(jù)生成時(shí)都完成了大量數(shù)據(jù)的

24、INSERT操作，如果在某一時(shí)刻發(fā)生了某種錯(cuò)誤或系統(tǒng)掉電，那么加載到數(shù)據(jù)倉庫中的數(shù)據(jù)的完整性就會(huì)遭到破 壞，因此必須采取一定的措施來保障數(shù)據(jù)的完整性。MSSQLSERVER 提供了事務(wù)，使得一個(gè)事務(wù)內(nèi)的所有語句被作為一個(gè)整體來執(zhí)行，遇到錯(cuò)誤時(shí)， 可以回滾事務(wù)，取消事務(wù)內(nèi)所做的所有改變，從而保證數(shù)據(jù)的完整性、一致性。在數(shù)據(jù)倉庫數(shù)據(jù)挖掘時(shí)，由于用到了公布式數(shù)據(jù)訪問技術(shù)，所以要使用分布式事務(wù) ；而在進(jìn)行維度轉(zhuǎn)換時(shí)只需使用本地事務(wù)即可。3.4.3系統(tǒng)中的分布式數(shù)據(jù)庫訪問技術(shù) 在數(shù)據(jù)倉庫數(shù)據(jù)挖掘時(shí)，由于用到了遠(yuǎn)程數(shù)據(jù)庫的訪問，所以必須使用分布式數(shù)據(jù)訪 問技術(shù)。 MS SQL SERVER 提供了遠(yuǎn)程數(shù)據(jù)

25、庫訪問技術(shù)，具體訪問遠(yuǎn)程數(shù)據(jù)表的方法為SELECT Column1,Column FROM Remote_Server.DbName.Owner.TableName3.3.4 數(shù)據(jù)挖掘的具體流程開始檢查本月200專用話機(jī)資料表G200_xxxx 是否存在檢查G2UU xxxx是 否包含了所有分 公司的 200專用話機(jī)的話機(jī)資料檢查G200XXX）中每個(gè)分公司的200專用話機(jī)的話機(jī)數(shù)量是否異常啟動(dòng)分布式事務(wù)挖掘本月200專用機(jī)話機(jī)資料成功處理?Y S-*提交事務(wù)回滾事務(wù)檢查本月200業(yè)務(wù)的話費(fèi)表fee 200 xxxx是否存在返回失敗代碼1檢查 fee 200 xxxx的分公司的-200專用話機(jī)的話費(fèi)檢查fee_200_xxxx中每個(gè)分公司的200專用話機(jī)的話費(fèi)記錄數(shù)是否異常啟動(dòng)分布式事務(wù)挖掘本月IC話機(jī)話費(fèi)_嚴(yán)”N成功處理？回滾事務(wù)返回失敗代碼2丫 -提交事務(wù)成功處理返回02_z圖2數(shù)據(jù)倉庫數(shù)據(jù)挖掘