主題數(shù)據(jù)平臺(tái)

1、主題數(shù)據(jù)平臺(tái)        摘  要  本文在解決遠(yuǎn)程開放系統(tǒng)的信息孤島問題的基礎(chǔ)上，出了一個(gè)通用的主題數(shù)據(jù)平臺(tái)架構(gòu)。并進(jìn)一步針對(duì)它在不同的環(huán)境、采用不同的策略，給出了實(shí)現(xiàn)框架。     關(guān)鍵詞  SOA；數(shù)據(jù)平臺(tái)；信息暴露      1  引言    本課題來源于中央廣播電視大學(xué)教務(wù)管理系統(tǒng)的后續(xù)開發(fā)。隨著中央電大在開放式教育思想指導(dǎo)下的教學(xué)改革的展開，系統(tǒng)業(yè)務(wù)量急

2、劇猛增，原有的教學(xué)管理系統(tǒng)已經(jīng)逐漸的滿足不了應(yīng)用需求。所以新一代教學(xué)管理系統(tǒng)正在開發(fā)中，同時(shí)由于教育業(yè)務(wù)本身的連貫性，導(dǎo)致了新舊系統(tǒng)并行的局面出現(xiàn)。但是由于新舊系統(tǒng)間缺少關(guān)聯(lián)和通信以及必要的規(guī)范，導(dǎo)致信息“孤島”現(xiàn)象嚴(yán)重，而舊系統(tǒng)又恰恰是電大不可放棄的重要投資。同時(shí)由于各個(gè)系統(tǒng)集成度不足，運(yùn)行業(yè)務(wù)的數(shù)據(jù)庫(kù)和應(yīng)用程序也是在不同時(shí)期部署的，它們來自不同的供應(yīng)商，使用各不相同的定制技術(shù)。從而面臨著如何構(gòu)建一個(gè)強(qiáng)壯的、可靠的，將新舊系統(tǒng)中的分散功能組織成可共用的標(biāo)準(zhǔn)服務(wù)來滿足業(yè)務(wù)要求的平臺(tái)，成為我們需要研究的難點(diǎn)。     通過實(shí)踐我們可以發(fā)現(xiàn)，應(yīng)用程序始終都與數(shù)據(jù)有關(guān)，

3、級(jí)的服務(wù)程序更是如此。今天，企業(yè)應(yīng)用程序開發(fā)中有高達(dá)70的時(shí)間都是用于訪問不同的數(shù)據(jù)。因此，對(duì)企業(yè)信息和數(shù)據(jù)按業(yè)務(wù)邏輯進(jìn)行梳理和抽取，形成企業(yè)數(shù)據(jù)的統(tǒng)一表現(xiàn)實(shí)體，該實(shí)體可以在全企業(yè)范圍內(nèi)得到一致性的使用，是邁向面向服務(wù)的體系架構(gòu)的第一步。因此我們提出了主題數(shù)據(jù)平臺(tái)的概念。 2  主題數(shù)據(jù)平臺(tái)結(jié)構(gòu)    主題數(shù)據(jù)平臺(tái)結(jié)構(gòu)見圖1。主題數(shù)據(jù)平臺(tái)由：主題數(shù)據(jù)服務(wù)層、數(shù)據(jù)處理構(gòu)件、數(shù)據(jù)處理管道、適配器構(gòu)件組成。 圖1 數(shù)據(jù)主題平臺(tái)的設(shè)計(jì)構(gòu)架        主題數(shù)據(jù)服務(wù)層：是底層接口與上層應(yīng)用的中

4、間層，用于屏蔽底層接口，向上提供統(tǒng)一的服務(wù)。有兩種角色：一種角色是數(shù)據(jù)中轉(zhuǎn)站，用于保存臨時(shí)數(shù)據(jù)，并等數(shù)據(jù)傳輸完整之后，進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行分析和處理；另一種角色是主題數(shù)據(jù)服務(wù)層角色，用于保存數(shù)據(jù)處理的最終結(jié)果：主題數(shù)據(jù)。     數(shù)據(jù)處理構(gòu)件：是數(shù)據(jù)處理的基礎(chǔ)構(gòu)件，每一個(gè)數(shù)據(jù)處理構(gòu)件都封裝了一部分相對(duì)獨(dú)立的數(shù)據(jù)處理邏輯，包括刪除不需要的數(shù)據(jù)、補(bǔ)充缺少的數(shù)據(jù)、對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的四則運(yùn)算、代碼轉(zhuǎn)換和按主題建立新的數(shù)據(jù)結(jié)構(gòu)等功能。     數(shù)據(jù)處理管道：是由多個(gè)數(shù)據(jù)處理構(gòu)件組成，它合理的組合和安排這些數(shù)據(jù)處理構(gòu)件，從而完成復(fù)雜的數(shù)據(jù)處理邏輯。 &

5、#160;   適配器構(gòu)件： 用于實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫(kù)與數(shù)據(jù)處理管道的無縫連接，從而能夠方便的從異構(gòu)數(shù)據(jù)庫(kù)中抽取或插入數(shù)據(jù)。 3  基于局域網(wǎng)的主題數(shù)據(jù)平臺(tái)的實(shí)現(xiàn)方案    基于局域網(wǎng)的主題數(shù)據(jù)平臺(tái)的實(shí)現(xiàn)方案見圖2。 圖2 基于局域網(wǎng)的數(shù)據(jù)主題平臺(tái)的實(shí)現(xiàn)方案        由于局域網(wǎng)有著：傳輸速度快、網(wǎng)絡(luò)故障率低、即時(shí)性強(qiáng)、服務(wù)器固定等優(yōu)點(diǎn)。所以我們采用：DTS技術(shù)、Nmake技術(shù)、臨時(shí)庫(kù)等技術(shù)來解決基于局域網(wǎng)的主題數(shù)據(jù)平臺(tái)的實(shí)現(xiàn)問題。 3.1   D

6、TS技術(shù)的應(yīng)用    采用DTS技術(shù)可以實(shí)現(xiàn)在局域網(wǎng)中從異構(gòu)的數(shù)據(jù)庫(kù)中提取或插入數(shù)據(jù)，并能對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的邏輯操作。它可以把相對(duì)獨(dú)立的數(shù)據(jù)處理邏輯封裝在對(duì)應(yīng)的DTS包中，從而把公用的數(shù)據(jù)處理邏輯從數(shù)據(jù)處理業(yè)務(wù)中提煉了出來，以備復(fù)用。并提供了工作流支持，保證了DTS包中數(shù)據(jù)處理業(yè)務(wù)的事務(wù)性和完整性。           適配器構(gòu)件     適配器構(gòu)件只是一個(gè)數(shù)據(jù)處理通道和異構(gòu)數(shù)據(jù)源的連接器，它負(fù)責(zé)從異構(gòu)數(shù)據(jù)源中抽取或者插入數(shù)據(jù)并將數(shù)據(jù)轉(zhuǎn)移到數(shù)據(jù)處理通道中。每

7、一個(gè)數(shù)據(jù)源對(duì)應(yīng)一個(gè)或多個(gè)適配器構(gòu)件，每個(gè)適配器構(gòu)件包含在對(duì)應(yīng)的DTS包中。整個(gè)DTS包中包含一個(gè)原數(shù)據(jù)源、一個(gè)目標(biāo)數(shù)據(jù)源和一個(gè)數(shù)據(jù)對(duì)應(yīng)轉(zhuǎn)換任務(wù)。將整個(gè)數(shù)據(jù)轉(zhuǎn)換邏輯封裝為一個(gè)構(gòu)件，有利于適配器構(gòu)件的復(fù)用。           數(shù)據(jù)處理構(gòu)件     數(shù)據(jù)處理構(gòu)件封裝了數(shù)據(jù)處理邏輯，這些處理邏輯由數(shù)據(jù)業(yè)務(wù)驅(qū)動(dòng)，包括刪除不需要的數(shù)據(jù)、從不同的數(shù)據(jù)來源補(bǔ)齊缺少的數(shù)據(jù)、對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的四則運(yùn)算、不同信息系統(tǒng)之間的代碼轉(zhuǎn)換等功能。數(shù)據(jù)處理邏輯按其獨(dú)立性和公用性被封裝在不同的DTS包中，增強(qiáng)了數(shù)據(jù)處理

8、構(gòu)件的可變性和復(fù)用性。DTS包提供了驗(yàn)證機(jī)制這既可以保證數(shù)據(jù)處理邏輯的正確性，又可以保證數(shù)據(jù)處理邏輯的事務(wù)性。DTS包內(nèi)包含工作流，可以針對(duì)不同的情況做出不同的處理，極大地提高了數(shù)據(jù)處理構(gòu)件的復(fù)用性，并可對(duì)業(yè)務(wù)性錯(cuò)誤做出必要的處理。 3.2  Nmake技術(shù)的應(yīng)用    Microsoft程序維護(hù)實(shí)用工具Nmake 是一個(gè) 32 位基于說明文件中包含的命令生成項(xiàng)目的工具。NMake具有豐富的選項(xiàng)，可以完成復(fù)雜的處理操作，并有樹狀文件任務(wù)處理結(jié)構(gòu)，并且易于編寫，結(jié)構(gòu)清晰，對(duì)于實(shí)現(xiàn)復(fù)雜的數(shù)據(jù)處理業(yè)務(wù)提供了很大的方便。采用Nmake技術(shù)可以有效的將結(jié)構(gòu)松散的、

9、相對(duì)獨(dú)立的數(shù)據(jù)處理構(gòu)件聚合起來，從而能夠處理復(fù)雜的數(shù)據(jù)處理業(yè)務(wù)。 數(shù)據(jù)處理管道     數(shù)據(jù)處理管道是將數(shù)據(jù)處理構(gòu)件有機(jī)的組合起來并封裝好，對(duì)主題數(shù)據(jù)服務(wù)層提供統(tǒng)一的訪問接口，從而把數(shù)據(jù)服務(wù)邏輯與數(shù)據(jù)處理邏輯分割開來。數(shù)據(jù)處理管道可以極大地提高數(shù)據(jù)處理構(gòu)件的復(fù)用率，并把復(fù)雜的數(shù)據(jù)處理邏輯從數(shù)據(jù)處理構(gòu)件中抽離了出來，當(dāng)數(shù)據(jù)處理業(yè)務(wù)變動(dòng)的時(shí)候不需要修改構(gòu)件只要按著業(yè)務(wù)需求，重新組織構(gòu)件即可解決問題。Nmake可以按著業(yè)務(wù)需求輕松地把數(shù)據(jù)處理構(gòu)件組合起來形成帶有業(yè)務(wù)邏輯關(guān)系的數(shù)據(jù)處理管道，并且Nmake提供了業(yè)務(wù)流功能，針對(duì)不同的業(yè)務(wù)需求可以提供不同的業(yè)務(wù)流支持，從而極

10、大的提高業(yè)務(wù)本身的靈活性。當(dāng)業(yè)務(wù)需求變動(dòng)時(shí)，Nmake可以通過重新組合數(shù)據(jù)處理構(gòu)件來完成業(yè)務(wù)，而不需修改或者重新編寫數(shù)據(jù)處理構(gòu)件，從而提高數(shù)據(jù)處理構(gòu)件的可復(fù)用性。 4  基于互聯(lián)網(wǎng)的主題數(shù)據(jù)平臺(tái)的解決方案    基于互聯(lián)網(wǎng)的主題數(shù)據(jù)平臺(tái)面臨的主要問題是如何通過遠(yuǎn)程數(shù)據(jù)傳輸將互聯(lián)網(wǎng)的異地、異構(gòu)的數(shù)據(jù)源中的數(shù)據(jù)傳輸?shù)街黝}數(shù)據(jù)服務(wù)層中。數(shù)據(jù)一旦進(jìn)入主題數(shù)據(jù)平臺(tái)的主題數(shù)據(jù)服務(wù)層，就可以使用和基于局域網(wǎng)的解決方案相同的技術(shù)對(duì)數(shù)據(jù)進(jìn)行整理。通過遠(yuǎn)程數(shù)據(jù)傳輸將互聯(lián)網(wǎng)的異構(gòu)數(shù)據(jù)傳輸?shù)街黝}數(shù)據(jù)服務(wù)層之后的功能與基于局域網(wǎng)的數(shù)據(jù)轉(zhuǎn)換接口的功能相同。   

11、  中央廣播電視大學(xué)遠(yuǎn)程開放教育的教務(wù)管理系統(tǒng)是一個(gè)跨越44個(gè)省面向全國(guó)的開放式教育體系結(jié)構(gòu)。該系統(tǒng)包含四級(jí)平臺(tái)、五種角色，由于其獨(dú)特性中央電大教務(wù)管理系統(tǒng)基于互聯(lián)網(wǎng)的主題數(shù)據(jù)平臺(tái)的搭建有如下4方面需求：     1） 中央電大各個(gè)系統(tǒng)之間、中央電大教務(wù)管理系統(tǒng)各級(jí)平臺(tái)之間需要能進(jìn)行靈活的數(shù)據(jù)交換。     2）每次交換數(shù)據(jù)的數(shù)據(jù)量可能達(dá)到GB級(jí)。     3）部分?jǐn)?shù)據(jù)交換有實(shí)時(shí)性要求，在規(guī)定時(shí)間內(nèi)客戶端必須收到響應(yīng)，不能因?yàn)閿?shù)據(jù)傳輸而推遲業(yè)務(wù)進(jìn)度。     4）需要在網(wǎng)絡(luò)狀況不穩(wěn)定的情況下完成數(shù)據(jù)交換，因?yàn)橹醒腚姶蠼虅?wù)系統(tǒng)是跨越44個(gè)省的開放式教育系統(tǒng)，所以中央電大需要同44所省電大交換數(shù)據(jù)，在這種情況下網(wǎng)絡(luò)狀況不可預(yù)知、穩(wěn)定性難以保證，但傳輸仍然需要進(jìn)行。 4.1  SOAP協(xié)議與Hessian協(xié)議的比較    目前，Web服務(wù)技術(shù)是解決異構(gòu)平臺(tái)系統(tǒng)的集成及互操作問題的主流技術(shù)1。它所基于的XML已經(jīng)是Internet上交換數(shù)據(jù)的實(shí)際標(biāo)準(zhǔn)，基于通用的進(jìn)程間通信協(xié)議和網(wǎng)絡(luò)傳輸協(xié)議屏蔽平臺(tái)的差異，可