數(shù)據(jù)交換模式的區(qū)分v01

1、0應(yīng)用間數(shù)據(jù)交換模式All statements regarding HIGHGOs plans, directions, and intent are subject to change or withdrawal without notice. Any reliance on these statements are at the relying partys sole risk and will not create any liability or obligation for HIGHGO.數(shù)據(jù)交換方式目的是，了解流行的數(shù)據(jù)交換方法，了解不同方法的優(yōu)缺點(diǎn)和使用范圍，辨別出可能是HVR

2、產(chǎn)品的機(jī)會 。目前流行的分布式系統(tǒng)間，應(yīng)用間交換數(shù)據(jù)的方式大致分3種，基于消息的實(shí)時(shí)通信，基于消息的實(shí)時(shí)通信，基于數(shù)據(jù)庫復(fù)制，基于文件數(shù)據(jù)庫復(fù)制，基于文件FTPFTP交換交換。消息交換可以采用商業(yè)中間件或自行商業(yè)中間件或自行socketsocket編碼編碼實(shí)現(xiàn)。這幾種方式也可以混合使用，完成不同的需求。其他交換方式，例如磁盤鏡像（容災(zāi)），離線交換（備份歸檔），不做討論。1客戶應(yīng)用消息中間件數(shù)據(jù)庫文件系統(tǒng)發(fā)消息讀寫數(shù)據(jù)讀寫文件應(yīng)應(yīng)用系用系統(tǒng)統(tǒng)A消息中間件客戶應(yīng)用數(shù)據(jù)庫文件系統(tǒng)發(fā)消息讀寫數(shù)據(jù)讀寫文件應(yīng)應(yīng)用系用系統(tǒng)統(tǒng)A中間件消息交換數(shù)據(jù)庫交換文件交換離線交換TCP/IP消息交換All stateme

3、nts regarding HIGHGOs plans, directions, and intent are subject to change or withdrawal without notice. Any reliance on these statements are at the relying partys sole risk and will not create any liability or obligation for HIGHGO.小結(jié)-其中紅色部分為重點(diǎn)區(qū)分2交換方式交換方式方式方式時(shí)延時(shí)延典型場景典型場景源端要求源端要求容錯容錯實(shí)施實(shí)施產(chǎn)品產(chǎn)品消息傳遞消息傳遞同

4、步、異步、雙向、發(fā)布/訂閱毫秒傳遞業(yè)務(wù)層任務(wù)和信息傳遞業(yè)務(wù)層任務(wù)和信息。例如需要幾個系統(tǒng)間配合完成的支付交易源端均做應(yīng)用開發(fā)雙方約定消息格式數(shù)據(jù)格式靠應(yīng)用保障，低傳輸靠中間件和專網(wǎng)保障應(yīng)用改造消息中間件MQ，TongQ，kafka或自行開發(fā)數(shù)據(jù)庫同步數(shù)據(jù)庫同步異步多單向秒-分鐘數(shù)據(jù)庫復(fù)制通常與業(yè)務(wù)無關(guān)數(shù)據(jù)庫復(fù)制通常與業(yè)務(wù)無關(guān)。源和端數(shù)據(jù)變化要求一致。經(jīng)常用于讀寫分離，容災(zāi)，數(shù)據(jù)共享場景源端為數(shù)據(jù)表，目標(biāo)不限格式以源端定義為主，可變余地不大。數(shù)據(jù)格式受表結(jié)構(gòu)約束，低網(wǎng)絡(luò)靠專有網(wǎng)絡(luò)保障配置及數(shù)據(jù)庫腳本CDC/OGG/HVR/迪思捷文件分發(fā)文件分發(fā)異步分鐘以上，小時(shí)，天（取決文件大?。┎灰髮?shí)時(shí)的批

5、量業(yè)務(wù)居多不要求實(shí)時(shí)的批量業(yè)務(wù)居多。例如文件分發(fā)（數(shù)據(jù)源本身就是文件）；數(shù)據(jù)倉庫（跑批export成文件），日志歸集處理源目標(biāo)文件雙方定義文件格式格式靠文件格式保障，高。網(wǎng)絡(luò)要求不高，可以穿過公網(wǎng)。FTP及腳本FTP可靠傳輸軟件，如需轉(zhuǎn)換選ETL工具?；旌夏Ｊ交旌夏Ｊ? 1消息+文件 秒-分鐘如地市到國土部委，數(shù)據(jù)同步為了避免源端（縣）做改造和聯(lián)調(diào)工作量過大，所以利用規(guī)定格式的文件做接口，解耦源和端差異和改造過程，準(zhǔn)備好一個上一個，提高容錯能力和上線速度。混合模式混合模式2 2數(shù)據(jù)同步+文件秒-分鐘HVR同步國土文件場景HVR+ETL實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)數(shù)倉導(dǎo)入。在同步響應(yīng)的記錄時(shí)，可以讀取響應(yīng)記錄對應(yīng)

6、的文件，同時(shí)進(jìn)行傳輸。All statements regarding HIGHGOs plans, directions, and intent are subject to change or withdrawal without notice. Any reliance on these statements are at the relying partys sole risk and will not create any liability or obligation for HIGHGO.優(yōu)缺點(diǎn)優(yōu)點(diǎn)是：優(yōu)點(diǎn)是：1.實(shí)時(shí)性，通常系統(tǒng)要求毫秒級響應(yīng)。2 容易控制權(quán)限。通過傳輸層協(xié)議h

7、ttps，加密傳輸?shù)臄?shù)據(jù)，使得安全性提高3 通用性比較強(qiáng)，無論客戶端是.net架構(gòu)，java，python 都是可以的。尤其是webservice規(guī)范，使得服務(wù)變得通用缺點(diǎn)是：缺點(diǎn)是：1 服務(wù)器和客戶端必須同時(shí)工作，當(dāng)服務(wù)器端不可用的時(shí)候，整個數(shù)據(jù)交互是不可進(jìn)行。2 當(dāng)傳輸數(shù)據(jù)量比較大的時(shí)候，嚴(yán)重占用網(wǎng)絡(luò)帶寬，可能導(dǎo)致連接超時(shí)。使得在數(shù)據(jù)量交互的時(shí)候，服務(wù)變的很不可靠。3All statements regarding HIGHGOs plans, directions, and intent are subject to change or withdrawal without notice

8、. Any reliance on these statements are at the relying partys sole risk and will not create any liability or obligation for HIGHGO.2 基于中基于中間間件的消息方式件的消息方式基于第一種模式的缺點(diǎn)，系統(tǒng)間消息可以通過消息中間件。保障可靠，安全，及時(shí)的傳輸。廣泛應(yīng)用于大規(guī)模分布系統(tǒng)（淘寶），異構(gòu)系統(tǒng)間（銀行），跨公司系統(tǒng)（銀行間），即時(shí)通信(微信)，物聯(lián)網(wǎng)（數(shù)據(jù)采集）系統(tǒng)實(shí)時(shí)的業(yè)務(wù)交互。目前市場上有很多消息中間件，比如MQ，TQ，ActiveMQ，kafka。4All

9、statements regarding HIGHGOs plans, directions, and intent are subject to change or withdrawal without notice. Any reliance on these statements are at the relying partys sole risk and will not create any liability or obligation for HIGHGO.優(yōu)缺點(diǎn)這種方式的優(yōu)點(diǎn)這種方式的優(yōu)點(diǎn)開發(fā)簡單可以采取同步，異步，可靠性的消息處理，消息中間件也可以獨(dú)立出來部署。保證一定傳到

10、，且只傳一次，提供緩存，緩沖，容錯，壓縮，加密的功能。提供一對一，一對多，發(fā)布訂閱等多種模式。這種方式的缺點(diǎn)這種方式的缺點(diǎn)不適合文件交換不適合批量數(shù)據(jù)交換5All statements regarding HIGHGOs plans, directions, and intent are subject to change or withdrawal without notice. Any reliance on these statements are at the relying partys sole risk and will not create any liability or o

11、bligation for HIGHGO.3 數(shù)據(jù)數(shù)據(jù)庫庫共享方式共享方式通過數(shù)據(jù)庫來實(shí)現(xiàn)不同應(yīng)用間數(shù)據(jù)的交換和共享。應(yīng)用A和應(yīng)用C通過連接同一個數(shù)據(jù)庫服務(wù)器的同一張表進(jìn)行數(shù)據(jù)交換如果應(yīng)用A和應(yīng)用B，無法訪問同一個數(shù)據(jù)庫，可以通過數(shù)據(jù)復(fù)制技術(shù)實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)實(shí)時(shí)同步后的共享。數(shù)據(jù)供給應(yīng)用A對數(shù)據(jù)訪問應(yīng)用B/C沒有依賴。共享和訪問的數(shù)據(jù)結(jié)構(gòu)一致。可以控制到表級別的共享粒度。6Insert into table student values(“zhangsan”,”100012”,.)All statements regarding HIGHGOs plans, directions, and inte

12、nt are subject to change or withdrawal without notice. Any reliance on these statements are at the relying partys sole risk and will not create any liability or obligation for HIGHGO.優(yōu)缺點(diǎn)這種方式的優(yōu)點(diǎn)是1 相比文件方式傳輸來說，因?yàn)槭褂玫耐粋€數(shù)據(jù)庫，交互更加簡單。2 由于數(shù)據(jù)庫提供相當(dāng)做的操作，比如更新，回滾等。交互方式比較靈活,而且通過數(shù)據(jù)庫的事務(wù)機(jī)制，可以做成可靠性的數(shù)據(jù)交換。這種方式的缺點(diǎn)：1 當(dāng)連接B

13、的系統(tǒng)越來越多的時(shí)候，由于數(shù)據(jù)庫的連接池是有限的，導(dǎo)致每個系統(tǒng)分配到的連接不會很多，當(dāng)系統(tǒng)越來越多的時(shí)候，可能導(dǎo)致無可用的數(shù)據(jù)庫連接2 一般情況，來自兩個不同公司的系統(tǒng)，不太會開放自己的數(shù)據(jù)庫給對方連接，因?yàn)檫@樣會有安全性影響7All statements regarding HIGHGOs plans, directions, and intent are subject to change or withdrawal without notice. Any reliance on these statements are at the relying partys sole risk an

14、d will not create any liability or obligation for HIGHGO.4 4 文件文件FTPFTP方式方式支持大量數(shù)據(jù)，批量數(shù)據(jù)，多媒體文件傳輸與分發(fā)。通常難以校驗(yàn)傳輸?shù)臏?zhǔn)確性，實(shí)時(shí)性要求不高。典型場景，多媒體分發(fā)，數(shù)據(jù)源到數(shù)據(jù)倉庫的批量匯總，日志文件采集匯總分發(fā)。通常伴隨文件的解析，轉(zhuǎn)換等處理。文件級別交換控制粒度8All statements regarding HIGHGOs plans, directions, and intent are subject to change or withdrawal without notice. Any reliance on these statements are at the relying partys sole risk and