中臺系統(tǒng)建設方案.doc

1、中臺系統(tǒng)建設方案中臺建設方案目錄中臺建設方案11 總述41.1 當前問題41.2 中臺系統(tǒng)解決問題4.1.3 中臺系統(tǒng)帶來的收益4工程方面4數據方面4創(chuàng)新方面51.4 中臺系統(tǒng)達成目標系統(tǒng) 5第一階段5第二階段6第三階段62系統(tǒng)建設總體設計 62.1 系統(tǒng)總體建設思想 .6.2.2 系統(tǒng)設計原則.72.2.1 安全性. 可靠性 擴展性 開放性.5 強壯性1.0.3系統(tǒng)的實現技術 10系統(tǒng)技術平臺選擇1.Q3.1 系統(tǒng)的網絡結構.1.14技術設計124.1 系統(tǒng)總體技術架構 124.2 技術規(guī)范及實施.124.3 系統(tǒng)擴展性要求 .134.

2、4運行狀態(tài)監(jiān)控,信息檢索145中臺系統(tǒng)開發(fā)管理145.1業(yè)務模型調研團隊開發(fā)團隊145.3開發(fā)周期155.4網絡及服務器1.5.1總述1.1當前問題1 .系統(tǒng)維護困難2 .二次開發(fā)迭代僅原廠商可以進行3 .新承建系統(tǒng)過多重復工作4 .同一業(yè)主下不同系統(tǒng)存在數據壁壘1.2中臺系統(tǒng)解決問題因軟件系統(tǒng)建設數量的日益增長，我們發(fā)現浪費了過多的時間在開發(fā)相似系統(tǒng)功能上， 且在這些相似的系統(tǒng)功能，我們現實遇到的情況是：1 .相似系統(tǒng)功能無法通用于不同系統(tǒng)，難以快速接入2 .系統(tǒng)功能由不同語言、不同技術架構、不同標準開發(fā)，難以維護3 .相似系統(tǒng)功能之間數據無法通用，數據壁壘凸顯同

3、一個輪子造1 0。遍， 對一個部門或是一家企業(yè)是沒有任何好處，自然一個相似的系統(tǒng)造1 0。遍同樣沒有什么幫助。以此我們希望建設一套可以滿足大多數系統(tǒng)功能的、可以滿足今后擴展的、有相對統(tǒng)一業(yè)務的、可以快速高效迭代的并可快速接入的系統(tǒng)，以下我們簡稱“中臺”。中臺解決問題：1 .相似業(yè)務無需重復開發(fā)2 .數據統(tǒng)一打破數據壁壘，可多系統(tǒng)、多行業(yè)的數據分析3 .快速迭代接入4 .統(tǒng)一規(guī)范，降低維護難度1.3 中臺系統(tǒng)帶來的收益工程方面減少了重復造輪子、重復建系統(tǒng)的現象。對統(tǒng)一的業(yè)務資源統(tǒng)一管理。數據方面有了統(tǒng)一的資源管理，如：統(tǒng)一的用戶、權限、訂單等，就不再會有各種的數據打通問 題、同步問題，不會有夸部

4、門的數據墻。有了公共的中臺，也就有了統(tǒng)一的數據規(guī)范。對于大數據相關的需求，可以從相對唯一的數據出口進行業(yè)務迭代，不需要為每一個部門進行定制開發(fā)，浪費人力。創(chuàng)新方面產品、開發(fā)、實施人員不再是僅對一套系統(tǒng)、一個行業(yè)進行業(yè)務開發(fā)。由在“點”上的根 本感知不到問題的角色，突破到從“線”和“面”的平臺上進行工作，更容易發(fā)現這些問題的本 質，通過其自身的專業(yè)技能解決當前實際問題的同時產生全局觀。解決系統(tǒng)問題將不再是以前的“打補丁”，而是轉為真正意義上的“升級”。不謀全局者，不足謀一域。有了公共的中臺，意味著產品、開發(fā)、實施人員擁有相對全局的視角，更能發(fā)現單點單 觀察難以發(fā)現的問題，在更大的業(yè)務層后進行一定

5、的創(chuàng)新1.4 中臺系統(tǒng)達成目標系統(tǒng)目前暫將中臺系統(tǒng)的建設目標分為三個階段：第一階段（一）建立統(tǒng)一的開發(fā)標準，如：1 .統(tǒng)一技術棧（開發(fā)語言、開發(fā)框架、開發(fā)工具、數據工具、其他中間件等）2 .統(tǒng)一接入方式3 .制定統(tǒng)一數據標準4 二）調研分析統(tǒng)一業(yè)務模型，如：1 .系統(tǒng)基礎功能模型2 .行業(yè)業(yè)務功能模型3 .數據分析模型建立（三）人才技術儲備，由于中臺接入系統(tǒng)的增加，中臺的高可用性，如：容錯容災、負載、多中心切換、數據同步、平臺安全等不可忽視，所以需要早期及時規(guī)劃相關人員。（四）中臺功能開發(fā)，如：1 .權限管理服務（RMS）2 .基礎數據服務（B DM S）3 .客戶管理服務（CMS）4 .內容

6、管理服務（CMS）5 .日志管理服務（LO GMS）6 . 第三方接入服務（T P I M S ）7 .數據分析服務（DAMS）8 .自定義流程服務（WFMS）在此階段我們可以達成的目標為：1 .減少重復工作2 .快速新增功能3 .快速接入4 .中臺內的功能數據壁壘消除5 .二次開發(fā)可不再依賴原廠商第二階段將第一階段得到的行業(yè)業(yè)務功能模型開發(fā)轉化為統(tǒng)一業(yè)務功能，自此將數據分析服務 （DAMS）升級為“數據中臺”。在此階段我們可以達成的目標：1 .可實現跨系統(tǒng)、跨行業(yè)的數據分析2 .讓數據分析多元化3 .中臺系統(tǒng)由原來的可“高效開發(fā)迭代接入管理的業(yè)務平臺”升級為“可產生超數據范 圍的大數據分析業(yè)

7、務綜合平臺”4 .對同一行業(yè)的信息化建設實現同步開發(fā)第三階段隨著中臺系統(tǒng)的功能完善， 則必不可免的產生高并發(fā)、數據量增大等性能瓶頸問題，由此在第一階段的儲備將對現有平臺的技術框架、軟件結構、服務器資源等進行持續(xù)優(yōu)化，從而達到真正的穩(wěn)定可高、高效。2系統(tǒng)建設總體設計2.1 系統(tǒng)總體建設思想在遵循整體性、法制性、 規(guī)范性、實用性的總體設計思想的基礎上，系統(tǒng)采用微服務為前端用戶服務平臺。中臺的建設融合了多項當前軟件開發(fā)的先進技術。通過自有團隊系統(tǒng)開發(fā)提供更好的 可擴展性。后端AP I構建在J a v a平臺之上，管理平臺實現前后端分離，以達到日益變化的前端技術，使用目前大型系統(tǒng)開發(fā)常用的MV C架構

8、進行開發(fā)，前端頁面展示與后端數據操作完全獨立開發(fā)，通過強認證的接口進行數據的讀寫與交互，本系統(tǒng)嚴格地定義了所有的基礎業(yè)務對象與業(yè)務邏輯處理對象，統(tǒng)一了數據存儲規(guī)則， 在此基礎上又將軟件細致地劃分為后臺數據處理層、 中間業(yè)務邏輯處理層、 前臺業(yè)務邏輯處理層和表現層，并且配合我公司獨立開發(fā)的ORM框架進行數據庫操作，保證了數據庫的可擴展性、可遷移性。為了適應業(yè)務發(fā)展的需求，本系統(tǒng)的擴展能力也是一大特色，我們在制定了統(tǒng)一的數據處理規(guī)則，規(guī)范了基礎行業(yè)對象， 也將現有的業(yè)務邏輯對象進行了統(tǒng)一封裝，并給二次開發(fā)者提供了簡單靈活的訪問接口、詳盡的文檔說明，在進行新功能的拓展時無須對數據庫進行直接操作，從而

9、保證了數據庫的完整性和安全性2.2 系統(tǒng)設計原則2.2.1 安全性1）系統(tǒng)的結構安全性設計系統(tǒng)的結構安全性在本系統(tǒng)中主要來源于兩個方面：數據傳輸的安全性與數據存儲的 安全性。分級分權限管理企業(yè)資源、保密消息，有效確保消息的閱讀范圍。系統(tǒng)的數據和信息存儲，數據庫服務器部署于阿里云，數據庫公網無法訪問，只能通過 建立于ECS應用服務器訪問數據，對應用服務器進行了多層安全防護與訪問授權，確保數 據存儲的安全性。2）系統(tǒng)業(yè)務安全設計對于系統(tǒng)的業(yè)務安全來說，系統(tǒng)在以下幾個方面對安全性方面進行了相應的設計：1 .對關鍵數據的加密存放，如用戶、操作人員的密碼等；2 .對關鍵數據的校驗存放，如接口信息的校驗串

10、設計；3 .對關鍵數據的日志記錄，系統(tǒng)嚴格的留痕設計，對于重要的操作均采用獨立的流水記錄， 保證相關業(yè)務的發(fā)生均有相應的記錄，保存處理時的關鍵信息；而對于一般性的操作， 則通過日志記錄的方式，確保重要的信息能得以保存，供后續(xù)的查證使用；4 .對業(yè)務操作的嚴格權限檢查，任何業(yè)務的操作，在應用服務器處理層， 均需進行相應的功能與權限檢查，包括菜單與功能的兩級權限檢查、用戶身份與操作權限的檢查、使用人員身份與操作權限的檢查、業(yè)務本身處理要求的檢查等，防止一切非法的調用，確保系統(tǒng)的業(yè)務處理的安全性；5 .對業(yè)務操作的嚴格控制性檢查，可設置用戶、使用人員的站點限制， 設置用戶與使用人員可操作的對象限制等

11、；6 .對業(yè)務可自定義審核設計， 可通過對業(yè)務操作的參數化定義，來設置對業(yè)務處理的不同等級的審核要求， 確保業(yè)務在處理前， 通過不同使用人員的審核，來保證業(yè)務處理的合法性與合理性，防范意外事件的發(fā)生；7 .對系統(tǒng)的運行監(jiān)控設計，可監(jiān)控系統(tǒng)的網絡狀況、業(yè)務處理情況以及數據交換的情況等， 從而可有效地及時發(fā)現異常事件的發(fā)生。3）數據安全設計在數據安全方面：系統(tǒng)在設計上充分考慮到業(yè)務稽核的需要，在數據庫后臺表的設計中，通過對關鍵數據表增加校驗字段來保證數據的客觀公正；通過對關鍵數據密碼類根據系統(tǒng) 提供的加密方式加密后存放，可保證即使是數據庫管理人員也無法從表中直接查詢到用戶 或操作人員的關鍵數據；

12、通過對各業(yè)務表之間的邏輯關聯(lián)，確保非法的數據修改可通過數據間的關聯(lián)關系得以查找。數據安全還表現在數據的一致性和可稽核性方面：首先系統(tǒng)所有操作均有留痕， 這是可稽核的首要條件，另外，系統(tǒng)的數據記錄是連續(xù)的、互相關聯(lián)的，并且總分平衡的；這就為 系統(tǒng)數據的一致性和可稽核性的必要條件。因此數據的一致性和可稽核性是數據安全的基 本保障。對數據的訪問完全隔離互聯(lián)網直接訪問， 互聯(lián)網對數據的請求必須經過授權后， 通過部 署于阿里云的接口訪問。 通過部署與不同網段的兩層接口進行數據安全防護，避免核心接口與數據存儲暴露于互聯(lián)網。4）系統(tǒng)災備設計對于災備系統(tǒng)來說，主系統(tǒng)所具有的功能均需具有，但考慮到災備系統(tǒng)管理與

13、維護的方 便性，采用節(jié)點數盡可能少的高性能服務器來實現業(yè)務的接管是最為經濟可行的模式。通常，在系統(tǒng)中采用多服務器并行模式的情況下，災備系統(tǒng)可以考慮將多應用服務器統(tǒng)一部署，通過采用應用與查詢分離的雙服務器模式來實現系統(tǒng)的應用部署。多中心服務器的部署設計方式既可以滿足分布式處理的要求，同時也可以滿足在單物理服務器上的統(tǒng)一部 署的需要，因此，災備系統(tǒng)的建設也就變得非常簡單可行。對于本系統(tǒng)，將充分利用阿里云云的已有建設成果，數據的安全及備份將由阿里云系統(tǒng)完成。2.2.2可靠性系統(tǒng)在設計上已充分考慮提供安全可靠的技術和管理方式，保證常年不間斷運行。 系統(tǒng)在通訊層、應用邏輯層、 數據庫層都實現高可靠， 避

14、免單點故障。應用服務器應具備負載均 衡的能力。系統(tǒng)在長時間大容量高壓力的情況下，能穩(wěn)定運行。通過組件化設計，系統(tǒng)任何局部性的錯誤不影響整個系統(tǒng)的正常運行。多臺應用服務器并行運行時能按組集群并具備 負載均衡功能，連接斷開后應用服務器能自動重連。系統(tǒng)具有完善的容錯功能， 數據庫服務器、網絡設備、存儲設備及相關系統(tǒng)和軟件應有 冗余設計，由于系統(tǒng)在數據庫層采有服務器組的方式實現，中間件層采用群組方式實現，實現組內設備系統(tǒng)單點出現故障時，能實現自動切換。系統(tǒng)容錯及冗余的實現對系統(tǒng)性能的影響較小。系統(tǒng)容錯及冗余的實現不能影響系統(tǒng)性能。系統(tǒng)有完備的系統(tǒng)級和應用級災難備份的解決方案，系統(tǒng)對通訊鏈路故障、核心數

15、據庫故障、應用服務器故障有不同的解決方案和應對措施。為簡化管理，便于維護，系統(tǒng)在建設時在阿里云（或中心機房）安裝有實時監(jiān)控系統(tǒng)， 可以實現對所有重要設備或系統(tǒng)進行監(jiān)控，同時還可根據需要對災備中心的指定進行實時 監(jiān)控。系統(tǒng)有完備的在線和脫機數據備份措施。系統(tǒng)備份擁有斷點恢復功能，從而可以保證數據備份的完整性。在出現災難時，可以實現快速恢復。2.2.3擴展性業(yè)務系統(tǒng)的設計不可能完全預料到未來的發(fā)展，因此可擴展性就成為業(yè)務系統(tǒng)未來發(fā)展的關鍵設計。良好的可擴展性設計對于業(yè)務的發(fā)展能起到積極的支撐作用，可以在盡可能少改動的情況下，保證業(yè)務系統(tǒng)適合業(yè)務發(fā)展的需要。在我們的系統(tǒng)中，我們通過業(yè)務邏輯層流程的變

16、更，可以方便地支持不同業(yè)務處理流程的需要，也可以通過對業(yè)務拓展層的修改滿足個性化的業(yè)務處理要求的修改。而對于處理容量的擴展性考慮，我們支持多服務器的業(yè)務處理與多服務器的數據分割處理，確保系統(tǒng)的處理能力能隨著業(yè)務量的增加平穩(wěn)地擴展， 另外在業(yè)務上可以同步支持多業(yè)務中心的平行部署，滿足業(yè)務擴展需求。 同時，我們的可擴展性還表現在對不同的業(yè)務系統(tǒng)的支持，由于我們對底層數據分離的依據是以企業(yè)統(tǒng)一的用戶與組織機構管理的基礎來設計，因此所有其他業(yè)務系統(tǒng)的應用，可以通過調用接口， 無縫地集成接入系統(tǒng)，形成一個統(tǒng)一的業(yè)務系統(tǒng)平臺，真正發(fā)揮集中式業(yè)務系統(tǒng)的優(yōu)勢。首先，從用戶數據量的增加來說，與系統(tǒng)直接相關的是系

17、統(tǒng)處理性能能否達到用戶應用 的峰值要求。對于確定的硬件環(huán)境來說，如何盡可能地提高其并發(fā)用戶的量，需要我們從系統(tǒng)業(yè)務處理的設計方式和對業(yè)務處理能力的擴展兩方面來考慮。對于業(yè)務處理的設計來說，我們通過業(yè)務邏輯的前移， 減少后臺數據庫的處理壓力，從而將相當的處理壓力分擔到服務器異步來處理，從而可以通過對服務器的線性擴展來提高 業(yè)務的處理能力。同時，考慮到相當多的數據是靜態(tài)的數據或者是相對變動較小的數據，因此，我們在數據處理上可以進一步考慮實現內存數據庫、數據緩存等，通過將某些與靜態(tài)數據或變化較小數據的訪問在前端服務器上來處理掉，從而減少與后臺數據庫服務器的交互， 進而減少對后臺數據庫服務器的處理壓力

18、，從而提高系統(tǒng)本身的處理能力；對于業(yè)務處理能力的擴展來說， 無論通過何種方式來實現對數據庫壓力的分擔，數據庫本身最終仍然是處理的一個基礎，在這種模式下，每一臺數據庫服務器始終會有一個處理的極限。因此，當數據庫服務器達到處理極限的情況下，如何來擴展其處理能力，也是我們需要考慮的一個方面。在這里，我們考慮通過對數據庫服務器的擴展來提高服務器的數據能力。數據庫服務器的擴展分兩個方面。一方面我們可以從業(yè)務上將不同的數據分布在不同 的物理數據庫服務器上來進行不同的業(yè)務處理，從而利用多臺服務器實現某一個業(yè)務處理 流程，這樣就相當于將一臺物理服務器的處理能力分攤在多臺服務器上，從而擴展了單一服務器的數據能力

19、；另一方面，我們還可以對用戶的數據根據用戶的屬性來加以區(qū)分，如根據用戶所屬的機構屬性來進行分割數據，實現多業(yè)務中心并行處理， 進而可以保證不同的用戶的交易在不同的物理服務器上得到處理，從而實現后臺數據庫服務器的處理能力的擴展。另外，在前端服務器層面，應用本身是業(yè)務邏輯前移設計方式，并且支持群組部署和負載平衡，可以滿足擴展性的需要。在處理能力的并行擴展中，我們根據業(yè)務特點，考慮采用將多種方式結合使用，提供系統(tǒng)最佳的處理性能。2.2.4 開放性系統(tǒng)設計采用業(yè)界開放的技術標準，使用統(tǒng)一技術標準， 如SOA, WS-Security , HTML5等，采用面向對象的分析和設計，組件化技術等，從根本上增

20、強了和企業(yè)現有系統(tǒng)的互操作 性，降低了消除信息孤島的復雜性，使得將企業(yè)現有各種業(yè)務系統(tǒng)互聯(lián)成為一種可能。系統(tǒng)整體結構具有很好的模塊化設計，模塊之間有明確的，遵循開放標準的服務接口，平臺之間有明確的面向服務的規(guī)范；軟件產品優(yōu)先選擇成熟的，主流的軟件平臺，這類產品具有更好的開放性和更標準的接口設計；技術路線選擇大多數廠商，主流產品均支持的技術路線，將對平臺的依賴性減至最低。在應用設計上注重開放性設計，遵循國際的開放標準， 組件之間的可配置程度要好，可連接性要好。同時兼顧實用性，系統(tǒng)具有良好的實用價值，界面友好采用互聯(lián)網的 UI設計，業(yè)務靈活可調整，產品的穩(wěn)定高效。2.2.5 強壯性系統(tǒng)具有完整的備

21、份方案和數據備份機制以及相應的恢復方案，充分考慮核心數據庫、 業(yè)務中間件等故障時的處理機制。系統(tǒng)具有良好的斷點恢復功能，對系統(tǒng)出現地各類故障，可以實現斷點快帶恢復功能； 通過數據備份記錄實現數據的快速恢復和災難重建工作；保障系統(tǒng)運行安全。3系統(tǒng)的實現技術系統(tǒng)技術平臺選擇本系統(tǒng)是基于Java技術研發(fā)，接口采用key+token進行保護，行業(yè)應用實踐證明，在穩(wěn)定性、擴展性等方面都有可靠保障。服務器及終端環(huán)境網絡服務器操作系統(tǒng)：CentOS或windowsPC端瀏覽器支持IE9及以上IE瀏覽器，火狐、谷歌等主流瀏覽器數據庫SqlServer, Redis3.1系統(tǒng)的網絡結構系統(tǒng)網絡拓撲圖如下圖所示：

22、如上圖所示，系統(tǒng)主要部署在阿里云服務器上，通過數據接口服務完成數據安全、網絡安全，系統(tǒng)高可用性、網絡高可用性的保證。后臺管理用戶可通過部署的Web服務器組的UI交互頁面，其中頁面操作流程中的關鍵業(yè)務數據提交將采用 HTTPS方式進行通訊。系統(tǒng)可同時采用多臺應用服務器進行負載均衡保證業(yè)務處理的高并發(fā)性能及7x24小時的穩(wěn)定服務能力，保證了大數據量處理性能。4技術設計4.1 系統(tǒng)總體技術架構總體技術架構圖如下：救得陣服務網站.裱信后端業(yè)曷處理用務后臺悌1系統(tǒng)NginxJavaApsche/Tomcai援存服努Redis本系統(tǒng)的前端為純 HTML5技術開發(fā)，無需php、aspx或者jsp等動態(tài)頁面服

23、務技術，前端 頁面腳本和資源發(fā)布在獨立的nginx服務中，可以保證前端 UI加載的高并發(fā)訪問性能和穩(wěn)定性。系統(tǒng)的后端核心業(yè)務處理服務，以獨立的Java進程（CLR）方式啟動http/https服務與前端及微信公眾平臺進行連接通訊，通訊格式采用Json格式以提高通訊過程的可擴展性兼容性及性能，業(yè)務數據采用reids進行動態(tài)緩存以保證對前端業(yè)務請求的快速處理和響應能力，業(yè)務數據的持久化采用sqlsver數據庫方案。后臺管理系統(tǒng)以Java Web應用方式部署在獨立的Tomcat服務器中，將前端業(yè)務處理服務和后臺管理服務隔離開，保證了業(yè)務的處理能力和安全性。4.2 技術規(guī)范及實施系統(tǒng)兼容性1、支持IE

24、9及以上IE瀏覽器，支持火狐、谷歌等主流瀏覽器。安全性要求系統(tǒng)對于交互過程中的所有關鍵字段均采用業(yè)界公認的加密算法進行加密處理。避免客戶的關鍵信息的泄漏，保證客戶交易的安全性。1、使用SSL進行數據加密傳輸。交易認證時交易密碼、交易驗證碼等敏感數據采用MD5等加密算法進行加密；保證客戶數據信息安全。2、后臺管理系統(tǒng)的登錄采用 https集合動態(tài)識別等多因子認證機制，并對后臺管理用戶進行分級權限管理，保證完整的登錄管理等操作日志，防止后臺用戶的管理權限漏洞產生。用戶人機交互界面要求系統(tǒng)用戶 UI界面設計會遵循快捷簡明人性化的原則，同時會提供簡明扼要的幫助信息來方便新用戶的業(yè)務操作。性能要求1、平

25、均頁面響應時間：頁面響應時間是指用戶點擊該頁面（交易）的鏈接到該頁面完全加載完畢所需要的時間，原則上要求平均頁面響應時間不超過3秒；2、并發(fā)用戶數：并發(fā)操作用戶數是指在同一時刻與服務器進行了交互的在線操作用戶數量。在滿足交易響應時間要求的前提下，該系統(tǒng)并發(fā)操作用戶數不少于100人，因架構為成熟分布式架構，可隨時通過實施人員拆分部署，因此具體并發(fā)數在于購買的阿里云服務的具體配置；3、日終批處理接口文件及報表處理時間<1小時;？4、實時報表查詢的時間 <1分鐘；5、系統(tǒng)資源占有率：為了保證系統(tǒng)能夠正常、穩(wěn)定運行推薦的服務器的 CPU占有率和 內存使用率均不應超過60%4.3 系統(tǒng)擴展性要求本系統(tǒng)的設計會充分考慮