精武門_支付寶整體架構(gòu)_20100610

1、支付寶架構(gòu)魯肅2010年6月精武門課程業(yè)務(wù)平臺系統(tǒng)架構(gòu)技術(shù)平臺業(yè)務(wù)架構(gòu)課程目標(biāo)快低穩(wěn)大課程大綱1. 業(yè)務(wù)架構(gòu)與業(yè)務(wù)平臺2. 系統(tǒng)架構(gòu)與技術(shù)平臺3. 架構(gòu)過程與資源1業(yè)務(wù)與應(yīng)用架構(gòu)支付業(yè)務(wù)模式資金流支付業(yè)務(wù)配套模式業(yè)務(wù)流整體業(yè)務(wù)與應(yīng)用架構(gòu)支付業(yè)務(wù)模式支付寶行業(yè)業(yè)務(wù)流資金流外內(nèi)虛實資金流虛實資金在支付寶虛擬賬戶體系中的流轉(zhuǎn)，體現(xiàn)為支付寶賬戶中的余額變動。資金在現(xiàn)實世界中的流轉(zhuǎn)，體現(xiàn)為客戶與支付寶銀行賬戶中余額變動，或者現(xiàn)金的轉(zhuǎn)移。虛實資金流之間存在聯(lián)動關(guān)系。支付寶銀行簡單資金流舉例 網(wǎng)銀充值客戶賬戶支付寶客戶銀行賬戶銀行支付寶銀存賬戶充值簡單資金流舉例 賬戶內(nèi)轉(zhuǎn)賬AB支付寶轉(zhuǎn)賬/支付簡單資金流舉例

2、 提現(xiàn)(同行，T+1)客戶賬戶支付寶支付寶銀存賬戶銀行客戶銀行賬戶3. 提現(xiàn)1. 凍結(jié)2. 解凍 (T+1)簡單資金流舉例 提現(xiàn)(跨行)客戶賬戶支付寶支付寶銀存賬戶打款銀行客戶銀行賬戶提現(xiàn)清算中心銀行復(fù)雜資金流舉例 公共事業(yè)繳費繳費資金歸集賬戶支付寶付款銀行繳費賬戶1. 充值繳費合作銀行客戶銀行賬戶支付寶銀存賬戶公共事業(yè)單位賬戶公共事業(yè)單位賬戶公共事業(yè)單位賬戶3. 提現(xiàn)繳費單位銀行2. 墊資復(fù)雜資金流舉例 COD物流公司收款過渡戶支付寶買家賬戶賣家賬戶交易分潤中間賬戶物流公司收入賬戶支付寶收入賬戶買家物流公司銀行賬戶現(xiàn)金1. 充值2. 轉(zhuǎn)賬3. 轉(zhuǎn)賬4. 轉(zhuǎn)賬5. 轉(zhuǎn)賬7. 轉(zhuǎn)賬支付寶銀存賬戶

3、簽收員淘寶收入賬戶6. 轉(zhuǎn)賬資金流處理的系統(tǒng)模式收銀臺清 算賬 務(wù)會 計核算銀行接入平臺業(yè)務(wù)系統(tǒng)支 付銀行系統(tǒng)虛資金流處理實資金流處理虛實資金流聯(lián)動業(yè)務(wù)流資金流聯(lián)動資金處理平臺賬務(wù)會計賬務(wù)系統(tǒng)賬務(wù)交易流水記賬憑證分戶賬戶 (外)會計系統(tǒng)會計分錄流水分戶賬戶(內(nèi))內(nèi)部分戶歷史日余額外部分戶歷史日余額科目匯總消息系統(tǒng)分戶日余額日切日結(jié)實時記賬異步準(zhǔn)實時登記會計分錄日終子系統(tǒng)賬務(wù)查詢報表分錄子系統(tǒng)記賬子系統(tǒng)業(yè)務(wù)系統(tǒng)支付清算支付系統(tǒng)充值協(xié)議提現(xiàn)協(xié)議內(nèi)轉(zhuǎn)協(xié)議充退協(xié)議支付指令清算系統(tǒng)消息系統(tǒng)清算指令網(wǎng)銀接入卡通接入銀企直聯(lián)其它銀行接入方式實時處理文件處理渠道管理異步清算處理同步清算處理賬務(wù)系統(tǒng)支付請求結(jié)果

4、回調(diào)文件實時記賬銀行往來任務(wù)調(diào)度業(yè)務(wù)系統(tǒng)收銀臺核算中心核算系統(tǒng)銀行流水登記流水歸檔處理流水核算處理消息系統(tǒng)入賬流水登記異步準(zhǔn)實時登記入賬流水核算處理子系統(tǒng)核算報表流水登記子系統(tǒng)會計系統(tǒng)銀行流水登記系統(tǒng)銀存待結(jié)轉(zhuǎn)統(tǒng)計業(yè)務(wù)流支付寶外部企業(yè)內(nèi)外支付寶內(nèi)部的業(yè)務(wù)流程，體現(xiàn)為一連串內(nèi)部系統(tǒng)或人工任務(wù)的執(zhí)行。支付寶外部的業(yè)務(wù)流程，體現(xiàn)為一連串外部系統(tǒng)或人工任務(wù)的執(zhí)行。內(nèi)外業(yè)務(wù)流之間存在聯(lián)動關(guān)系。簡單業(yè)務(wù)流舉例 即時到賬交易支付寶下單創(chuàng)建交易交易付款 B2C商戶支付發(fā)貨收貨復(fù)雜業(yè)務(wù)流舉例 COD下單攬收付款簽收送貨請求發(fā)貨付款給支付寶買家賣家物流提供資金對賬文件創(chuàng)建物流訂單創(chuàng)建交易交易簽收物流訂單清算交易付

5、款與分潤物流訂單收費分潤支付寶外部業(yè)務(wù)流與資金流聯(lián)動 - COD創(chuàng)建物流訂單創(chuàng)建交易交易簽收物流訂單清算交易付款與分潤物流訂單收費分潤支付寶業(yè)務(wù)流物流公司收款過渡戶支付寶資金流買家賬戶賣家賬戶交易分潤中間賬戶物流公司收入賬戶支付寶收入賬戶1. 充值2. 轉(zhuǎn)賬3. 轉(zhuǎn)賬4. 轉(zhuǎn)賬5. 轉(zhuǎn)賬7. 收費淘寶收入賬戶6. 轉(zhuǎn)賬業(yè)務(wù)流處理的模式 數(shù)據(jù)申請單產(chǎn)品業(yè)務(wù)單通知單資金單操作日志內(nèi)部業(yè)務(wù)流處理業(yè)務(wù)資金流聯(lián)動內(nèi)外業(yè)務(wù)流聯(lián)動外部內(nèi)部平臺業(yè)務(wù)流處理的模式 數(shù)據(jù)舉例 交易 交易外部單據(jù)產(chǎn)品交易單交易通知交易資金單據(jù)交易操作日志內(nèi)部業(yè)務(wù)流處理業(yè)務(wù)資金流聯(lián)動內(nèi)外業(yè)務(wù)流聯(lián)動外部內(nèi)部平臺產(chǎn)品賬業(yè)務(wù)流處理的模式 數(shù)

6、據(jù)舉例 通用代扣 產(chǎn)品代扣記錄代扣資金單據(jù)內(nèi)部業(yè)務(wù)流處理業(yè)務(wù)資金流聯(lián)動內(nèi)外業(yè)務(wù)流聯(lián)動外部內(nèi)部平臺業(yè)務(wù)流處理的應(yīng)用系統(tǒng)模式申請單業(yè)務(wù)單通知單資金單操作日志外部內(nèi)部平臺內(nèi)部平臺外部業(yè)務(wù)單領(lǐng)域與服務(wù)層應(yīng)用層API個人版企業(yè)版通知平臺資金處理持久工具支付業(yè)務(wù)配套模式業(yè)務(wù)流查詢支付前支付中支付后資金流簽約/解約對賬風(fēng)控通知營銷數(shù)據(jù)分析收費產(chǎn)品賬額度權(quán)限服務(wù)消費記錄個性化差錯處理資損控制支付業(yè)務(wù)配套實現(xiàn)模式 交易交易系統(tǒng)交易引擎流程引擎規(guī)則引擎資金處理產(chǎn)品賬接入商戶通知數(shù)據(jù)持久收費接入統(tǒng)一事件紅包系統(tǒng)產(chǎn)品賬系統(tǒng)收費系統(tǒng)商戶通知消費記錄溝通(郵件、短信等）商戶查詢積分支付系統(tǒng)風(fēng)險核查消息系統(tǒng)超時處理業(yè)務(wù)系統(tǒng)

7、業(yè)務(wù)系統(tǒng)擔(dān)保交易 即時到賬交易 貨到付款交易異步交易事件處理資損核查思考: 平衡穩(wěn)與快安全、穩(wěn)定、可伸縮業(yè) 務(wù) 增 長 與 創(chuàng) 新快穩(wěn)大平臺航旅傳統(tǒng)虛擬B2C網(wǎng)站會員生活助手金融合作安全內(nèi)部系統(tǒng)業(yè)務(wù)線解放平臺支撐兄弟支付寶業(yè)務(wù)與系統(tǒng)架構(gòu)發(fā)展史2005年1月業(yè)務(wù)系統(tǒng)2007年1月2005年1月2007年1月淘寶外部B2C網(wǎng)銀卡通標(biāo)準(zhǔn)卡通航旅個人版代發(fā)代扣收費企業(yè)版網(wǎng)點生活助手信用卡消費卡銀企直聯(lián)2008年6月2010年10月二代支付寶業(yè)務(wù)二代支付寶系統(tǒng)架構(gòu)建設(shè)一代支付寶系統(tǒng)架構(gòu)建設(shè)一代支付寶業(yè)務(wù)交易服務(wù)化賬務(wù)服務(wù)化會員服務(wù)化雙峰一期雙峰二期統(tǒng)一收銀臺網(wǎng)站拆分系統(tǒng)架構(gòu)發(fā)展落后于業(yè)務(wù)發(fā)展2010年4

8、月核心一代支付寶架構(gòu)圖行業(yè)金融合作內(nèi)部系統(tǒng)（CRM,結(jié)算,風(fēng)控）商業(yè)智能賬務(wù)淘寶交易網(wǎng)銀卡通外部B2C個人網(wǎng)站會員2007年起至2008年中，交易、賬務(wù)、會員三大服務(wù)化項目完成，代表一代支付寶架構(gòu)封頂。業(yè)務(wù)與應(yīng)用架構(gòu)概況產(chǎn)品線基礎(chǔ)核心資金處理平臺客戶信息平臺核心管控行業(yè)個人內(nèi)部系統(tǒng)（CRM,結(jié)算,風(fēng)控）金融合作網(wǎng)銀卡通銀企直聯(lián)網(wǎng)點傳統(tǒng)行業(yè)虛擬行業(yè)航旅B2C收單生活助手會員安全收銀臺支付清算核算中心收費登錄服務(wù)賬務(wù)會計會員信息商戶信息會員信用兄弟業(yè)務(wù)平臺行業(yè)個人擔(dān)保交易代發(fā)代扣消費信貸信用支付微支付企業(yè)賬戶管理個人賬戶管理積分紅包轉(zhuǎn)賬MOTO儲值卡無線支付商業(yè)智能線下支付海外支付即時到賬交易MP

9、OS安全服務(wù)會員等級企業(yè)網(wǎng)站個人網(wǎng)站開放平臺二代系統(tǒng)建設(shè)局部效果示意淘寶外部B2C網(wǎng)銀卡通航旅代發(fā)代扣網(wǎng)點生活助手信用卡消費卡銀企直聯(lián)網(wǎng)游淘寶外部B2C網(wǎng)銀卡通航旅代發(fā)代扣網(wǎng)點生活助手信用卡消費卡銀企直聯(lián)網(wǎng)游支付清算平臺（支付、清算、收銀臺）一代系統(tǒng)二代系統(tǒng)支付業(yè)務(wù)處理的系統(tǒng)模式API平臺業(yè)務(wù)單處理支付處理清算處理通信前置賬務(wù)會計收費營銷客戶信息銀行支付清算網(wǎng)互聯(lián)網(wǎng)商戶風(fēng)控基礎(chǔ)業(yè)務(wù)訪問渠道銀行接入產(chǎn)品公共服務(wù)收銀臺交易業(yè)務(wù)架構(gòu)應(yīng)用架構(gòu)2應(yīng)對技術(shù)挑戰(zhàn)高可用可伸縮技術(shù)架構(gòu)原則低成本基礎(chǔ)技術(shù)平臺高可用 目標(biāo)99.99%高可用 策略避免發(fā)生降低概率控制影響快速恢復(fù)高可用的架構(gòu)原則1. 無單點設(shè)計2.

10、可監(jiān)控3. 可測試4. 可回滾5. 可禁用6. 短事務(wù)與柔性事務(wù)7. 異步設(shè)計8. 無狀態(tài)9. 使用成熟技術(shù)10.業(yè)務(wù)分等級11.業(yè)務(wù)可降級12.多數(shù)據(jù)中心部署高可用的設(shè)計手段 故障識別服務(wù)使用者服務(wù)接入流程、任務(wù)、決策領(lǐng)域倉儲外部服務(wù)資源外部服務(wù)領(lǐng)域?qū)ο蠓?wù)代理并發(fā)請求重復(fù)請求超量請求資源不可用資源響應(yīng)超時通信中斷外部服務(wù)響應(yīng)超時外部服務(wù)違背功能契約BUG處理超時服務(wù)不可用請求積壓處理中斷高可用的設(shè)計手段 故障應(yīng)對故障條件應(yīng)對方式超量請求配額控制重復(fù)請求冪等控制并發(fā)請求并發(fā)控制請求積壓請求丟棄服務(wù)/資源響應(yīng)超時時間控制可恢復(fù)通信故障合理重試處理中斷事務(wù)/分布事務(wù)BUG自檢可伸縮 目標(biāo)無限伸縮

11、可伸縮 策略數(shù)據(jù)復(fù)制/讀寫分離垂直拆分(按業(yè)務(wù)類型拆分)水平拆分(按客戶/請求拆分)xzy可伸縮的架構(gòu)原則1. 無系統(tǒng)單點設(shè)計2. 無數(shù)據(jù)單點設(shè)計3. 容量與資源使用可監(jiān)控4. 異步設(shè)計5. 無狀態(tài)設(shè)計6. 并發(fā)控制設(shè)計7. 并行運算設(shè)計8. 應(yīng)用與數(shù)據(jù)的獨立性9. 可復(fù)制10.可緩存11.可水平拆分12.多數(shù)據(jù)中心部署可伸縮設(shè)計案例: 交易數(shù)據(jù)拆分12n1核心交易數(shù)據(jù)(分表并分庫)交易系統(tǒng)交易處理服務(wù)(寫場景)消費記錄系統(tǒng)消費記錄查詢服務(wù)(讀場景1)12n2商戶查詢系統(tǒng)消費記錄數(shù)據(jù)(分表并分庫)商戶查詢與對賬(讀場景2)12n3商戶/平臺商交易數(shù)據(jù)(分表并分庫)消息系統(tǒng)發(fā)布數(shù)據(jù)變更訂閱數(shù)據(jù)變

12、更數(shù)據(jù)緩存會員信息系統(tǒng)會員數(shù)據(jù)庫12n會員對象緩存業(yè)務(wù)系統(tǒng)內(nèi)部二級緩存會員服務(wù)客戶端業(yè)務(wù)應(yīng)用查詢/更新查詢時，先讀緩存更新時，同步使緩存對象失效可伸縮 - 反例: 不可伸縮的業(yè)務(wù)設(shè)計創(chuàng)建物流訂單創(chuàng)建交易交易簽收物流訂單清算交易付款與分潤物流訂單收費分潤支付寶業(yè)務(wù)流物流公司收款過渡戶支付寶資金流買家賬戶賣家賬戶交易分潤中間賬戶物流公司收入賬戶支付寶收入賬戶1. 充值2. 轉(zhuǎn)賬3. 轉(zhuǎn)賬4. 轉(zhuǎn)賬5. 轉(zhuǎn)賬7. 轉(zhuǎn)賬淘寶收入賬戶6. 轉(zhuǎn)賬可伸縮: 關(guān)注容量、性能與資源使用服務(wù)使用者服務(wù)提供者服務(wù)服務(wù)吞吐量伸縮公式伸縮上限單資源吞吐量上限響應(yīng)時間數(shù)據(jù)庫消息其它服務(wù)其它服務(wù)內(nèi)部服務(wù)數(shù)據(jù)庫訪問量消息量關(guān)

13、鍵服務(wù)訪問量伸縮公式外部服務(wù)外部服務(wù)外部服務(wù)可伸縮 資源使用舉例 (交易收銀臺)paycifacctranstradepaycoreyzt8x2x系統(tǒng)次數(shù)總處理時間(ms)cif8173msacctrans245mstrade1140mspaycore1140msyzt1140ms合計: 13638ms (占比: 85%)低成本 目標(biāo)更低低成本 策略提高利用率三去業(yè)務(wù)分級低成本的架構(gòu)原則1. 廠商中立設(shè)計2. 業(yè)務(wù)分等級3. 異步設(shè)計4. 無狀態(tài)設(shè)計5. 應(yīng)用與數(shù)據(jù)的獨立性6. 可復(fù)制7. 可緩存8. 可水平拆分9. N+1設(shè)計10.多數(shù)據(jù)中心部署低成本 數(shù)據(jù)中心面臨的挑戰(zhàn)城市(杭州)IDC-

14、AIDC-BIDC-C (新建)IDC-T (新建)應(yīng)用50%應(yīng)用50%應(yīng)用50%非關(guān)鍵應(yīng)用數(shù)據(jù)庫100%數(shù)據(jù)庫100%外部負(fù)載均衡數(shù)據(jù)與應(yīng)用分布不足，一次業(yè)務(wù)處理中，應(yīng)用需要跨IDC訪問很多次集中的數(shù)據(jù)庫，對時延有極高要求。低成本 多數(shù)據(jù)中心方向訪問渠道業(yè)務(wù)處理資金處理松散耦合銀行客戶業(yè)務(wù)處理業(yè)務(wù)處理IDC-A1IDC-AiIDC-B1IDC-BjIDC-C1IDC-Ck銀行客戶跨層IDC間松耦合同層IDC間無耦合架構(gòu)原則匯總技術(shù)架構(gòu)原則高可用可伸縮成本無單點，N+1設(shè)計可監(jiān)控?zé)o狀態(tài)短事務(wù)與柔性事務(wù)并發(fā)控制異步處理可復(fù)制可緩存可回滾、禁用可測試應(yīng)用與數(shù)據(jù)獨立可水平拆分計算可并行分級與降級支持多數(shù)據(jù)中心部署工具產(chǎn)品線展現(xiàn)與前端產(chǎn)品線分布服務(wù)產(chǎn)品線數(shù)據(jù)產(chǎn)品線調(diào)度產(chǎn)品線通訊產(chǎn)品線基礎(chǔ)設(shè)施產(chǎn)品線管控產(chǎn)品線基礎(chǔ)技術(shù)產(chǎn)品線技術(shù)平臺架構(gòu)全局觀業(yè)務(wù)流查詢資金流簽約/解約對賬差錯處理無單點N+1設(shè)計可監(jiān)控?zé)o狀態(tài)并發(fā)控制異步處理可復(fù)制可緩存可回滾可禁用應(yīng)用與數(shù)據(jù)獨立可水平拆分計