淘寶開放平臺架構(gòu)設(shè)計與實踐

1、1目錄·TOP背景介紹·TOP整體架構(gòu)介紹·TOP架構(gòu)設(shè)計實例分享·TOP商業(yè)驅(qū)動模式介紹2TOP背景介紹3TOP背景介紹獨立網(wǎng)店社區(qū)電子商務(wù)工具海新業(yè)態(tài)開發(fā)者開發(fā)者開發(fā)者開發(fā)者開發(fā)者對外，開發(fā)者是TOP合作方，共同效勞大淘寶的終端客戶對內(nèi)，TOP與各個業(yè)務(wù)線合作，一起協(xié)同開放4TOP整體架構(gòu)介紹Taobao 大淘寶入口購物搜索工具搜索業(yè)務(wù)資訊導(dǎo)購淘寶集市淘寶商城其他業(yè)務(wù)獨立網(wǎng)店社區(qū)電子商務(wù)App 提供：Open.taobao 第三方工具App Store新業(yè)務(wù)及其他TOPOpen APITBML (數(shù)據(jù)標(biāo)簽語言)開放式插件平臺接入標(biāo)準(zhǔn)TOP ID合作集

2、團子公司業(yè)務(wù)合作5TOP架構(gòu)設(shè)計實例分享·效勞訪問控制策略· Level & Status· Frequency, Order· Token(request , session, session with fix time)· Frequency· Four Level(None, APP, User, Optional User)· REST & RPCOperation Control6TOP架構(gòu)設(shè)計實例分享·效勞訪問控制策略TOPIM ServerAPPTOP架構(gòu)設(shè)計實例分享·效勞處

3、理機制·大數(shù)據(jù)交互效勞TOPAPPTOPServiceProviderAPP業(yè)務(wù)數(shù)據(jù)交換通道ServiceProvider8TOP架構(gòu)設(shè)計實例分享·異步交互效勞 &通知效勞·保持會話，支持異步響應(yīng)。短信效勞·異步延時效勞。大數(shù)據(jù)量信息返回·訂閱關(guān)系維護(hù)，支持通知效勞。系統(tǒng)間數(shù)據(jù)同步TOP架構(gòu)設(shè)計實例分享·API的監(jiān)控三級監(jiān)控二級監(jiān)控一級監(jiān)控·異步數(shù)據(jù)庫分表記錄·每日任務(wù)導(dǎo)出，分布式計算框架中計算分析·監(jiān)控訪問趨勢增長，效勞性能瓶頸·請求埋點數(shù)據(jù)收集·本地日志增量傳輸或異步數(shù)據(jù)批

4、量傳遞·監(jiān)控平均響應(yīng)時間，峰值請求次數(shù)等·緩存計數(shù)·閥值設(shè)置，多手段告警·監(jiān)控訪問頻率及效勞響應(yīng)時間10TOP架構(gòu)設(shè)計實例分享·TOPID開放用戶外部網(wǎng)店集團·效勞串聯(lián)·效勞請求流程化·令牌互通·身份認(rèn)證，用戶授權(quán)淘寶新業(yè)態(tài)外部網(wǎng)站·信用體系建立11TOP架構(gòu)設(shè)計實例分享· TBML產(chǎn)生原因·····數(shù)據(jù)隱私性開發(fā)便利性業(yè)務(wù)升級透明化監(jiān)控全局化開發(fā)標(biāo)準(zhǔn)化作用·數(shù)據(jù)操作可控，保護(hù)終端用戶隱私結(jié)合cookie和標(biāo)簽，控制ISV業(yè)務(wù)

5、數(shù)據(jù)操作尺度，提高數(shù)據(jù)平安性·提供標(biāo)準(zhǔn)業(yè)務(wù)流程標(biāo)簽，簡化開發(fā)者對于業(yè)務(wù)流程理解過程。·標(biāo)簽化接口方式，完成數(shù)據(jù)獲取和頁面渲染，后臺業(yè)務(wù)升級對ISV透明化。·標(biāo)簽獲取客戶端信息，將監(jiān)控擴展到整個業(yè)務(wù)請求過程。·制定行業(yè)化標(biāo)簽庫，形成統(tǒng)一開發(fā)標(biāo)準(zhǔn)TOP架構(gòu)設(shè)計實例分享·效勞分流與隔離·原因：效勞簡單負(fù)載均衡造成效勞互相影響。根本原因是效勞的質(zhì)量直接影響TOP處理能力和資源分配·處理模式進(jìn)化：二級域名軟負(fù)載軟負(fù)載&虛擬效勞組13TOP架構(gòu)設(shè)計實例分享·效勞分流與隔離·隔離效果明顯·配制僵化&#

6、183;性能根本無損失·隔離效果明顯·配制可手動運行期擴展·性能有損失·隔離效果一般·可推送配制，動態(tài)調(diào)整集群組 ·性能損失小14TOP架構(gòu)設(shè)計實例分享TOP架構(gòu)設(shè)計實例分享·支持集群可動態(tài)擴展的緩存客戶端·緩存在TOP中作用a.業(yè)務(wù)數(shù)據(jù)緩存，加速業(yè)務(wù)處理速度上下文緩存b.計數(shù)器+黑名單，平安控制策略實現(xiàn)c.細(xì)粒度計數(shù)器，支持監(jiān)控d.用戶授權(quán)，異步請求會話存儲·存在問題a.數(shù)據(jù)固化用戶授權(quán)數(shù)據(jù)b.集群支持，可動態(tài)擴展和變更配置c.性能消耗網(wǎng)絡(luò)交互16TOP架構(gòu)設(shè)計實例分享·換個角度看問題：TOP

7、架構(gòu)設(shè)計實例分享TOP架構(gòu)設(shè)計實例分享·····集群數(shù)據(jù)固化問題 Other Server support Protocolmemcached db Customize Adapter集群節(jié)點負(fù)載均衡節(jié)點內(nèi)與節(jié)點間負(fù)載均衡權(quán)重，Hash算法集群節(jié)點數(shù)據(jù)同步 Key node & Lazy Task Queue Failure node recover Data (standby or active mode)集群節(jié)點動態(tài)擴容 Config pull or push form Config Server Cluster data move(主動 or被動)性能消耗 Local Cache + Remote Cache.(Local data clean policy) Protocol extend support compression or incremental modifyTOP商業(yè)驅(qū)動模式介紹End User插