Redis在微博場(chǎng)景的優(yōu)化實(shí)踐

1、Redis在微博場(chǎng)景的優(yōu)化實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)Redis在微博的應(yīng)用場(chǎng)景Redis在微博的優(yōu)化未來(lái)展望Redis在微博的應(yīng)用場(chǎng)景業(yè)務(wù)&規(guī)模&挑戰(zhàn)信息流性能成本QPSRT100T+存儲(chǔ)1000+機(jī)器10000+實(shí)例話題用戶(hù)關(guān)系廣告視頻搜索全技術(shù)選型所需數(shù)據(jù)類(lèi)型是否豐富大容量 列式存儲(chǔ)吞吐量 高容錯(cuò)計(jì)數(shù)服務(wù)單列or多列RediscounterCounterservice_ss維d容量大qps 不大rt 不高RedisMemcachedHbaseKafkavipqps稍低Mcq2緩存or存儲(chǔ)or隊(duì)列落地緩存存儲(chǔ)隊(duì)列否是是單多否Counterservi球ce是是否是否rt 高K-Vqps 高是否是否

2、是否聚合數(shù)據(jù)PikaRedrocks水平彈性擴(kuò)展是否MysqlTidb水平彈性擴(kuò)展QserviceMcq3是否是否優(yōu)化小結(jié)無(wú)阻塞落地增量復(fù)制 - rdb+aof在線熱升級(jí)關(guān)系graph定制-內(nèi)存降為1/10-性能相當(dāng)計(jì)數(shù)定制化-內(nèi)存降為1/4-性能提升3-5倍bloomfilterRedis1.0跟不上業(yè)務(wù)需求變化Redis在微博的應(yīng)用場(chǎng)景Redis在微博的優(yōu)化未來(lái)展望Redis在微博的優(yōu)化業(yè)務(wù)：各業(yè)務(wù)方需要關(guān)心資源分布、容量規(guī)劃等多方面DBA：需求多，資源變更頻繁高性能大容量可擴(kuò)展三座大山Cache Service服務(wù)化configServiceClientconfigServicecach

3、e proxycaptainL1L1mainHAgraphiteL1L1mainHAsubscriberegistersubscribeproberw configretrievalprobereqCache Service服務(wù)化master-l1master-l1mastermasterslaveslaveslave-l1slave-l1master-l1master-l1mastermasterslaveslaveslave-l1slave-l1configServicecache serviceLrucache serviceLruuserfeeddba業(yè)務(wù)支 持 mc redis 協(xié)

4、議Cache Service 服務(wù)化Cache Service 服務(wù)化關(guān)鍵字：彈性擴(kuò)容應(yīng)急預(yù)案云內(nèi)網(wǎng)峰值流量便捷省成本快速部署成功案例：實(shí)現(xiàn)春晚1000+臺(tái)阿里云ECS彈性擴(kuò)縮容，多次實(shí)現(xiàn)無(wú)降級(jí)平滑過(guò)渡，高峰期支持微博50%核心流量wardenmcq 服務(wù)化MCQapibalancewardenDBDCPvintageBCPgraphitewebdecisiontopictaskMQS-RPCMQS-Managermcq 服務(wù)化Redis 容量過(guò)大Redrocks特性支持冷熱數(shù)據(jù)分離支持集群支持?jǐn)?shù)據(jù)持久化支持主從復(fù)制支持熱升級(jí)支持lua腳本兼容redis數(shù)據(jù)類(lèi)型兼容與redis的數(shù)據(jù)復(fù)制Red

5、rocks適用場(chǎng)景大容量數(shù)據(jù)冷熱區(qū)明顯數(shù)據(jù)冷熱區(qū)別不明顯，但是非超大key的場(chǎng)景Main ThreadConnect HandlerProtocol Parse Command ProcessBackground ThreadStorage EngineBloom FilterData SwapReplicationio處理模塊Redrocks存儲(chǔ)模塊RedisDB“hot” dataLRUSlot MapRocksDB“cold” dataRDBAOFSSD/PCIESAShot warm coldmemdiskswap in/outRedrocksBIO線程1SWAPSWAPRedis事件

6、循環(huán)IO任 務(wù) 隊(duì) 列命令解析命令處理異步讀取冷數(shù)據(jù)LOAD用戶(hù)請(qǐng)求主從同步過(guò)期異步存儲(chǔ)冷數(shù)據(jù)SWAP后臺(tái)任務(wù)BIO線程iLOADLOADBIO線程N(yùn)LAZY FREELAZYFREERocksDBRedrocks架構(gòu)圖簡(jiǎn)單易用：完全兼容redis,現(xiàn)有業(yè)務(wù)無(wú)需做任何改動(dòng)成本優(yōu)勢(shì)：熱點(diǎn)數(shù)據(jù)在內(nèi)存，冷數(shù)據(jù)落盤(pán)到磁盤(pán)，突破內(nèi)存容量限制高性能：熱點(diǎn)數(shù)據(jù)在內(nèi)存，性能和redis 相當(dāng)性能壓測(cè)報(bào)告對(duì)比set隨機(jī)寫(xiě)和get隨機(jī)讀qps對(duì)比hmset 寫(xiě)qpscpu:20核 (Intel(R) Xeon(R) CPU E5-2630 v4 2.20GHz）memory : 128GBDisk:4Tos：Li

7、nux 3.10.0-229.el7.x86_64對(duì)比hmget 讀qps仍然還有滿(mǎn)足不了新需求？開(kāi)源解決方案codis？twemproxy? -tribecorvus？redis-cluster？twemproxy - tribe集群化設(shè)計(jì)思路在線擴(kuò)容多語(yǔ)言訪問(wèn)支持服務(wù)化特性完善配套組件 - 獨(dú)立組件整合 - 服務(wù)化資源池管理小集群各個(gè)業(yè)務(wù)擁有獨(dú)立的資源資源歸屬清晰，多個(gè)業(yè)務(wù)互不干擾實(shí)例緯度的互相影響：通過(guò)資源隔離方式解決RedisService架構(gòu)config servicecluster managermasterslaveshard1shard1masterslaveshard1mas

8、terslaveshard1masterslaveshard1masterslaveshard1masterslavebiz1biz1biz1proxy1proxy2Cluster1poxy1: biz1,biz2,biz3 biz1:listen:port1-N,server:ip1-NsubscribeDNS1DNS2DNS3biz1biz2biz3poxy1:cluster1 cluster:DNS-1DNS1,DNS2,NDS3 cname- DNS-1client1client2client3client4port1port2port3port4Redis 協(xié)議解析路由（port,k

9、ey,op）- backend指標(biāo)監(jiān)控日志記錄vintage管理工具Redisservice1Redisservice2Redisservice3Redisservice4slot1,slot2slot513,slot513slot1,slot2slot1,slot2業(yè)務(wù)端監(jiān)聽(tīng)端口協(xié)議解析路由backends配置變動(dòng)監(jiān)控watchinformproxy設(shè)計(jì)存儲(chǔ)設(shè)計(jì)client03413246826831023redis(m)redis(s)redis(s)redis(m)redis(s)redis(s)hash(key)%10 24shard1shard2shard3slot_idredis(m)redis(s)redis(s)集群管理1.資源申請(qǐng)2.資源分配3.業(yè)務(wù)上線4.資源查詢(xún)5.資源變更業(yè)務(wù)標(biāo)識(shí)數(shù)據(jù)量訪問(wèn)量 數(shù)據(jù)類(lèi)型 產(chǎn)品線集群idproxy服務(wù) 監(jiān)控報(bào)警域名集群業(yè)務(wù)組 業(yè)務(wù)機(jī)器 實(shí)例擴(kuò)縮容遷移failovercluster manager集群管理業(yè)務(wù)管理 機(jī)器管理服務(wù)總覽報(bào)警管理用戶(hù)管理集群標(biāo)識(shí)、proxy列表、業(yè)務(wù)列表、buffer池、集群運(yùn)行狀態(tài)業(yè)務(wù)標(biāo)識(shí)、訪問(wèn)域名、server列表、業(yè)務(wù)運(yùn)行狀態(tài)CPU、內(nèi)存、磁盤(pán)、帶寬、