智能彈性在虎牙降本增效上的探索與實(shí)踐

在虎牙降本增效上的探索與實(shí)踐-基于AI預(yù)測(cè)的日常彈性-基于容量模型的賽事彈性區(qū)域?yàn)樗懔θ哂嗬寐实屠寐实椭芷谄七m應(yīng)差周期偏移適應(yīng)差配置繁瑣健壯性差健壯性差配置復(fù)雜?標(biāo)準(zhǔn)的HPA是基于指標(biāo)閾值進(jìn)行伸縮的，常見的指標(biāo)主要是CPU、內(nèi)存。?但是基于指標(biāo)的伸縮存在一定的時(shí)延，這個(gè)時(shí)延主要包含：采集時(shí)延+上報(bào)時(shí)延+伸縮時(shí)延。?當(dāng)負(fù)載的峰值毛刺非常尖銳時(shí)，可能會(huì)由于HPA的時(shí)延造成副本數(shù)目無法及時(shí)變化，短時(shí)間內(nèi)應(yīng)用的整體負(fù)載飆高，響應(yīng)時(shí)間變慢。max(預(yù)測(cè)指標(biāo)，當(dāng)前指標(biāo))擴(kuò)容閾值？-擴(kuò)容max(預(yù)測(cè)指標(biāo)，當(dāng)前指標(biāo))縮容閾值？-縮容?通過訓(xùn)練和預(yù)測(cè)生成“AIHPA定時(shí)伸縮配置”預(yù)測(cè)算法：LightGBM支持分位數(shù)回歸不用處理缺失方便利用特征工程做一些處理成本：每個(gè)分組“取數(shù)據(jù)+訓(xùn)練+預(yù)測(cè)“15s完成典型服務(wù)預(yù)測(cè)準(zhǔn)確率：90+%我理解AI-HPA相對(duì)于HPA解決了彈性擴(kuò)容滯后的問題，是一種成本換質(zhì)量的方法，如何能利用這個(gè)節(jié)省成本呢？預(yù)測(cè)效果圖開啟彈性伸縮節(jié)省成本28%減少頻繁擴(kuò)縮容避免副本數(shù)震蕩提前擴(kuò)容對(duì)周期性流量突增，在突增之前提前擴(kuò)容提前擴(kuò)容對(duì)周期性流量突增，在突增之前提前擴(kuò)容預(yù)測(cè)值和真實(shí)值相互兜底業(yè)務(wù)容量模型保障服務(wù)在賽事期間的質(zhì)量穩(wěn)定賽事-游戲直播界的“雙十一”全球總決賽如何用最低的算力成本保障賽事期間質(zhì)量的穩(wěn)定？PCU與使用核數(shù)的關(guān)系?很多核心服務(wù)的峰值核數(shù)和峰值PCU的線性相關(guān)性很強(qiáng)?應(yīng)用發(fā)版等可能會(huì)導(dǎo)致資源使用發(fā)生變化（如右圖三）這意味著我們不能直接取長時(shí)間每天一個(gè)點(diǎn)的數(shù)據(jù)來回歸。一些應(yīng)用一些應(yīng)用每天的PCU峰值和使用核數(shù)峰值的散點(diǎn)圖應(yīng)用在特定的PCU下需要多少資源？對(duì)總PCU做線性回歸，但只考慮賽事那一段使用核數(shù)使用核數(shù)?可解釋性：k意味著每觀眾PCU需要多使用多少核?是否賽事PCU相關(guān)賽事PCU相關(guān)應(yīng)用：相關(guān)系數(shù)>0.9對(duì)與賽事PCU無關(guān)的的服務(wù)，k為0,b為高峰期使用核數(shù)每分鐘粒度的PCU和使用核數(shù)散點(diǎn)圖CPUPCU?更新周期：一周一次?準(zhǔn)確率整體準(zhǔn)確率為89.35%資源使用top100的應(yīng)用準(zhǔn)確率：90.43%基于容量模型的賽事彈性核心實(shí)踐3-基于容量模型的賽事彈性將容量模型植入AI-HPA,實(shí)現(xiàn)根據(jù)PCU擴(kuò)容將預(yù)估PCU和實(shí)時(shí)PCU輸入容量模型，得到預(yù)測(cè)使用核數(shù)，進(jìn)而得到預(yù)測(cè)CPU使用率,k8s比較預(yù)測(cè)CPU使用率和擴(kuò)縮容閾值，決定是否要擴(kuò)縮容?日常小賽事由實(shí)時(shí)PCU進(jìn)行擴(kuò)容（PCU>？賽事AI-HPA模式自動(dòng)生效）?大賽事配置預(yù)估PCU，提前擴(kuò)容?ax(周期預(yù)測(cè)，賽事預(yù)測(cè)，當(dāng)前指標(biāo))?ax(周期預(yù)測(cè)，賽事預(yù)測(cè)，當(dāng)前指標(biāo)) 核心實(shí)踐3-基于容量模型的賽事彈性配置預(yù)估的PCU核心實(shí)踐3-基于容量模型的賽事彈性配置預(yù)估的PCU核心實(shí)踐3-基于容量模型的賽事彈性應(yīng)對(duì)cpu的賽事突增&周期性突增的提前擴(kuò)容效果應(yīng)對(duì)大賽事時(shí)的提前預(yù)擴(kuò)容√應(yīng)對(duì)cpu周期性突增的提前擴(kuò)容√應(yīng)對(duì)普通賽事時(shí)的自動(dòng)提前擴(kuò)容×核心實(shí)踐3-基于容量模型的賽事彈性應(yīng)對(duì)cpu的賽事突增&周期性突增的提前擴(kuò)容效果應(yīng)對(duì)大賽事時(shí)的提前預(yù)擴(kuò)容×應(yīng)對(duì)cpu周期性突增的提前擴(kuò)容×應(yīng)對(duì)普通賽事時(shí)的自動(dòng)提前擴(kuò)容√核心實(shí)踐3-基于容量模型的賽事彈性通過精準(zhǔn)預(yù)估賽事高PCU時(shí)所需資源，可以看資源是否充足，且提前和云廠商報(bào)備核心實(shí)踐3-基于容量模型的賽事彈性核心實(shí)踐3-基于容量模型的賽事彈性核心實(shí)踐3-基于容量模型的賽事彈性?可視化調(diào)整模型?確保整體服務(wù)容量模型?反例：CPU副本數(shù)CPU副本數(shù)or（容量模型不準(zhǔn)）導(dǎo)致擴(kuò)容滯后成果展·示3-基于容量模型的賽事彈性紅色豎線處上線了賽事模式，整體的黃金指標(biāo)質(zhì)量開始變好可用率：晚高峰時(shí)所有黃金指標(biāo)成功率的最小值的平均（分鐘粒度）黃金指標(biāo)質(zhì)量可用率賽事日期成果展·示3-基于容量模型的賽事彈性1.改變了賽事時(shí)中心機(jī)房部署架構(gòu)增加SET模式->固定SET+AI-HPA賽事模式彈性成本收益：節(jié)省SET內(nèi)非彈性應(yīng)用的算力2.改變了日常時(shí)的應(yīng)用架構(gòu)日常SET數(shù)量縮小一倍邊緣算力智能彈性核心實(shí)踐4-邊緣算力智能彈性?邊緣算力特點(diǎn)：機(jī)器按天/月收費(fèi)or按小時(shí)計(jì)費(fèi)但手續(xù)費(fèi)很高?虎牙部署在邊緣機(jī)房的業(yè)務(wù)：信令，音視頻相關(guān)服務(wù)（轉(zhuǎn)碼，P2P）等?信令，音視頻P2P是高觀眾PCU相關(guān)的業(yè)務(wù)，轉(zhuǎn)碼服務(wù)是高主播PCU業(yè)務(wù)?邊緣算力保持在一個(gè)比較高的水平，利用率低，浪費(fèi)資源?面臨高PCU時(shí)資源預(yù)估不準(zhǔn)核心實(shí)踐4-邊緣算力智能彈性彈性思想：?實(shí)時(shí)監(jiān)控