FusionSphere系統(tǒng)運(yùn)行洞察技術(shù)白皮書(shū)

1、 DOCPROPERTY Product Project Name 華為FusionSphere DOCPROPERTY DocumentName 系統(tǒng)運(yùn)行洞察技術(shù)白皮書(shū) STYLEREF Contents 目 錄 DOCPROPERTY DocumentName 系統(tǒng)運(yùn)行洞察技術(shù)白皮書(shū) 目 錄 TOC o 1-1 h z t 標(biāo)題 2,2,標(biāo)題 3,3,Appendix heading 2,2,Appendix heading 3,3 HYPERLINK l _Toc418849493 1 FusionSphere SOI簡(jiǎn)介 PAGEREF _Toc418849493 h 3 HYPERL

2、INK l _Toc418849494 1.1 SOI性能監(jiān)控概述 PAGEREF _Toc418849494 h 3 HYPERLINK l _Toc418849495 1.2 SOI方案簡(jiǎn)介 PAGEREF _Toc418849495 h 3 HYPERLINK l _Toc418849496 2 SOI監(jiān)控分析功能介紹 PAGEREF _Toc418849496 h 5 HYPERLINK l _Toc418849497 2.1 SOI系統(tǒng)框架 PAGEREF _Toc418849497 h 5 HYPERLINK l _Toc418849498 2.2 SOI監(jiān)控指標(biāo) PAGEREF

3、_Toc418849498 h 5 HYPERLINK l _Toc418849499 2.2.1 虛擬機(jī) PAGEREF _Toc418849499 h 5 HYPERLINK l _Toc418849500 2.2.2 主機(jī) PAGEREF _Toc418849500 h 6 HYPERLINK l _Toc418849501 2.2.3 集群 PAGEREF _Toc418849501 h 6 HYPERLINK l _Toc418849502 2.3 SOI分析功能 PAGEREF _Toc418849502 h 6 HYPERLINK l _Toc418849503 2.3.1 綜合

4、運(yùn)行監(jiān)控 PAGEREF _Toc418849503 h 6 HYPERLINK l _Toc418849504 2.3.2 動(dòng)態(tài)閾值 PAGEREF _Toc418849504 h 7 HYPERLINK l _Toc418849505 2.3.3 趨勢(shì)預(yù)測(cè) PAGEREF _Toc418849505 h 7 HYPERLINK l _Toc418849506 2.3.4 容量合規(guī) PAGEREF _Toc418849506 h 8 HYPERLINK l _Toc418849507 2.4 SOI監(jiān)控規(guī)模和規(guī)格 PAGEREF _Toc418849507 h 9 HYPERLINK l _

5、Toc418849508 3 綜述總結(jié) PAGEREF _Toc418849508 h 10 HYPERLINK l _Toc418849509 4 術(shù)語(yǔ) PAGEREF _Toc418849509 h 11 STYLEREF Contents 目 錄FusionSphere備份方案白皮書(shū)FusionSphere SOI簡(jiǎn)介SOI性能監(jiān)控概述隨著云計(jì)算業(yè)務(wù)的發(fā)展和虛擬數(shù)據(jù)中心的興起，越來(lái)越多的企業(yè)或組織使用虛擬化平臺(tái)，在提升資源利用率和資源管理效率的同時(shí)，也給性能管理工作帶來(lái)了巨大的挑戰(zhàn)。云計(jì)算基礎(chǔ)設(shè)施的運(yùn)維管理走向融合，性能、容量和配置管理變得密不可分。虛擬化基礎(chǔ)設(shè)施動(dòng)態(tài)變化，而傳統(tǒng)的工具是

6、孤立設(shè)計(jì)的，靜態(tài)物理基礎(chǔ)設(shè)施不提供自動(dòng)化和控制流程。FusionSphere SOI（System Operation Insight，以下簡(jiǎn)稱SOI）的推出有利于簡(jiǎn)化和自動(dòng)化FusionSphere的運(yùn)維管理，填補(bǔ)自動(dòng)化性能管理存在的差距。SOI提供深入的虛擬基礎(chǔ)設(shè)施的性能的洞察能力，是虛擬化性能管理的一次變革。通過(guò)SOI，管理員能夠快速找出和診斷性能問(wèn)題，同時(shí)有效地平衡管理虛擬環(huán)境中不同的性能目標(biāo)，其中包括：最大化虛擬機(jī)、主機(jī)的性能，以確保虛擬機(jī)和云環(huán)境的服務(wù)水平優(yōu)化整個(gè)虛擬化基礎(chǔ)設(shè)施的性能，保持較高的虛擬機(jī)整合率預(yù)測(cè)和保證容量來(lái)應(yīng)對(duì)業(yè)務(wù)增長(zhǎng)等變化SOI具有專利的以學(xué)習(xí)為基礎(chǔ)的分析算法，管

7、理員不再必須依賴于經(jīng)典的監(jiān)控工具和技術(shù)。SOI并提供整個(gè)虛擬環(huán)境的詳細(xì)的行為的分析，從而實(shí)現(xiàn)智能運(yùn)營(yíng)。SOI方案簡(jiǎn)介SOI是性能監(jiān)控和分析系統(tǒng)，用來(lái)對(duì)FusionCompute系統(tǒng)中虛擬資源的性能指標(biāo)進(jìn)行采集和展示，建立模型進(jìn)行分析，根據(jù)歷史和當(dāng)前數(shù)據(jù)對(duì)未來(lái)性能變化進(jìn)行預(yù)測(cè)，從而為管理員提供系統(tǒng)性能管理建議。SOI的總體邏輯架構(gòu)如 REF _Ref418618371 r h 圖1-1所示。FusionSphere SOI的總體邏輯架構(gòu)SOI安裝啟動(dòng)后，采用標(biāo)準(zhǔn)的FusionCompute的北向API接口，自動(dòng)收集性能數(shù)據(jù)并進(jìn)行分析。SOI從虛擬化基礎(chǔ)設(shè)施每個(gè)層面的每個(gè)對(duì)象收集性能數(shù)據(jù)，包括虛擬

8、機(jī)、主機(jī)、集群和數(shù)據(jù)中心。它存儲(chǔ)并分析數(shù)據(jù)提供運(yùn)營(yíng)控制面板，從健康、風(fēng)險(xiǎn)和效率三方面綜合分析和展現(xiàn)系統(tǒng)性能容量狀況，以發(fā)現(xiàn)當(dāng)前的性能問(wèn)題，或潛在的問(wèn)題。SOI適用于現(xiàn)有的FusionSphere產(chǎn)品，提供以下功能：綜合運(yùn)行監(jiān)控：結(jié)合相關(guān)的CPU、內(nèi)存、磁盤(pán)和網(wǎng)絡(luò)歸一化為0100的分?jǐn)?shù)，從健康、風(fēng)險(xiǎn)和效率三個(gè)維度進(jìn)行打分，綜合分析系統(tǒng)性能和容量狀況，并使用直觀的視圖進(jìn)行呈現(xiàn)。動(dòng)態(tài)閾值：提供自學(xué)習(xí)功能，計(jì)算對(duì)象的正常行為，設(shè)定為動(dòng)態(tài)閾值。估算其范圍內(nèi)，并突出異常，判斷系統(tǒng)是否出現(xiàn)異常波動(dòng)。趨勢(shì)預(yù)測(cè)：支持前瞻性地分析系統(tǒng)容量的未來(lái)趨勢(shì)，了解目前及未來(lái)的資源需求和使用情況，提前進(jìn)行合理的容量管理和規(guī)劃

9、。容量合規(guī)：支持評(píng)估系統(tǒng)中虛擬機(jī)和主機(jī)的容量規(guī)格是否合理。SOI監(jiān)控分析功能介紹SOI系統(tǒng)框架SOI系統(tǒng)框架如 REF _Ref418618511 r h 圖2-1所示。SOI系統(tǒng)框架圖SOI系統(tǒng)運(yùn)行洞察系統(tǒng)，用來(lái)對(duì)FusionSphere云計(jì)算系統(tǒng)中物理機(jī)和虛擬機(jī)的性能環(huán)境指標(biāo)進(jìn)行采集和展示，建立模型進(jìn)行分析，根據(jù)歷史和當(dāng)前數(shù)據(jù)對(duì)未來(lái)性能變化進(jìn)行預(yù)測(cè)，從而給出對(duì)管理員的系統(tǒng)性能管理建議。SOI監(jiān)控指標(biāo)SOI支持云基礎(chǔ)設(shè)施從虛擬機(jī)到集群，包括CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)各個(gè)維度的豐富的性能指標(biāo)監(jiān)控。虛擬機(jī)虛擬機(jī)性能指標(biāo)，主要從CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)四個(gè)維度對(duì)運(yùn)行的虛擬機(jī)進(jìn)行動(dòng)態(tài)監(jiān)控分析，具體指標(biāo)

10、包括：CPU：CPU占用率、CPU就緒時(shí)長(zhǎng)內(nèi)存：內(nèi)存占用率磁盤(pán)：磁盤(pán)IO讀寫(xiě)速率、磁盤(pán)讀寫(xiě)IOPS、平均磁盤(pán)讀寫(xiě)延遲、磁盤(pán)IO利用率網(wǎng)絡(luò)：網(wǎng)絡(luò)收發(fā)速率、網(wǎng)卡收發(fā)包數(shù)SOI采集虛擬機(jī)的CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)的相關(guān)指標(biāo)，對(duì)虛擬機(jī)的健康度進(jìn)行實(shí)時(shí)動(dòng)態(tài)分析和打分，并向客戶提供虛擬機(jī)的健康度評(píng)估建議。主機(jī)主機(jī)性能指標(biāo)，主要從CPU、內(nèi)存、網(wǎng)絡(luò)、虛擬機(jī)數(shù)四個(gè)維度對(duì)主機(jī)及主機(jī)上運(yùn)行的虛擬機(jī)進(jìn)行動(dòng)態(tài)監(jiān)控分析，具體指標(biāo)包括：CPU：CPU占用率內(nèi)存：內(nèi)存占用率磁盤(pán)：磁盤(pán)IO讀寫(xiě)速率網(wǎng)絡(luò)：網(wǎng)絡(luò)流入流出速率SOI采集主機(jī)的CPU、內(nèi)存、網(wǎng)絡(luò)的指標(biāo)，對(duì)主機(jī)的健康度進(jìn)行監(jiān)控分析和打分，并向客戶提供主機(jī)的健康度評(píng)估建議

11、；同時(shí)提供容量分析，并對(duì)容量數(shù)據(jù)展開(kāi)趨勢(shì)預(yù)測(cè)。集群集群性能指標(biāo)，主要從CPU、內(nèi)存、網(wǎng)絡(luò)、虛擬機(jī)數(shù)四個(gè)維度對(duì)集群性能及集群下的虛擬機(jī)進(jìn)行動(dòng)態(tài)監(jiān)控分析，具體指標(biāo)包括：CPU：CPU占用率內(nèi)存：內(nèi)存占用率磁盤(pán)：磁盤(pán)IO讀寫(xiě)速率網(wǎng)絡(luò)：網(wǎng)絡(luò)流入流出速率SOI采集集群的CPU、內(nèi)存、網(wǎng)絡(luò)的指標(biāo)，對(duì)集群的健康度進(jìn)行監(jiān)控分析和打分，并向客戶提供集群的健康度評(píng)估建議；同時(shí)提供容量分析，并對(duì)容量數(shù)據(jù)展開(kāi)趨勢(shì)預(yù)測(cè)。SOI分析功能綜合運(yùn)行監(jiān)控SOI從健康、風(fēng)險(xiǎn)和效率三個(gè)維度進(jìn)行打分，綜合分析系統(tǒng)性能和容量狀況，并使用直觀的視圖進(jìn)行呈現(xiàn)。技術(shù)原理：SOI從健康、風(fēng)險(xiǎn)和效率三個(gè)維度進(jìn)行打分，使用直觀的視圖全面展現(xiàn)系統(tǒng)中

12、的虛擬機(jī)、主機(jī)和集群等對(duì)象的性能和容量狀況。用戶每天只需要花上幾分鐘時(shí)間，便可全面掌控系統(tǒng)性能和容量情況。性能監(jiān)控維度包括：1、健康：關(guān)注系統(tǒng)當(dāng)前性能狀態(tài)是否良好。通過(guò)監(jiān)控虛擬機(jī)、主機(jī)和集群等對(duì)象的工作負(fù)載（例如CPU占用率），結(jié)合動(dòng)態(tài)閾值檢測(cè)異常波動(dòng)，提供準(zhǔn)確可靠的性能評(píng)估結(jié)果。以便管理員及時(shí)發(fā)現(xiàn)性能問(wèn)題，提升系統(tǒng)運(yùn)行的穩(wěn)定性。2、風(fēng)險(xiǎn)：關(guān)注系統(tǒng)未來(lái)資源是否充裕。通過(guò)分析虛擬機(jī)、主機(jī)和集群等對(duì)象的歷史性能數(shù)據(jù)，提供系統(tǒng)資源過(guò)載詳情、資源剩余容量和資源耗盡可能時(shí)長(zhǎng)。以便管理員從容應(yīng)對(duì)業(yè)務(wù)擴(kuò)張帶來(lái)的系統(tǒng)資源不足等問(wèn)題，提升系統(tǒng)的維護(hù)效率。3、效率：關(guān)注系統(tǒng)是否存在優(yōu)化機(jī)會(huì)。通過(guò)分析虛擬機(jī)、主機(jī)和

13、集群等對(duì)象的資源占用率，提供系統(tǒng)中負(fù)載過(guò)低的資源對(duì)象和資源優(yōu)化建議。以便管理員可以及時(shí)調(diào)整監(jiān)控對(duì)象負(fù)載，提升系統(tǒng)資源的使用效率。SOI提供靈活的綜合打分策略，不同狀態(tài)的指標(biāo)分別取用不同的權(quán)重，狀態(tài)嚴(yán)重的指標(biāo)取用更高的權(quán)重，這樣可以重點(diǎn)突出有問(wèn)題的指標(biāo)，防止“偏科”?？蛻魞r(jià)值：用戶通過(guò)直觀的視圖可以全面監(jiān)控系統(tǒng)性能狀況，及時(shí)發(fā)現(xiàn)并處理系統(tǒng)問(wèn)題及規(guī)避潛在風(fēng)險(xiǎn)，提高維護(hù)效率，降低維護(hù)成本。動(dòng)態(tài)閾值SOI提供自學(xué)習(xí)功能，動(dòng)態(tài)設(shè)定閾值，判斷系統(tǒng)是否出現(xiàn)異常波動(dòng)。技術(shù)原理：監(jiān)控系統(tǒng)性能的異常變化是性能監(jiān)控管理的重要內(nèi)容。目前在性能監(jiān)控管理中對(duì)性能異常變化的監(jiān)控多采用基于閾值的方法，即由有經(jīng)驗(yàn)的管理員設(shè)定好

14、閾值，當(dāng)系統(tǒng)發(fā)現(xiàn)性能指標(biāo)超過(guò)閾值時(shí)產(chǎn)生告警。這樣的系統(tǒng)有一個(gè)缺點(diǎn)：性能變化存在突發(fā)性和隨機(jī)性，實(shí)際運(yùn)行中難以設(shè)定閾值。如果設(shè)定閾值太小，系統(tǒng)可能出現(xiàn)大量誤報(bào)；如果設(shè)定閾值太大，則不容易發(fā)現(xiàn)網(wǎng)絡(luò)中存在的細(xì)微突變，導(dǎo)致漏報(bào)。SOI評(píng)估監(jiān)控對(duì)象的異常波動(dòng)時(shí)采用動(dòng)態(tài)閾值算法，根據(jù)對(duì)象和時(shí)間的不同，自學(xué)習(xí)每個(gè)對(duì)象在各時(shí)間段的正常負(fù)荷來(lái)智能設(shè)定上下限閾值。若監(jiān)控的指標(biāo)不在設(shè)定或者自學(xué)習(xí)的閾值范圍內(nèi)，系統(tǒng)就會(huì)報(bào)出異常事件。管理員根據(jù)異常事件對(duì)系統(tǒng)進(jìn)行針對(duì)性修復(fù)，提高了系統(tǒng)的工作效率。SOI通過(guò)自回歸模型計(jì)算動(dòng)態(tài)閾值，它根據(jù)自變量自身的規(guī)律來(lái)預(yù)測(cè)未來(lái)的情況。SOI動(dòng)態(tài)閾值的包含兩部分，一部分是基于歷史數(shù)據(jù)統(tǒng)計(jì)

15、，用于判斷系統(tǒng)不同尋常的變化；另一部分是基于短期的時(shí)間序列（AR自回歸模型）動(dòng)態(tài)閾值，用于判斷系統(tǒng)的突變。通過(guò)這樣一些有專利的自學(xué)習(xí)方法，檢測(cè)出系統(tǒng)超出正常范圍的變化，使負(fù)載異常波動(dòng)的檢測(cè)更為準(zhǔn)確，同時(shí)避免靜態(tài)閾值帶來(lái)的誤報(bào)。客戶價(jià)值：減少性能問(wèn)題的誤報(bào)現(xiàn)象，提升管理員維護(hù)系統(tǒng)的效率。趨勢(shì)預(yù)測(cè)SOI支持前瞻性地分析系統(tǒng)容量的未來(lái)趨勢(shì)。它能夠直觀的展示資源容量未來(lái)趨勢(shì)走向。通過(guò)性能趨勢(shì)和前瞻性預(yù)測(cè)可以清楚了解目前及未來(lái)的資源需求和使用情況，提前進(jìn)行合理的容量管理和規(guī)劃。技術(shù)原理：SOI分析過(guò)去一段時(shí)間的系統(tǒng)CPU、內(nèi)存、磁盤(pán)資源消耗情況，綜合運(yùn)用線性預(yù)測(cè)和非線性回歸等算法，預(yù)測(cè)未來(lái)一段時(shí)間內(nèi)，資

16、源可能的消耗情況。趨勢(shì)預(yù)測(cè)主要采用回歸算法，通過(guò)對(duì)已知指標(biāo)樣本序列的多種擬合，選出相關(guān)系數(shù)最大的回歸方式，然后推測(cè)指標(biāo)的發(fā)展趨勢(shì)。所采用的主要回歸算法有：一元線性回歸指數(shù)回歸（EXP）冪函數(shù)回歸（POW）對(duì)數(shù)回歸（LOG）S曲線回歸（S-Curve）例如，一元線性回歸表達(dá)式如下：最簡(jiǎn)單的線性式是寫(xiě)成行列式：直接給出該式的參數(shù)解：其中，為t值的算術(shù)平均值。也可解得如下形式：客戶價(jià)值：趨勢(shì)預(yù)測(cè)根據(jù)歷史數(shù)據(jù)分析趨勢(shì)情況，預(yù)測(cè)可能出現(xiàn)的過(guò)載、資源不足等問(wèn)題，以便提前準(zhǔn)備，變被動(dòng)檢測(cè)為主動(dòng)預(yù)警。通過(guò)趨勢(shì)預(yù)測(cè)，可以提前了解當(dāng)前及未來(lái)的資源需求和可能出現(xiàn)的資源瓶頸，從而合理的進(jìn)行系統(tǒng)容量管理和規(guī)劃。容量合規(guī)

17、SOI支持評(píng)估系統(tǒng)中虛擬機(jī)和主機(jī)的容量規(guī)格是否合理。技術(shù)原理：SOI根據(jù)虛擬機(jī)、主機(jī)長(zhǎng)期的資源使用情況，評(píng)估可滿足工作負(fù)載要求的建議資源數(shù)量。判斷系統(tǒng)中的虛擬機(jī)和主機(jī)的配置是否過(guò)度或不足，避免過(guò)度配置造成的資源浪費(fèi)和過(guò)少配置造成的性能問(wèn)題，以便減少硬件購(gòu)買投資和預(yù)算，節(jié)省資源。SOI提供容量?jī)?yōu)化視圖詳細(xì)展現(xiàn)資源優(yōu)化數(shù)據(jù)。容量?jī)?yōu)化視圖有助于更高效地使用資源。利用這些視圖可以確定如何回收浪費(fèi)的容量。包括：未充分利用的主機(jī)過(guò)度利用的主機(jī)容量過(guò)剩的虛擬機(jī)容量不足的虛擬機(jī)SOI長(zhǎng)期監(jiān)控虛擬機(jī)和主機(jī)的性能指標(biāo)，獲取其工作負(fù)載Workload，并取忙時(shí)結(jié)果作為虛擬機(jī)和主機(jī)資源的實(shí)際需求量。然后在充分考慮資源

18、預(yù)留的情況下，對(duì)比實(shí)際分配的資源，以判斷虛擬機(jī)和主機(jī)是否存在容量不足，或者容量過(guò)剩。客戶價(jià)值：SOI評(píng)估判斷系統(tǒng)中的虛擬機(jī)和主機(jī)的配置是否過(guò)度或不足，這樣可以避免過(guò)度配置造成的資源浪費(fèi)和過(guò)少配置造成的性能問(wèn)題。管理員通過(guò)識(shí)別未充分利用的資源詳情，可以了解哪些資源容量過(guò)剩或者使用不足，為提升和調(diào)整資源使用效率提供決策依據(jù)。SOI監(jiān)控規(guī)模和規(guī)格SOI以虛擬機(jī)方式，單機(jī)部署在管理平面，并提供單獨(dú)的Portal界面。一套FusionCompute（VRM）對(duì)應(yīng)部署一套SOI進(jìn)行監(jiān)控。一套SOI最大支持10000VM的監(jiān)控規(guī)模，具體支持的監(jiān)控規(guī)模和對(duì)應(yīng)虛擬機(jī)規(guī)格如 REF _Ref418618799 r h 表2-1所示。FusionSphere SOI最大監(jiān)控規(guī)模和規(guī)格節(jié)點(diǎn)類型規(guī)劃模式CPU內(nèi)存硬盤(pán)最大用戶規(guī)模FusionSphere SOI單點(diǎn)（虛擬機(jī)）4VCPU8G300G3000 VM以內(nèi)8VCPU12G300G30005000VM16VCPU16G300G500010000VM綜述總結(jié)FusionSphere SOI收集和分析性能數(shù)據(jù)，關(guān)聯(lián)異常并確定性能問(wèn)題。SOI全面分析性能三維度：工作負(fù)載、性能和容量。它考察虛擬機(jī)和主機(jī)的工作負(fù)