公司數(shù)據(jù)中心建設(shè)服務(wù)質(zhì)量保證設(shè)計方案

1、公司數(shù)據(jù)中心建設(shè)服務(wù)質(zhì)量保證設(shè)計方案1.1服務(wù)質(zhì)量保證設(shè)計分類XXX公司本次網(wǎng)絡(luò)的服務(wù)質(zhì)量保證 （QoS ）設(shè)計主要包 括兩個方面：數(shù)據(jù)中心服務(wù)質(zhì)量設(shè)計：由于采用Data CenterEthernet技術(shù)，因此主要是 DCE以太網(wǎng)QoS設(shè)計；傳統(tǒng)局域網(wǎng)廣域網(wǎng)服務(wù)質(zhì)量設(shè)計：這一部分業(yè)務(wù)類型復(fù)雜，包括業(yè)務(wù)數(shù)據(jù)、IP電話、視頻會議等等，加上 傳統(tǒng)局域網(wǎng)和廣域網(wǎng)技術(shù)都有自身機(jī)制和帶寬資源的 制約，因此是 QoS設(shè)計的重點(diǎn)，這部分將主要是IPQoS設(shè)計。1.2數(shù)據(jù)中心服務(wù)質(zhì)量設(shè)計本次數(shù)據(jù)中心采用 Data Center Ethernet （ DCE）技術(shù)，DCE的設(shè)計目標(biāo)之一就是為未來大型數(shù)據(jù)中心的業(yè)務(wù)

2、提供傳輸保障。我們知道衡量 QoS質(zhì)量的四個要素是：帶寬， 延遲，延遲抖動和丟棄率。在資源整合后的面向服務(wù)的數(shù)據(jù)中心中，對帶寬、延遲和丟棄率的要求是非?？量痰?，因此 要達(dá)到新一代數(shù)據(jù)中心的設(shè)計目標(biāo)，必須使DCE能夠滿足對帶寬、延遲和抖動的服務(wù)質(zhì)量要求。帶寬及設(shè)備吞吐量設(shè)計保證在資源整合后的網(wǎng)絡(luò)傳輸帶寬和網(wǎng)絡(luò)設(shè)備吞吐能力，必須實(shí)現(xiàn)以下 DCE設(shè)計：121.1.設(shè)備吞吐能力選擇的設(shè)備必須能夠提供足夠的交換容量，Nexus 7000具備4Tbps的交換吞吐能力，每插槽 230Gbps （可擴(kuò)展 500Gbps ）;在接入層設(shè)備選擇上采用接近1.2Tbps交換能力的Nexus 5000，并使用交換延展

3、設(shè)備 Nexus 2000 將這一 交換能力線性延展到每個服務(wù)器機(jī)柜。1212帶寬設(shè)計首先要在數(shù)據(jù)中心的拓?fù)湓O(shè)計中規(guī)劃好帶寬。在本次設(shè)計中接入層的每列機(jī)柜基本上保證每服務(wù)器接入網(wǎng)絡(luò)的線 速，這是依靠每臺柜頂交換機(jī)（Nexus 2000 ）上連時的4個萬兆鏈路捆綁后所提供的帶寬保證，另外Nexus 5000的1.2Tbps交換能力也保證了所有萬兆匯聚后的無瓶頸處理。數(shù)據(jù)中心當(dāng)前最大規(guī)模的帶寬占用還是在服務(wù)器之間 的內(nèi)存同步、并行計算、數(shù)據(jù)備份和融合SAN之后的存儲訪問，如果能夠?qū)⑽磥碇С?FCoE的存儲機(jī)柜設(shè)計在 Nexus 5000接入，其它萬兆網(wǎng)卡的高性能服務(wù)器直接在Nexus5000所在機(jī)

4、柜接入，并保證服務(wù)器機(jī)柜分配得當(dāng)?shù)臈l件下， 以上大量資源耗費(fèi)的處理都可以在接入層的同一對Nexus5000內(nèi)完成，因此基本可以保證帶寬的線性處理。而接入層到數(shù)據(jù)中心匯聚層（Nexus 7000的VDC ）的 連接中是有一定過載，這些過載也只針對跨越兩對Nexus 5000即兩個列（也可稱為 POD ）之間的流量，當(dāng)前每對Nexus 5000到7000之間采用4個萬兆，在萬兆端口數(shù)量不緊張的情況下還可以擴(kuò)容并保證跨機(jī)箱的vPC技術(shù)實(shí)現(xiàn)充分負(fù)載均衡的端口捆綁。而考慮到當(dāng)前服務(wù)器數(shù)量遠(yuǎn)沒有達(dá) 到完全過載數(shù)量（充分過載是640臺全線性1G的服務(wù)器接入），而且在適當(dāng)安排服務(wù)器后兩列之間的流量基本上非常

5、少，大部分帶寬消耗型應(yīng)用將在列內(nèi)完成，因此當(dāng)前的過載 比是完全滿足當(dāng)前和至少今后5年內(nèi)的數(shù)據(jù)處理量要求的。數(shù)據(jù)中心服務(wù)機(jī)箱（Catalyst 6500 ）和數(shù)據(jù)中心匯聚（Nexus 7000 VDC ）之間當(dāng)前的設(shè)計帶寬是每機(jī)箱雙萬兆 上連（40Gbps全雙工吞吐量），這個數(shù)值已經(jīng)超過當(dāng)前每 個機(jī)箱內(nèi)的單防火墻模塊在引擎加速特性下的吞吐能力（32Gbps ）和單ACE模塊的最大處理性能（16Gbps）， 因此也沒有連接瓶頸。在以后智能服務(wù)擴(kuò)容時，互連的帶寬 還可以繼續(xù)擴(kuò)容，通過 vPC和VSS技術(shù)保證跨機(jī)箱捆綁的充分負(fù)載均衡 從數(shù)據(jù)中心匯聚到全網(wǎng)核心 （Nexus 7000的VDC之間）則可以

6、通過靈活的萬兆線路跳接方便的擴(kuò)容互連帶寬，根據(jù)整個股份公司對數(shù)據(jù)中心訪問量的評估，當(dāng)前的互連方式（全雙工超過80Gbps ）也是完全滿足至少 5年的業(yè)務(wù)發(fā)展 需求的。1.2.1.3.DCE 帶寬管理：在以上的理論分析中，帶寬設(shè)計已經(jīng)完全滿足本次設(shè)計的需要，但是我們可以看到即使最完美的設(shè)計也不可能保證 網(wǎng)絡(luò)中處處線性、沒有過載，這是不必要也不經(jīng)濟(jì)的。在出 現(xiàn)過載的位置，我們可以通過技術(shù)手段使得最需要帶寬的服 務(wù)能夠保證優(yōu)先獲得資源，這也是服務(wù)質(zhì)量保證設(shè)計的重 點(diǎn)。在本次推薦的DCE網(wǎng)絡(luò)技術(shù)中已經(jīng)完全支持IEEE最新的帶寬管理技術(shù) 802.1Qaz ETS （Enhanced Transmissi

7、on Selection ），該技術(shù)可以保證在過載情況下優(yōu)先保證如高性 能計算網(wǎng)、存儲網(wǎng)流量的帶寬，而一般數(shù)據(jù)業(yè)務(wù)可以靈活、高效的使用剩余有效帶寬，如下圖所示11G對10G過載情況下的QoS優(yōu)化帶寬分配：Offered Trtffittlt2門H?C Traffk3C/s2 G/sStorage T raff i<3C/s3G/5£5LAN Traffick10 GE Link Eslized Trfic (Jtilhtf iontlt2巧122低延遲設(shè)計DCE的資源匯聚使得存儲業(yè)務(wù)和高性能計算業(yè)務(wù)都將 在一個交換平臺上傳送，DCE的一個重要要求就是保證這些 網(wǎng)絡(luò)原來的低延遲、

8、低抖動能力一樣可以在以太網(wǎng)上獲得， 這主要依靠設(shè)備的低延遲轉(zhuǎn)發(fā)特性和在擁塞情況下高級的 隊(duì)列調(diào)度來實(shí)現(xiàn)。在本期所推薦采用的 Nexus系列交換機(jī)最大特點(diǎn)就是使用了 Cisco在MDS系列存儲交換機(jī)上實(shí)現(xiàn)的SAN網(wǎng)絡(luò)低延遲技術(shù)和專利，使以太網(wǎng)交換機(jī)獲得了極低的轉(zhuǎn)發(fā)延遲， 三層端口對端口的轉(zhuǎn)發(fā)延遲可在1020us，而二層的端口見轉(zhuǎn)發(fā)延遲可在3個us以下。充分保證遠(yuǎn)程存儲讀寫、遠(yuǎn) 程內(nèi)存訪問的流暢性。與帶寬設(shè)計時一樣，網(wǎng)絡(luò)不可能在任何位置都通過充裕 的資源，在適當(dāng)?shù)倪M(jìn)行帶寬分配和設(shè)計后，在許多關(guān)鍵的位 置雖然存在過載，但仍不會帶來資源的緊張。但仍可能出現(xiàn) 突發(fā)和不可預(yù)測的資源分配不夠的問題，這時就需

9、要采用高 級的隊(duì)列管理和調(diào)度，對延遲不敏感的業(yè)務(wù)主動出讓一些資 源，以保證對延遲極為敏感的業(yè)務(wù)服務(wù)質(zhì)量不受影響。在以 太網(wǎng)上協(xié)調(diào)資源實(shí)現(xiàn)類似流量控制的很早就有，比如最常見 的端口暫停幀機(jī)制(IEEE 802.3 Annex 31B)，當(dāng)有擁塞發(fā)生時通過互連端口信息的傳遞，讓端口流量發(fā)送暫緩，以保 證自己有足夠的資源處理關(guān)鍵業(yè)務(wù)。而這種傳統(tǒng)的控制方式 將導(dǎo)致一個物理端口內(nèi)的所有業(yè)務(wù)的暫停，導(dǎo)致不可預(yù)料的 延遲。本次我們采用的DCE網(wǎng)絡(luò)支持IEEE最新的PriorityFlow Control (IEEE 802.1Qbb)技術(shù)，如下圖所示，可以對多達(dá)8種不同業(yè)務(wù)給與完全不同的流量區(qū)別，從而保證迫

10、切 需要資源的存儲、訪存類業(yè)務(wù)流的低延遲優(yōu)先性。Transmit QueuesEthernet Linkml種丨|STUPTwojnn啊FHrhiinSIIIIIIIIIII 1 HlReceive QueuesEight PrioritiesSwitch BSwitch A8類業(yè)務(wù)可以常規(guī) QoS的802.1Q優(yōu)先標(biāo)識和IP Precedence優(yōu)先標(biāo)識進(jìn)行統(tǒng)一定義。無丟棄設(shè)計資源缺乏會導(dǎo)致系統(tǒng)對業(yè)務(wù)進(jìn)行丟棄，而存儲業(yè)務(wù)、高性能計算業(yè)務(wù)等是對丟棄極為敏感的，由于業(yè)務(wù)機(jī)制對延遲 和成功率的苛刻要求，即使少量的丟棄也會對業(yè)務(wù)效率產(chǎn)生極為嚴(yán)重的影響。DCE有“無丟棄以太網(wǎng)”的別稱，就是在 許多方面

11、改善了傳統(tǒng)以太網(wǎng)易于丟棄的簡單流控行為。主要 表現(xiàn)在以下方面：Switch Fabric VoQ :這是SAN交換機(jī)的交換矩陣以 及運(yùn)營商核心設(shè)備所廣泛采用的矩陣隊(duì)列調(diào)度方式， 現(xiàn)在該技術(shù)廣泛使用在 DCE的各級設(shè)備，有效的避免 在設(shè)備交換處理時的頭端堵塞現(xiàn)象，保證高優(yōu)先級流 量的無丟棄。硬件化的Credit機(jī)制：這也是傳統(tǒng) SAN交換機(jī)在硬 件上保證的傳輸無丟棄技術(shù)，它通過收發(fā)雙方能有一 個互相溝通收發(fā)能力的計數(shù)器相互協(xié)商對方的發(fā)送和 接收能力，以一種高效溝通的方式保證在底層傳輸上 的無丟棄?，F(xiàn)在該技術(shù)以在DCE的各級交換機(jī)上采用，保證收發(fā)以太網(wǎng)幀可以象過去收發(fā)存儲FC幀一樣做到無丟棄。Pe

12、r Virtual Lane (VL) Credit:上面的技術(shù)是物理端口級別的，在DCE中還將這種硬件 Credit技術(shù)用在端 口內(nèi)的Virtual Lane級別，這意味著在同一收發(fā)雙方 的物理口內(nèi)，可以實(shí)現(xiàn)不同業(yè)務(wù)采用不同 Credit參數(shù)， 實(shí)現(xiàn)不同的流控要求，比如傳統(tǒng)數(shù)據(jù)不進(jìn)行這種機(jī)制 以節(jié)約資源，而FCoE幀則必須使用該機(jī)制，而它們 都將在一對收發(fā)物理接口內(nèi)共存。BCN/QCN (IEEE 802.1Qau):這是一種后向擁塞控制機(jī)制，它最大的特點(diǎn)是可以在網(wǎng)絡(luò)中檢測出擁塞，然 后發(fā)信令到源頭，來降低過載的流量，使擁塞得以緩 解，并保證優(yōu)先業(yè)務(wù)無丟包。該技術(shù)曾用于 ATM等精細(xì)流量管理

13、的網(wǎng)絡(luò)中。如下圖所示Lr r Nikm LI1.3非數(shù)據(jù)中心網(wǎng)絡(luò)的服務(wù)質(zhì)量設(shè)計IP為了保證XXX公司非數(shù)據(jù)中心網(wǎng)絡(luò)部分的關(guān)鍵應(yīng)用， 將對應(yīng)用按重要等級進(jìn)行分類，在網(wǎng)絡(luò)上，實(shí)現(xiàn)對不同等級 的應(yīng)用提供優(yōu)先權(quán)不同的質(zhì)量服務(wù)。實(shí)時多媒體應(yīng)用如 電話、視頻會議等應(yīng)用將給予絕對的保證，而對一些不十分 緊要的應(yīng)用，在網(wǎng)絡(luò)帶寬充足的情況下將予以保證，在網(wǎng)絡(luò) 帶寬不足的情況下，將預(yù)先舍棄，以保證關(guān)鍵應(yīng)用。XXX公司局域網(wǎng)和廣域網(wǎng)需要具備提供數(shù)據(jù)、圖像、語 音、傳真和各種多業(yè)務(wù)綜合承載和接入能力。信息傳遞的服 務(wù)質(zhì)量保證和性能優(yōu)化設(shè)計將是最為關(guān)鍵的一個環(huán)節(jié)，它直接影響到華能系統(tǒng)應(yīng)用的穩(wěn)定實(shí)際上IP網(wǎng)的兩個技術(shù)根源一一以太網(wǎng)和 TCP/IP是眾 所周知的“無服務(wù)質(zhì)量保證技術(shù)”，所謂無服務(wù)質(zhì)量保證不是指服務(wù)的質(zhì)量一定不好，而是在技術(shù)本質(zhì)上只考慮數(shù)據(jù)的 可達(dá)性、正確性，并沒有機(jī)制去考慮數(shù)據(jù)遞送中諸如延遲、 延遲抖動等服務(wù)質(zhì)量要素，因而又稱之為“盡最大努力”(Best Effort)的傳送方式。隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，今天的華能網(wǎng)絡(luò)已從單一的數(shù)據(jù)傳輸應(yīng)用轉(zhuǎn)