數(shù)據(jù)中心操作系統(tǒng)技術(shù)方案

1、數(shù)據(jù)中心操作系統(tǒng)(DCOS)技術(shù)方案技術(shù)創(chuàng)新，變革未來第一部分?jǐn)?shù)據(jù)中心操作系統(tǒng)的理解第三部分?jǐn)?shù)據(jù)中心操作系統(tǒng)集成方案第四部分?jǐn)?shù)據(jù)中心操作系統(tǒng)運維方案第二部分?jǐn)?shù)據(jù)中心操作系統(tǒng)技術(shù)方案當(dāng)前技術(shù)架構(gòu)發(fā)展存在的問題應(yīng)用的快速部署開通受到極大制約：大部分應(yīng)用系統(tǒng)在開發(fā)、測試、準(zhǔn)發(fā)布和生產(chǎn)部署都有各自的環(huán)境，部署環(huán)境不一致，增加了測試的復(fù)雜度，導(dǎo)致需求的上線環(huán)節(jié)多、時間長，無法滿足業(yè)務(wù)快速上線的要求只能實現(xiàn)虛機(jī)級彈性伸縮，效果極其有限：系統(tǒng)彈性能力不足，數(shù)據(jù)架構(gòu)不具備平行擴(kuò)展能力來應(yīng)對突發(fā)的業(yè)務(wù)高峰，忙閑時資源難以有效動態(tài)調(diào)整，無法做到彈性擴(kuò)展集群1VM集群2集群3VMVMVMVMVM云化的四個階段簡化高

2、效靈活動態(tài)復(fù)用對數(shù)據(jù)中心內(nèi)部整體目標(biāo)架構(gòu)沒有統(tǒng)一的規(guī)劃設(shè)計標(biāo)準(zhǔn)化的硬件體系業(yè)務(wù)基礎(chǔ)架構(gòu)建設(shè)以月為單位通過核心云構(gòu)件實現(xiàn)進(jìn)程級資源共享業(yè)務(wù)基礎(chǔ)架構(gòu)建設(shè)以小時為單位實現(xiàn)數(shù)據(jù)中心級彈性伸縮傳統(tǒng)孤島標(biāo)準(zhǔn)化IaaS資源池化PaaS資源池化應(yīng)用云化及DCOS化虛擬化服務(wù)化智能化孤島X86化通過服務(wù)化實現(xiàn)共享的平臺架構(gòu)業(yè)務(wù)基礎(chǔ)架構(gòu)建設(shè)以日為單位實現(xiàn)集群級彈性伸縮通過虛擬化實現(xiàn)共享的基礎(chǔ)架構(gòu)業(yè)務(wù)基礎(chǔ)架構(gòu)建設(shè)以周為單位實現(xiàn)虛擬機(jī)級彈性伸縮（IT領(lǐng)先的銀行）（領(lǐng)先互聯(lián)網(wǎng)公司）（浙江公司）數(shù)據(jù)中心需要一個操作系統(tǒng)數(shù)據(jù)中心操作系統(tǒng)（DataCenter Operating System，簡稱DCOS）是為整個數(shù)據(jù)中心

3、提供分布式調(diào)度與協(xié)調(diào)功能，實現(xiàn)數(shù)據(jù)中心級彈性伸縮能力的軟件堆棧（software stack），類似于傳統(tǒng)的單機(jī)操作系統(tǒng)，但不是單機(jī)操作系統(tǒng)隨著數(shù)據(jù)中心應(yīng)用或計算框架以及用戶的多樣化，數(shù)據(jù)中心越來越像一臺主機(jī)，需要一個”操作系統(tǒng)”統(tǒng)一協(xié)調(diào)各類資源Linux OSDCOSResource ManagementLinux KernelMesos、YarnProcess ManagementLinux KernelDocker、RKTJob Schedulinginit.d, cronMarathon, ChronosInter-Process CommunicationPipe, SocketAc

4、tiveMQ、RabbitMQFile Systemext4HDFS, Ceph數(shù)據(jù)中心操作系統(tǒng)的特征DCOS特征彈性伸縮敏捷開發(fā)根據(jù)數(shù)據(jù)中心的負(fù)載和容量情況自動增加和刪除節(jié)點，支持細(xì)粒度（CPU、內(nèi)存、硬盤等）資源調(diào)度，多個計算框架或應(yīng)用程序可共享資源和數(shù)據(jù)，提升資源利用率快速部署通過抽象，隱藏數(shù)據(jù)中心硬件的復(fù)雜性，降低應(yīng)用的開發(fā)難度，負(fù)載均衡傳統(tǒng)的部署模式為安裝(包管理工具或者源碼包編譯)-配置-運行，DCOS支持將數(shù)據(jù)中心應(yīng)用和它的依賴進(jìn)行封裝，實際部署時只需復(fù)制-運行數(shù)據(jù)中心操作系統(tǒng)終極目標(biāo)是提供一個通用的標(biāo)準(zhǔn)化運維系統(tǒng)高效率可靠安全地管理數(shù)據(jù)中心，同時簡化應(yīng)用程序的開發(fā)、部署難度，協(xié)

5、調(diào)各類資源，確保各類資源隨著應(yīng)用的需求動態(tài)調(diào)度根據(jù)某種負(fù)載策略把請求分發(fā)到集群中的每一個節(jié)點上，讓整個集群來處理應(yīng)用的請求數(shù)據(jù)中心操作系統(tǒng)PAAS技術(shù)架構(gòu)演進(jìn)PaaS 3.0PaaS 2.0PaaS 1.0Google App Engine、SAE等早期的PaaS概念，提供軟件開發(fā)平臺和運行環(huán)境Cloud Foundry、OpenShift等允許用戶運行自己的PaaS，將平臺進(jìn)行標(biāo)準(zhǔn)化、服務(wù)化。以分布式集群資源調(diào)度（Mesos、Yarn）為基礎(chǔ)，結(jié)合容器（Docker）技術(shù)構(gòu)建支持多種計算框架，具備敏捷開發(fā)、快速部署和彈性伸縮特性PaaS 3.0的核心是DCOSDCOS中的集群資源調(diào)度，業(yè)界主

6、要有Apache Mesos和Apache Hadoop YARN 兩種技術(shù)方案，有著各自的生態(tài)環(huán)境數(shù)據(jù)中心操作系統(tǒng)發(fā)展歷程 Google做為容器集群管理技術(shù)的創(chuàng)造者，其第一代集群管理系統(tǒng)被稱為Borg，Borg設(shè)計細(xì)節(jié)因零零星星出現(xiàn)在各種文章中而知名，但一直未公開（比如發(fā)一篇White Paper），Omega是Google第二代集群管理系統(tǒng)，主要是由劍橋大學(xué)和加州大學(xué)伯克利分校的兩個實習(xí)生在Google實習(xí)時完成的。 DCOS是Mesosphere在2014年提出一個全新集群管理概念，其核心資源調(diào)度組件為Mesos，而有意思的是Mesos的聯(lián)合創(chuàng)始人Benjamin Hindman正是其中

7、之一， Benjamin Hindman參考Omega的技術(shù)架構(gòu)設(shè)計開發(fā)了Mesos，Mesos是目前DCOS中應(yīng)用最廣泛的資源管理系統(tǒng)。BorgOmegaDCOS 數(shù)據(jù)中心操作系統(tǒng)應(yīng)用歷程商業(yè)閉源的數(shù)據(jù)中心操作系統(tǒng)：典型代表Google的Borg和Omaga，提供大規(guī)模集群管理能力，但只對內(nèi)部使用，而且與業(yè)務(wù)流程耦合度較高，不具備推廣性開源的數(shù)據(jù)中心操作系統(tǒng)：Mesosphere DCOS，以Mesos為核心，支持多領(lǐng)域的分布式集群調(diào)度框架，包括Docker容器集群調(diào)度框架Marathon、分布式 Cron（周期性執(zhí)行任務(wù)）集群調(diào)度框架Chronos和大數(shù)據(jù)的主流平臺Hadoop和Spark

8、的集群調(diào)度框架，實現(xiàn)系統(tǒng)的資源彈性調(diào)度，同時也支持分布式的文件系統(tǒng)HDFS、Ceph。集團(tuán)公司要求目的：進(jìn)一步提升中國移動云計算技術(shù)自研水平，提高產(chǎn)品標(biāo)準(zhǔn)化程度，提升資源利用率，掌控核心技術(shù)，擬開展采用以開源技術(shù)為核心的互聯(lián)網(wǎng)化技術(shù)體系，搭建數(shù)據(jù)中心操作系統(tǒng)（DataCenter Operating System，以下簡稱DCOS）驗證網(wǎng)，對新一代云計算技術(shù)體系的產(chǎn)品選擇，技術(shù)方案，平臺集成和運維保障進(jìn)行全面驗證浙江公司：負(fù)責(zé)采用以開源技術(shù)為核心的互聯(lián)網(wǎng)化技術(shù)體系，搭建DCOS驗證網(wǎng)，對新一代云計算技術(shù)體系的解決方案、產(chǎn)品選擇、集成交付和運維保障進(jìn)行全面驗證擬采用的技術(shù)暫定為：Mesos, M

9、arathon, Zookeeper, Etcd、Haproxy，Docker等蘇州研發(fā)中心：提供大云Mesos、Marathon、Docker三項產(chǎn)品作為驗證基礎(chǔ)，同時對DCOS驗證網(wǎng)中使用到的其他技術(shù)進(jìn)行技術(shù)攻關(guān)以及支持集團(tuán)技術(shù)部關(guān)于進(jìn)行數(shù)據(jù)中心操作系統(tǒng)（DCOS）技術(shù)研究試點的通知第一部分?jǐn)?shù)據(jù)中心操作系統(tǒng)的理解第三部分?jǐn)?shù)據(jù)中心操作系統(tǒng)集成方案第二部分?jǐn)?shù)據(jù)中心操作系統(tǒng)技術(shù)方案第四部分?jǐn)?shù)據(jù)中心操作系統(tǒng)運維方案第五部分項目進(jìn)度計劃MESOSYarn說明調(diào)用級別二級調(diào)度（Dominant Resource Fairness（DRF）二級調(diào)度（FIFO,Capacity Scheduler，F(xiàn)ai

10、r Scheduler）生態(tài)活躍活躍活躍2015年,Mesos大會將在西雅圖召開，預(yù)計千人參加適用場景通用性高，混合場景大數(shù)據(jù)生態(tài)場景應(yīng)用案例Twitter、Apple、Airbnb、Yelp、ebay、VerizonHadoop生態(tài)圈應(yīng)用Twitter使用Mesos管理10000以上，超過30,0000個虛擬節(jié)點Mesos由加州大學(xué)伯克利分校AMPLab開發(fā)，后在Twitter廣泛使用Mesos Master負(fù)責(zé)將資源分配給各個框架（如Hadoop框架），而各個框架的Scheduler進(jìn)一步將資源分配給各個Mesos Slave節(jié)點并通知Mesos Slave執(zhí)行相關(guān)Task任務(wù)Mesos

11、Slave接到通知后根據(jù)各個框架的Executor最終執(zhí)行相關(guān)Task任務(wù)關(guān)鍵技術(shù)選型-資源分配綜上所述，MESOS更適合CRM、BOSS混合場景，YARN適合大數(shù)據(jù)場景關(guān)鍵技術(shù)選型-服務(wù)注冊及引流Mesos通過Executor啟動Docker容器進(jìn)行彈性擴(kuò)縮容，在Docker啟動容器時通過在Docker run的啟動腳本中添加“Curl etcd set”命令通知Etcd服務(wù)。Etcd服務(wù)知道某一個容器啟動，并將其信息注冊到Etcd鍵值庫中。Etcd通知Confd服務(wù)相關(guān)的服務(wù)變化，Confd就會根據(jù)變化的情況更新Haproxy的cfg配置文件并執(zhí)行重新加載命令，使相關(guān)變化生效，同樣Etcd

12、也會定時檢查容器的運行狀態(tài)，當(dāng)容器停止時也會觸發(fā)Haproxy更新cfg配置文件并重新加載，達(dá)到動態(tài)引流。HAProxy提供高可用性、負(fù)載均衡的解決方案，Etcd是一個高可用的鍵值存儲系統(tǒng)，主要用于共享配置和服務(wù)發(fā)現(xiàn)，提供了數(shù)據(jù)TTL失效、數(shù)據(jù)改變監(jiān)視、多值、目錄監(jiān)聽、分布式鎖原子操作等功能，可以方便的跟蹤并管理集群節(jié)點的狀態(tài)。 Etcd與HAProxy配合能夠?qū)崿F(xiàn)數(shù)據(jù)中心應(yīng)用的動態(tài)引流關(guān)鍵技術(shù)選型-任務(wù)調(diào)度Mesos集群可以混合運行來自Marathon的不同類型的任務(wù)Marathon基于Mesos的任務(wù)調(diào)度為動態(tài)調(diào)度，即每個任務(wù)在執(zhí)行之前是不知道將在哪一臺服務(wù)器上執(zhí)行和綁定哪一個端口9臺服務(wù)

13、器（灰色）組成的Mesos集群上混合運行各種Marathon調(diào)度的任務(wù)，其中一臺服務(wù)器壞掉以后，這臺服務(wù)器上的任務(wù)就受影響，Marathon可把任務(wù)遷移到其他服務(wù)器上，實現(xiàn)容錯Marathon是基于Mesos來做任務(wù)調(diào)度，Mesos僅負(fù)責(zé)分布式集群資源分配，不負(fù)責(zé)任務(wù)調(diào)度。關(guān)鍵技術(shù)選型-應(yīng)用封裝和輕量級虛擬化serverHost OSserverDocker EngineBin/libsappBin/libsappHypervisorGuest OSBin/libsGuest OSBin/libsappapp容器虛擬機(jī)Docker為開源的應(yīng)用容器引擎，在標(biāo)準(zhǔn)的LXC之上融合AUFS分層鏡像管理

14、機(jī)制，拋棄傳統(tǒng)VM試圖模擬完整機(jī)器的思路，而是以應(yīng)用為單元進(jìn)行“集裝封箱”，是輕量級、操作系統(tǒng)級虛擬化技術(shù)Docker Engine可以自動化地部署應(yīng)用到可移植的的容器中，這些容器獨立于硬件、語言、框架、打包系統(tǒng)。一個標(biāo)準(zhǔn)的Docker容器包含一個軟件組件及其所有的依賴 ，包括二進(jìn)制文件，庫，配置文件，腳本等， 實現(xiàn)持續(xù)集成與部署，快速迭代應(yīng)用程序PaaS平臺作為云平臺的核心組成部分，為整個云平臺提供了服務(wù)標(biāo)準(zhǔn)化和自動彈性擴(kuò)展能力，Docker及相關(guān)生態(tài)圈系統(tǒng)天然具備服務(wù)發(fā)現(xiàn)和資源調(diào)度能力，為構(gòu)建具備彈性擴(kuò)展能力的PaaS平臺提供有效的解決方案 Docker容器可以封裝任何有效負(fù)載，幾乎可以在

15、任何服務(wù)器之間進(jìn)行一致性運行。開發(fā)者構(gòu)建的應(yīng)用只需一次構(gòu)建即可多平臺運行。運營人員只需配置他們的服務(wù)，即可運行所有應(yīng)用浙江公司DCOS技術(shù)架構(gòu)結(jié)合行業(yè)主流技術(shù)方案，通過關(guān)鍵技術(shù)選型，確定浙江公司DCOS技術(shù)架構(gòu)，即以容器為基礎(chǔ)封裝各類無狀態(tài)應(yīng)用和運行環(huán)境，以Mesos為核心實現(xiàn)容器資源的分布式調(diào)度與協(xié)調(diào)nodenodenodenodeMESOSMARATHONEtcdEtcdEtcdzookeeper物理機(jī)或虛擬機(jī)資源分配與任務(wù)調(diào)度(DCOS kernel)服務(wù)引流應(yīng)用層(Docker封裝)APP（container）APP（container）HAproxyHAproxyHAproxy第一部

16、分?jǐn)?shù)據(jù)中心操作系統(tǒng)的理解第三部分?jǐn)?shù)據(jù)中心操作系統(tǒng)集成方案第二部分?jǐn)?shù)據(jù)中心操作系統(tǒng)技術(shù)方案第四部分?jǐn)?shù)據(jù)中心操作系統(tǒng)運維方案第五部分項目進(jìn)度計劃試點應(yīng)用系統(tǒng)的選擇面向互聯(lián)網(wǎng)業(yè)務(wù)訪問量集中業(yè)務(wù)更新快電渠業(yè)務(wù)活動系統(tǒng)業(yè)務(wù)活動突發(fā)流量大，并且短廳、手廳多渠道流量并發(fā)，業(yè)務(wù)量容易過載，導(dǎo)致各系統(tǒng)無法受理業(yè)務(wù)為應(yīng)對市場變化，活動內(nèi)容更新快，后臺支撐能力需同步快速上線當(dāng)前WEB層及APP層采用分布式技術(shù)實現(xiàn)，DB層未實現(xiàn)分布式架構(gòu)，暫不考慮動態(tài)調(diào)度 和小店面向朋友圈的信用+口碑營銷，針對某一暢銷業(yè)務(wù)及大量好友，容易出現(xiàn)流量突發(fā)的情況采用TOMCAT開源架構(gòu)，架構(gòu)簡單遷移難度相對較低 選取符合DCOS的特征分布

17、式無狀態(tài)應(yīng)用系統(tǒng)，驗證DCOS在實際生產(chǎn)環(huán)境中動態(tài)提供和管理工作負(fù)載和基礎(chǔ)設(shè)施的可行性業(yè)務(wù)波峰大DMZ篩選原則：應(yīng)用系統(tǒng)具備顯著的互聯(lián)網(wǎng)業(yè)務(wù)特征，具備典型彈性擴(kuò)縮容場景需求試點應(yīng)用系統(tǒng)技術(shù)架構(gòu)分析（以電渠業(yè)務(wù)活動系統(tǒng)為例）19* CDN負(fù)載均衡器Web服務(wù)器Web服務(wù)器Web服務(wù)器Web服務(wù)器負(fù)載均衡器App服務(wù)器App服務(wù)器App服務(wù)器App服務(wù)器緩存服務(wù)器緩存服務(wù)器數(shù)據(jù)庫電渠業(yè)務(wù)活動系統(tǒng)具備典型的三層架構(gòu)特征，WEB層及APP層基本采用分布式技術(shù)實現(xiàn)，具備進(jìn)行DCOS平臺應(yīng)用的前提條件，DB層本次暫不予考慮。用戶通過分布式CDN訪問電渠系 統(tǒng)，接入層已實現(xiàn)分布式架構(gòu)。 DB層采用小型機(jī)+集

18、中存儲的傳統(tǒng)架構(gòu)，未實現(xiàn)分布式處理架構(gòu)，暫不考慮動態(tài)調(diào)度 WEB層基于支撐中心資源池部署，具備彈性伸縮和動態(tài)調(diào)度基礎(chǔ)。 APP層基于支撐中心資源池部署，通過負(fù)載實現(xiàn)分布式處理架構(gòu)，具備彈性伸縮前提條件。接入層Web層 APP層 DB層試點應(yīng)用系統(tǒng)容器化改造過程Docker是基于Linux kernel實現(xiàn)的虛擬化，目前只支持Linux Base宿主機(jī)操作系統(tǒng)，并且對內(nèi)核版本要求較嚴(yán)格采用Docker容器技術(shù)，將運行環(huán)境封裝到Docker鏡像中，并依據(jù)該鏡像生成Container，每個Container中運行一個實例，通過Docker Registry做鏡像管理1、選擇宿主操作系統(tǒng)通過Docke

19、r官網(wǎng)下載Docker引擎，安裝方式可以采用操作系統(tǒng)yum工具進(jìn)行自動安裝，也可以下載Binary版本文件進(jìn)行手動安裝2、下載DOCKER引擎容器基礎(chǔ)鏡像是一個精簡版的操作系統(tǒng)，里面不包含內(nèi)核組件，只包含一些基礎(chǔ)的執(zhí)行文件和lib依賴包，能夠保證容器內(nèi)具備一個基本的系統(tǒng)環(huán)境3、拉取容器基礎(chǔ)鏡像在容器基礎(chǔ)鏡像中安裝第三方通用軟件，如WebLogic中間件，并進(jìn)行參數(shù)配置4、安裝并配置通用軟件依據(jù)運行環(huán)境生成鏡像，并基于該鏡像生成多個容器5、生成應(yīng)用鏡像通過“docker push image_name”命令將其上傳到Docker Registry中，Docker Registry提供鏡像存儲服務(wù)

20、，能夠根據(jù)集成需求，快速的將鏡像下載到指定主機(jī)中6、上傳鏡像編寫創(chuàng)建容器和啟停容器的腳本，便于日常管理維護(hù)7、編寫容器啟停腳本應(yīng)用運維人員將應(yīng)用包發(fā)布到系統(tǒng)中，通過容器啟動腳本啟動容器，使其對外提供服務(wù)8、發(fā)布應(yīng)用投入生產(chǎn)集成部署DCOS物理架構(gòu)MarathonMESOS-masterMESOS-slaveZookeeperETCD、CONFDHaproxyLoadbalanceStatechangesStatechangesreloadreloadreloadtaskMESOS master、MARATHON 、ZOOKEEPER 共采用3臺X86虛擬機(jī)分布式部署（單臺6vCPU/20GB內(nèi)存/80GB硬盤）HAp