軟件定義網(wǎng)絡(luò)（SDN）應(yīng)用基礎(chǔ)（微課版）課件 項(xiàng)目6 基于ONOS搭建SND集群

項(xiàng)目6基于ONOS搭建SDN集群學(xué)習(xí)目標(biāo)項(xiàng)目背景項(xiàng)目需求分析項(xiàng)目相關(guān)知識(shí)項(xiàng)目實(shí)踐項(xiàng)目習(xí)題目錄（1）了解ONOS控制器基本架構(gòu)。（2）掌握ONOS控制器安裝和使用。（2）掌握ONOS控制器集群與監(jiān)控配置。6.1學(xué)習(xí)目標(biāo)項(xiàng)目描述在前面的項(xiàng)目中，公司網(wǎng)絡(luò)都只部署了一臺(tái)控制器，無(wú)法保證網(wǎng)絡(luò)運(yùn)行的穩(wěn)定性和可靠性，管理員計(jì)劃使用主備方式來(lái)部署多臺(tái)控制器解決這一問(wèn)題。部署多臺(tái)控制器不僅可以實(shí)現(xiàn)流量的負(fù)載均衡，而且在主控制器發(fā)生故障時(shí)，備份的控制器能夠接替主控制器的工作，確保業(yè)務(wù)能夠平穩(wěn)運(yùn)行。經(jīng)研究和對(duì)比，本項(xiàng)目決定采用ONOS控制器進(jìn)行集群的部署和測(cè)試。項(xiàng)目拓?fù)淙鐖D6-1所示。項(xiàng)目描述圖6-1項(xiàng)目拓?fù)漤?xiàng)目描述角色規(guī)劃如下表所示主機(jī)名稱端口IP地址用途LAN區(qū)段controllerens33DHCP連接互聯(lián)網(wǎng)

ens340/24SDN控制網(wǎng)Lan0controller2ens33DHCP連接互聯(lián)網(wǎng)

ens341/24SDN控制網(wǎng)Lan0表6-1角色規(guī)劃項(xiàng)目需求分析本項(xiàng)目通過(guò)在SDN環(huán)境下部署ONOS控制器，并結(jié)合Mininet模擬工具進(jìn)行測(cè)試。通過(guò)主備方式部署ONOS控制器，模擬故障觀察ONOS控制器能否實(shí)現(xiàn)負(fù)載和冗余的功能。在ONOS控制器的UI界面，實(shí)現(xiàn)流量的可視化。綜上所述，本次項(xiàng)目設(shè)計(jì)如下幾點(diǎn)任務(wù)。（1）ONOS控制器的安裝和使用。（2）ONOS控制器的集群構(gòu)建。項(xiàng)目需求分析項(xiàng)目相關(guān)知識(shí)開(kāi)放網(wǎng)絡(luò)操作系統(tǒng)（OpenNetworkOperatingSystem，ONOS）是由ON.Lab社區(qū)發(fā)布和維護(hù)的開(kāi)源網(wǎng)絡(luò)操作系統(tǒng)。它的主要目的是為軟件定義網(wǎng)絡(luò)提供控制器平面組件和管理網(wǎng)絡(luò)組件；使用戶在ONOS之上運(yùn)行軟件程序或模塊；向終端主機(jī)和鄰居網(wǎng)絡(luò)提供網(wǎng)絡(luò)服務(wù)。ONOS對(duì)網(wǎng)絡(luò)及設(shè)備進(jìn)行了更深層次的抽象，對(duì)用戶屏蔽了底層網(wǎng)絡(luò)硬件、協(xié)議以及接口等實(shí)現(xiàn)細(xì)節(jié)，用戶可以直接在ONOS的內(nèi)核上層編寫應(yīng)用程序。ONOS從設(shè)計(jì)之初就為了滿足最苛刻的運(yùn)營(yíng)商網(wǎng)絡(luò)所提出的要求，它的許多機(jī)制都是確保網(wǎng)絡(luò)及連接的可靠性，同時(shí)保障高可用性。ONOS在北向接口上能支持?jǐn)?shù)百萬(wàn)個(gè)應(yīng)用程序的操作請(qǐng)求，對(duì)網(wǎng)絡(luò)事件的響應(yīng)能保持在50毫秒以下，還能支持控制平面的橫向擴(kuò)容。ONOS同樣使用了模塊化的概念，用戶能通過(guò)模塊的形式對(duì)應(yīng)用程序進(jìn)行靈活的增加和刪除。6.4.1ONOS控制器的概述ONOS對(duì)外開(kāi)放北向接口API，用戶能基于這些北向API接口開(kāi)發(fā)應(yīng)用程序。ONOS也支持許多的南向協(xié)議，如P4、OpenFlow、Netconf、SNMP、RESTCONF等。1.ONOS控制器架構(gòu) ONOS采用了分層架構(gòu)的設(shè)計(jì)理念，其分層架構(gòu)如圖6-2所示。6.4.1ONOS控制器的概述圖6-2ONOS的分層架構(gòu)ONOS的分層架構(gòu)分為7層，從上到下分別為應(yīng)用程序（Apps）、北向APINB(Consumer)API）、Core(Device,Host,Link,Topology,Path,Flow,Intent,Network,...)（內(nèi)核層）、SB（Providers）API（南向API）、Providers(Device,Host,Link,Flow)（適配器）、Protocols（協(xié)議）、NetworkElements（網(wǎng)元）。其中，內(nèi)核層使用的是分布式的架構(gòu)，主要負(fù)責(zé)實(shí)現(xiàn)控制器的基本功能。在內(nèi)核層中，ONOS使用了Floodlight的模塊來(lái)實(shí)現(xiàn)控制器的基本功能，如交換機(jī)的管理、鏈路管理、流表管理等。在ONOS中，用于實(shí)現(xiàn)控制器基本功能的模塊被稱為服務(wù)或子系統(tǒng)。ONOS定義了幾種主要服務(wù)或子系統(tǒng)，如下所示。①設(shè)備子系統(tǒng)：用于管理基礎(chǔ)架構(gòu)設(shè)備。②鏈接子系統(tǒng)：用于管理基礎(chǔ)架構(gòu)鏈接。③主機(jī)子系統(tǒng)：用于管理終端主機(jī)及終端主機(jī)所在網(wǎng)絡(luò)上的位置。④拓?fù)渥酉到y(tǒng)：用于管理按時(shí)間順序排列的網(wǎng)絡(luò)視圖快照。6.4.1ONOS控制器的概述6.4.1ONOS控制器的概述⑤路徑服務(wù)：用于通過(guò)最新的拓?fù)鋱D快照計(jì)算來(lái)查找基礎(chǔ)設(shè)備之間或終端主機(jī)之間的路徑。⑥流規(guī)則子系統(tǒng)：用于管理基礎(chǔ)設(shè)備的流規(guī)則并提供流表計(jì)量。⑦數(shù)據(jù)包子系統(tǒng)：允許偵聽(tīng)從網(wǎng)絡(luò)設(shè)備上接收到的數(shù)據(jù)包，并將數(shù)據(jù)包通過(guò)網(wǎng)絡(luò)設(shè)備進(jìn)行輸出。2.ONOS常用命令ONOS的常用命令如表6-2所示。6.4.1ONOS控制器的概述命令作用appactivateModuleName為ONOS激活ModuleName模塊apps列出ONOS中應(yīng)用程序的信息devices列出所有基礎(chǔ)架構(gòu)的設(shè)備flows列出所有當(dāng)前已知的流信息get-stats列出統(tǒng)計(jì)信息hosts列出當(dāng)前已知的主機(jī)信息links列出所有連接的信息metrics列出系統(tǒng)中已有的計(jì)量信息nodes列出所有控制器集群節(jié)點(diǎn)ports列出所有設(shè)備上的端口信息topology列出ONOS拓?fù)涞恼畔ogout注銷身份，退出已登錄的命令行并且退出ONOSsystem:shutdown關(guān)閉并退出ONOS表6-2ONOS常用的命令3.ONOS的Web-UI模塊ONOS啟動(dòng)之后，默認(rèn)情況下將自動(dòng)啟動(dòng)Web-UI模塊，監(jiān)聽(tīng)端口為8181，默認(rèn)情況下ONOS的圖形界面地址為“http://<controller-ip>:8181/onos/ui/index.html”，頁(yè)面默認(rèn)登錄用戶為onos，默認(rèn)密碼為rocks，ONOS登錄界面如圖6-3所示。6.4.1ONOS控制器的概述圖6-3ONOS認(rèn)證頁(yè)面ONOS首頁(yè)如圖6-4所示，ONOS首頁(yè)頂部是一個(gè)黑條，如紅色箭頭所示，主要用于顯示導(dǎo)航菜單按鈕、ONOS圖標(biāo)、使用幫助以及用戶名。除了黑條以外，屏幕上默認(rèn)情況下顯示的是拓?fù)湟晥D，如紫色箭頭所示，其中包括ONOS群集節(jié)點(diǎn)面板、ONOS摘要面板、拓?fù)涔ぞ邫凇?.4.1ONOS控制器的概述圖6-4ONOS首頁(yè)4.ONOS的App應(yīng)用程序ONOS在啟動(dòng)后，默認(rèn)只激活維持基本圖形界面和命令行界面運(yùn)行的相關(guān)模塊。如果需要管理交換機(jī)等功能，那么需要用戶通過(guò)圖形界面或命令行界面激活對(duì)應(yīng)的App應(yīng)用程序。激活A(yù)pp應(yīng)用程序所涉及到的3條關(guān)鍵命令如表6-3所示。備注：默認(rèn)情況下，ONOS通過(guò)監(jiān)聽(tīng)6633端口提供控制器服務(wù)；通過(guò)監(jiān)聽(tīng)8181端口提供Web-UI圖形界面服務(wù)。6.4.1ONOS控制器的概述命令作用appactivateorg.onosproject.openflow激活openflow功能appactivateorg.onosproject.fwd激活2層轉(zhuǎn)發(fā)功能appactivateorg.onosproject.mobility激活主機(jī)監(jiān)測(cè)功能表6-3激活A(yù)pp應(yīng)用程序的關(guān)鍵命令在網(wǎng)絡(luò)中，如果僅使用一臺(tái)控制器對(duì)網(wǎng)絡(luò)進(jìn)行集中管理，那么當(dāng)控制器出現(xiàn)故障時(shí)，將會(huì)導(dǎo)致整個(gè)網(wǎng)絡(luò)不可用。通過(guò)創(chuàng)建控制器集群可以解決這一問(wèn)題。ONOS在1.14版本之后開(kāi)始支持構(gòu)建ONOS控制器集群。在ONOS的定義中，默認(rèn)情況下允許單臺(tái)OpenFlow交換機(jī)連接多臺(tái)控制器，但同一時(shí)間僅能有一臺(tái)主控制器，其他連接上的控制器則均為從控制器。一旦主控制器出現(xiàn)故障或失去連接，從控制器就能接管主控制器的功能。經(jīng)過(guò)重新的鏈路發(fā)現(xiàn)操作后，網(wǎng)絡(luò)拓?fù)涫諗浚W(wǎng)絡(luò)控制層服務(wù)保持正常。在多個(gè)服務(wù)器上啟動(dòng)了ONOS之后，通過(guò)執(zhí)行onos-form-cluster命令即可構(gòu)建集群。兩臺(tái)服務(wù)器構(gòu)建ONOS集群的示例命令如下所示。6.4.2ONOS集群root@hostname:~#/opt/onos/bin/onos-form-clusterSERVER1-IPSERVER2-IP在執(zhí)行了構(gòu)建集群的命令后，默認(rèn)情況下，ONOS服務(wù)會(huì)自動(dòng)重啟一次，用于重新加載集群相關(guān)的命令和模塊。在ONOS服務(wù)重啟完畢時(shí)，就可使用ONOS集群的常用命令來(lái)維護(hù)集群，相關(guān)的常用命令如表6-4所示。6.4.2ONOS集群命令作用masters列出當(dāng)前連接的所有交換機(jī)設(shè)備balance-masters重新平衡ONOS集群的負(fù)載表6-4ONOS集群的常用命令項(xiàng)目實(shí)踐任務(wù)描述基于源代碼安裝ONOS控制器，配置Mininet連接ONOS控制器。具體可以通過(guò)以下步驟完成。（1）上傳對(duì)應(yīng)軟件包到控制器節(jié)點(diǎn)。（2）安裝ONOS控制器。（3）Mininet創(chuàng)建拓?fù)洳⑦B接ONOS控制器任務(wù)1ONOS控制器的安裝與使用任務(wù)拓?fù)淙鐖D6-5所示。任務(wù)1ONOS控制器的安裝與使用圖6-5任務(wù)拓?fù)淙蝿?wù)實(shí)施（1）登錄控制器，執(zhí)行【ping】命令測(cè)試與外網(wǎng)的連通情況。（2）將提前準(zhǔn)備好的ONOS軟件包使用【lrzsz】命令導(dǎo)入到控制器節(jié)點(diǎn)內(nèi)，并查看上傳結(jié)果。（3）獲取到的源代碼包格式是壓縮文件格式，因此需要將源代碼包通過(guò)tar命令解壓，現(xiàn)將壓縮包解壓到“/opt”目錄下。（4）將解壓后的目錄名稱從onos-1.12.1修改為onos。任務(wù)1ONOS控制器的安裝與使用root@controller:~#ls/usr/local/|greponosonos-1.12.1.tar.gzroot@controller:/usr/local#tar-zxfonos-1.12.1.tar.gz-C/optroot@controller:~#mv/opt/onos-1.12.1//opt/onos（5）將ONOS自帶的服務(wù)文件進(jìn)行復(fù)制，以便將ONOS作為服務(wù)運(yùn)行。（6）啟動(dòng)ONOS控制器(ONOS依賴于Java平臺(tái)，在本任務(wù)中默認(rèn)已經(jīng)部署了Java8的平臺(tái))。任務(wù)1ONOS控制器的安裝與使用root@controller:~#cp/opt/onos/init/onos.initd/etc/init.d/onos

root@controller:~#cp/opt/onos/init/onos.conf/etc/init/onos.confroot@controller:~#/opt/onos/bin/onos-servicestart啟動(dòng)ONOS控制器結(jié)果如圖6-6所示。任務(wù)1ONOS控制器的安裝與使用圖6-6啟動(dòng)ONOS控制器可以看出，ONOS控制器已經(jīng)運(yùn)行，運(yùn)行時(shí)將占用一個(gè)會(huì)話窗口。 （7）ONOS控制器類似于OpenDayLight控制器，正常提供服務(wù)需要在命令行控制臺(tái)中使用命令安裝必要組件，相關(guān)組件的安裝命令如下所示。安裝必要組件結(jié)果如圖6-7所示。任務(wù)1ONOS控制器的安裝與使用onos>appactivateorg.onosproject.openflow #安裝OpenFlow的支持onos>appactivateorg.onosproject.fwd #安裝2層交換的支持onos>appactivateorg.onosproject.mobility #安裝主機(jī)組件的支持圖6-7安裝必要組件（8）登錄mininet主機(jī)，打開(kāi)終端命令行，切換為root用戶身份，根據(jù)任務(wù)需求執(zhí)行命令創(chuàng)建一個(gè)樹(shù)型拓?fù)?，命令如下。任?wù)驗(yàn)證（1）登錄控制器主機(jī)，打開(kāi)新一個(gè)終端命令行窗口，切換為root用戶身份，查看ONOS控制器監(jiān)聽(tīng)端口的狀態(tài)。任務(wù)1ONOS控制器的安裝與使用root@mininet:~#mn--topo=linear,2,1--switch=ovs,protocols=OpenFlow10--controller=remote,ip=0,port=6633classroom@controller:~$su-root@controller:~#ss-tlnp|grep6633root@controller:~#ss-tlnp|grep8181操作結(jié)果如圖6-54所示?？梢钥闯?，端口都已經(jīng)正常啟用了。其中，8181是ONOS的WEBUI監(jiān)聽(tīng)端口，6633是ONOS的控制服務(wù)監(jiān)聽(tīng)端口。（2）在交互式命令行中執(zhí)行命令查看交換機(jī)詳細(xì)信息。任務(wù)1ONOS控制器的安裝與使用圖6-54查看端口mininet>shovs-vsctlshow查看交換機(jī)詳細(xì)信息結(jié)果如圖6-9所示。可以看出，拓?fù)渲兴薪粨Q機(jī)都連接上了控制器0，交換機(jī)的工作模式是secure。任務(wù)1ONOS控制器的安裝與使用圖6-9查看交換機(jī)詳細(xì)信息（3）在交互式命令行中執(zhí)行命令查看流表信息?？梢钥闯?，ONOS控制器會(huì)自動(dòng)進(jìn)行LLDP鏈路發(fā)現(xiàn)，并且，ONOS控制器下發(fā)了默認(rèn)流表來(lái)保證鏈路通信正常。任務(wù)1ONOS控制器的安裝與使用mininet>shovs-ofctldump-flowss1mininet>shovs-ofctldump-flowss2mininet>shovs-ofctldump-flowss3查看流表信息結(jié)果如圖6-10所示,（以s1為例）

（4）在交互式命令行中執(zhí)行pingall命令測(cè)試拓?fù)渲兄鳈C(jī)間的連通情況。pingall命令執(zhí)行結(jié)果如圖6-11所示?？梢钥闯觯?fù)渲械闹鳈C(jī)通信是正常的。任務(wù)1ONOS控制器的安裝與使用圖6-11pingall命令執(zhí)行結(jié)果mininet>pingall（5）在pingall測(cè)試后再次執(zhí)行查看流表的命令（以s1為例）。查看流表結(jié)果如圖6-12所示?？梢钥闯?，在pingall測(cè)試后，新增了8條流表項(xiàng)，這是由于ONOS會(huì)自動(dòng)為拓?fù)渲械慕粨Q機(jī)針對(duì)主機(jī)間的ARP通信下發(fā)精準(zhǔn)流表項(xiàng)。任務(wù)1ONOS控制器的安裝與使用圖6-12查看流表（6）在控制器主機(jī)上，使用火狐瀏覽器訪問(wèn):8181/onos/ui/頁(yè)面（默認(rèn)用戶名為onos，密碼為rocks）查看當(dāng)前拓?fù)浣Y(jié)構(gòu)。如圖6-13和6-14所示。任務(wù)1ONOS控制器的安裝與使用圖6-13ONOS登錄頁(yè)面任務(wù)1ONOS控制器的安裝與使用圖6-14當(dāng)前拓?fù)浣Y(jié)構(gòu)圖任務(wù)描述部署兩臺(tái)ONOS控制器節(jié)點(diǎn)，并在控制器內(nèi)部署集群。具體可以通過(guò)以下步驟完成。（1）完成ONOS控制器初始化操作。（2）部署ONOS控制器集群。（3）通過(guò)Mininet連接ONOS控制器。任務(wù)2ONOS控制器的集群構(gòu)建任務(wù)實(shí)施（1）參考任務(wù)1，完成controller和controller2節(jié)點(diǎn)上ONOS控制器的安裝與啟動(dòng)（步驟1-7）。（2）登錄mininet主機(jī)，打開(kāi)終端命令行，切換為root用戶身份，并執(zhí)行mn命令按照任務(wù)要求創(chuàng)建拓?fù)浣Y(jié)構(gòu)（3）返回controller節(jié)點(diǎn)，打開(kāi)新終端命令行，切換為root用戶身份后，執(zhí)行命令利用兩臺(tái)ONOS構(gòu)建控制器集群。任務(wù)2ONOS控制器的集群構(gòu)建classroom@mininet:~$su–root@mininet:~#mn--topo=linear,4,1--switch=ovs,protocols=OpenFlow10--controller=remote,ip=0,port=6633classroom@controller:~$su-root@controller:~#/opt/onos/bin/onos-form-cluster01執(zhí)行命令利用兩臺(tái)ONOS構(gòu)建控制器集群結(jié)果如圖6-15所示。（4）通過(guò)ONOS命令行控制臺(tái)執(zhí)行命令查看集群控制器連接情況。masters命令執(zhí)行結(jié)果如圖6-16所示。任務(wù)2ONOS控制器的集群構(gòu)建圖6-15執(zhí)行命令利用兩臺(tái)ONOS構(gòu)建控制器集群onos>masters圖6-16

執(zhí)行masters命令查看集群控制器連接情況（5）在Mininet命令行中配置各交換機(jī)節(jié)點(diǎn)連接controller2主機(jī)。（6）通過(guò)ONOS命令行控制臺(tái)執(zhí)行命令實(shí)現(xiàn)集群控制器之間的負(fù)載均衡。在默認(rèn)情況下運(yùn)行負(fù)載均衡的命令是沒(méi)有反饋信息的。任務(wù)2ONOS控制器的集群構(gòu)建mininet>shovs-vsctlset-controllers1tcp:0:6633tcp:1:6633mininet>shovs-vsctlset-controllers2tcp:0:6633tcp:1:6633mininet>shovs-vsctlset-controllers3tcp:0:6633tcp:1:6633mininet>shovs-vsctlset-controllers4tcp:0:6633tcp:1:6633onos>balance-masters

（9）登錄ONOS控制器WEBUI界面，查看拓?fù)浣Y(jié)構(gòu)。如圖6-71所示?？梢钥闯觯瑘?zhí)行了負(fù)載均衡命令后，原全部連接到0控制器的交換機(jī)都被均勻分配給兩臺(tái)控制器進(jìn)行管理。將鼠標(biāo)指針移動(dòng)到OVS上，停留1s，將會(huì)顯示該OVS所連接的控制器。任務(wù)2ONOS控制器的集群構(gòu)建圖6-17

查看拓?fù)浣Y(jié)構(gòu)任務(wù)驗(yàn)證（1）通過(guò)ss命令查看onos監(jiān)聽(tīng)端口的狀態(tài)。①在controller上查看。在controller上查看onos監(jiān)聽(tīng)端口結(jié)果如圖6-18所示?？梢钥闯?，controller2上的onos已經(jīng)成功運(yùn)行。 任務(wù)2ONOS控制器的集群構(gòu)建root@controller:~#ss-tlnp|grep6633root@controller:~#ss-tlnp|grep8181圖6-18

在controller上查看onos監(jiān)聽(tīng)端口（2）在控制集群形成后通過(guò)Mininet交互式命令行查看交換機(jī)信息（可以看出集群形成后，各交換機(jī)均能正常同時(shí)連接0與1的控制器）。以S3為例查看交換機(jī)信息結(jié)果如圖6-20所示。任務(wù)2ONOS控制器的集群構(gòu)建圖6-20

查看交換機(jī)信息（3）測(cè)試集群形成后拓?fù)鋬?nèi)主機(jī)連通情況。pingall命令執(zhí)行結(jié)果如圖6-21所示?？梢钥闯?，集群形成后對(duì)拓?fù)鋬?nèi)主機(jī)連通情況無(wú)影響。任務(wù)2ONOS控制器的集群構(gòu)建mininet>pingall圖6-21

pingall命令執(zhí)行結(jié)果（4）通過(guò)ONOS命令行控制臺(tái)查看負(fù)載情況。masters命令執(zhí)行結(jié)果如圖6-22所示。

可以看出，集群內(nèi)每個(gè)控制器平均連接了2個(gè)交換機(jī)，已經(jīng)達(dá)到了負(fù)載均衡的效果。任務(wù)2ONOS控制器的集群構(gòu)建onos>masters圖6-22

masters命令執(zhí)行結(jié)果（5）通過(guò)ONOS命令行控制臺(tái)查看節(jié)點(diǎn)情況。nodes命令執(zhí)行結(jié)果如圖6-23所示?？梢钥闯?，當(dāng)前存在2臺(tái)控制器，控制器的IP地址為0和1，使用的端口為9876，控制器的版本為1.12.1。（6）通過(guò)ONOS命令行控制臺(tái)查看主備情況。任務(wù)2ONOS控制器的集群構(gòu)建onos>nodes圖6-23

nodes命令執(zhí)行結(jié)果onos>rolesroles命令執(zhí)行結(jié)果如圖6-24所示。可以看出，controller節(jié)點(diǎn)作為s1和s2的主控制器，而controller2節(jié)點(diǎn)作為s3和s4的主控制器，并且兩臺(tái)控制器互為備份。（7）在Mininet節(jié)點(diǎn)，執(zhí)行ping命令，令h1節(jié)點(diǎn)與h4節(jié)點(diǎn)互通。任務(wù)2