Hadoop大數(shù)據(jù)開發(fā)基礎與案例實戰(zhàn)（微課版）-教案 項目六 ZKeeper

ZooKeeper教學單元名稱ZooKeeper簡介教學目標能力目標獨立查閱相關資料的能力知識目標掌握Zookeeper的工作機制和特點了解ZooKeeper的應用場景素質目標接受新知識、自主學習、查閱資料的能力教學重點1、Zookeeper的工作機制和特點2、ZooKeeper的應用場景教學難點Zookeeper的工作機制教學方法提問法、討論法、講授法教學時數(shù)2學時教學過程設計教學環(huán)節(jié)教學內(nèi)容教師活動學生活動新課引入學生對Hadoop分布式集群理解如何保證NameNode的節(jié)點高可用？講解聽講記錄任務描述提出本次學習的任務——了解ZooKeeper講解聽講記錄課程要點講解1、Zookeeper的工作機制和特點關鍵字：Leader、Follower、Observer講解搜集資料、交流2、ZooKeeper的應用場景分布式應用配置管理、統(tǒng)一命名服務、分布式通知/協(xié)調、集群管理講解對不同子項目進行綜合講解詳細講解1．ZooKeeper工作機制Zookeeper集群中角色分配表如表所示：角色描述領導者（Leader）Leader負責進行投票的發(fā)起和決議，更新系統(tǒng)狀態(tài)學習者（Learner）跟隨者Follower用于接受客戶請求并向客戶端返回結果，在選主過程中參與投票觀察者ObServer可以接收客戶端連接，將寫請求轉發(fā)給Leader節(jié)點，但是ObServer不參加投票過程，只同步Leader的狀態(tài)，ObServer的目的是為了擴展系統(tǒng)，提高讀取速度。客戶端（Client）請求發(fā)起方講解分組討論ZooKeeper應用場景1.分布式應用配置管理假如程序是分布式部署在多臺計算機上，要改變程序的配置文件，需要逐臺計算機去修改，非常麻煩，現(xiàn)在把這些配置全部放到ZooKeeper上去，保存在ZooKeeper的某個目錄節(jié)點中，然后所有相關應用程序對這個目錄節(jié)點進行監(jiān)聽，一旦配置信息發(fā)生變化，每個應用程序就會收到ZooKeeper的通知，然后從ZooKeeper獲取新的配置信息應用到系統(tǒng)中。2.統(tǒng)一命名服務這個主要是作為分布式命名服務，通過調用ZooKeeper的API，能夠很容易創(chuàng)建一個全局唯一的path，這個path就可以作為一個名稱。3.分布式通知/協(xié)調ZooKeeper中特有watcher注冊與異步通知機制，能夠很好的實現(xiàn)分布式環(huán)境下不同系統(tǒng)之間的通知與協(xié)調，實現(xiàn)對數(shù)據(jù)變更的實時處理。通常是不同系統(tǒng)都對ZooKeeper上同一個znode進行監(jiān)聽，監(jiān)聽znode的變化，其中一個系統(tǒng)更新了znode，那么另一個系統(tǒng)能夠收到通知，并作出相應處理。4.集群管理HBaseMaster選舉則是ZooKeeper經(jīng)典的使用場景，以及Storm集群管理。講解聽講記錄、交流教學小結根據(jù)課堂教學情況，之處學生對本堂課中知識點難以理解的地方，結合教學重點和難點，對所學知識進一步強化。講解學生記錄布置作業(yè)1.簡述ZooKeeper應用的場景。2.描述ZooKeeper的工作原理，及其在高可用集群搭建過程中的作用。ZooKeeper教學單元名稱ZooKeeper安裝與配置教學目標能力目標具有獨立自主的開發(fā)能力和解決問題的能力知識目標掌握ZooKeeper的安裝掌握ZooKeeper的配置素質目標接受新知識、自主學習解決問題、創(chuàng)新的能力教學重點1、ZooKeeper的安裝2、ZooKeeper的配置教學難點ZooKeeper的安裝教學方法項目向導、任務驅動、分組討論教學時數(shù)8學時教學過程設計教學環(huán)節(jié)教學內(nèi)容教師活動學生活動新課引入ZooKeeper工作機制和特點講解聽講記錄任務描述提出本次學習的任務——ZooKeeper安裝與配置講解聽講記錄任務部署1完成ZooKeeper安裝與配置講解搜集資料、交流任務實施1①下載zookeeper-3.4.13.tar.gz安裝包。②使用Xshell軟件的傳輸功能，將下載完成的zookeeper-3.4.13.tar.gz安裝包傳到master節(jié)點上的/usr/local/src目錄下③將zookeeper-3.4.13.tar.gz解壓到/usr/local/src目錄下，執(zhí)行以下命令：tar-zxvf/usr/local/src/zookeeper-3.4.13.tar.gz-C/usr/local/src④為了配置ZooKeeper系統(tǒng)環(huán)境變量方便，此處可以修改ZooKeeper安裝目錄名，命令如下：mv/usr/local/src/zookeeper-3.4.13/usr/local/src/zookeeper⑤配置Zookeeper系統(tǒng)環(huán)境變量，修改文件/etc/profile，修改命令如下所示：vi/etc/profile⑥在/etc/profile文件的末尾添加如下內(nèi)容：exportZOOKEEPER_HOME=/usr/local/src/zookeeperexportPATH=$PATH:$ZOOKEEPER_HOME/bin⑦/etc/profile文件配置完成之后，需要使剛剛修改的內(nèi)容生效，執(zhí)行如下命令：source/etc/profile⑧拷貝/etc/profile文件到另外兩個節(jié)點，執(zhí)行如下命令：scp-r/etc/profileroot@slave1:/etc/profilescp-r/etc/profileroot@slave2:/etc/profile⑨在slave1和slave2節(jié)點上，刷新/etc/profile文件，使得剛剛修改的內(nèi)容生效，在slave1和slave2節(jié)點上執(zhí)行如下命令：source/etc/profile⑩生成zoo.cfg文件切換到zookeeper/conf目錄下面，該目錄下面有zoo_sqoop.cfg文件，拷貝配置文件，配置文件名為zoo.cfg，注意配置文件名一定為zoo.cfg，否則讀取不到配置文件，拷貝zoo.cfg配置文件的命令如下：cpzoo_sqoop.cfgzoo.cfg?修改zoo.cfg文件，zoo.cfg文件修改內(nèi)容如下：dataDir=/usr/local/src/zookeeper/datadataLogDir=/usr/local/src/zookeeper/logdataDir的值和dataLogDir的值修改為上述內(nèi)容，在zoo.cfg文件的的末尾添加如下內(nèi)容：server.1=master:2888:3888server.2=slave1:2888:3888server.3=slave2:2888:3888⑩在/usr/local/src/zookeeper目錄下創(chuàng)建data目錄和log目錄，data目錄用來存放ZooKeeper的數(shù)據(jù)文件，log目錄用來存放ZooKeeper的日志文件。data目錄和log目錄的創(chuàng)建位置與zoo.cfg配置文件的中dataDir和dataLogDir的值相同。命令如下所示：cd/usr/local/src/zookeepermkdirdatamkdirlog?將zookeeper拷貝到另外兩個節(jié)點scp-r/usr/local/src/zookeeperroot@slave1:/usr/local/src/zookeeperscp-r/usr/local/src/zookeeperroot@slave2:/usr/local/src/zookeeper?創(chuàng)建服務器myid在data目錄下創(chuàng)建一個myid的文件，里面的值可以給個任意的值，但要和上述服務器server.x對應，在本書中，master節(jié)點上myid的值為1，slave1節(jié)點上myid的值為2，slave2節(jié)點上myid的值為3。修改master上myid的命令如下所示：cd/usr/local/src/zookeeper/data/echo1>>myid在slave1節(jié)點上修改myid的命令如下所示：cd/usr/local/src/zookeeper/data/echo2>>myid在slave2節(jié)點上修改myid的命令如下所示：cdusr/local/src/zookeeper/data/echo3>>myid?啟動ZooKeeper集群配置文件配置完成之后，就可以啟動ZooKeeper集群，啟動ZooKeeper集群需要在每個節(jié)點上都使用啟動命令，ZooKeeper集群的服務只能每個節(jié)點單獨啟動，沒有命令能一次全部啟動，需在master、slave1和slave2上粉筆執(zhí)行啟動Zookeeper集群命令，命令如下所示：zkServer.shstart?驗證Zookeeper集群在master、slave1和slave2上分別執(zhí)行zkServer.shstatus命令，此時在master、slave1和slave2任意一個節(jié)點上出現(xiàn)一個leader，另外兩個是follower，即集群啟動成功，啟動成功如下所示：[root@masterzookeeper]#./bin/zkServer.shstatusZooKeeperJMXenabledbydefaultUsingconfig:/usr/local/src/zookeeper/bin/../conf/zoo.cfgMode:follower[root@slave1zookeeper]#./bin/zkServer.shstatusZooKeeperJMXenabledbydefaultUsingconfig:/usr/local/src/zookeeper/bin/../conf/zoo.cfgMode:leader[root@masterzookeeper]#./bin/zkServer.shs