《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計算與協(xié)調(diào)_第1頁
《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計算與協(xié)調(diào)_第2頁
《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計算與協(xié)調(diào)_第3頁
《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計算與協(xié)調(diào)_第4頁
《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計算與協(xié)調(diào)_第5頁
已閱讀5頁，還剩11頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認(rèn)領(lǐng)

文檔簡介

大數(shù)據(jù)導(dǎo)論1.Spark基本介紹目錄01什么是Spark02Spark的特點03Spark的重要角色Spark是一種基于內(nèi)存的快速、通用、課擴展的大數(shù)據(jù)分析引擎。定義：什么是Spark？什么是Spark？通用兼容性快易用Spark特色把用戶程序轉(zhuǎn)為作業(yè)(JOB)跟蹤Executor的運行狀況為執(zhí)行器節(jié)點調(diào)度任務(wù)UI展示應(yīng)用運行狀況。Driver(驅(qū)動器)負(fù)責(zé)運行組成Spark應(yīng)用的任務(wù),并將結(jié)果返回給驅(qū)動器進程通過自身的塊管理器(BlockManager)為用戶程序中要求緩存的RDD提供內(nèi)存式存儲。Executor(執(zhí)行器)Spark的重要角色下面我們進入Spark部署步驟詳解平臺搭建操作大數(shù)據(jù)導(dǎo)論2.ZooKeeper基本介紹目錄01Zookeeper是什么02Zookeeper能提供什么03zookeeper能為我們做什么04zookeeper角色簡介05zookeeper的特性是一個分布式協(xié)調(diào)服務(wù),就是為用戶的分布式應(yīng)用提供協(xié)調(diào)服務(wù)，是為其他的分布式程序服務(wù)本身也是一個分布式程序(只要有半數(shù)以上節(jié)點存活,zk就能正常對外提供服務(wù))一般奇數(shù)臺Zookeeper是什么Zookeeper提供什么文件系統(tǒng)通知機制Zookeeper能提供什么？命名服務(wù)配置管理分布式與數(shù)據(jù)復(fù)制列隊管理分布式鎖集群管理Zookeeper能為我們做什么？負(fù)責(zé)進行投票的發(fā)起和決議,更新系統(tǒng)狀態(tài)。領(lǐng)導(dǎo)者①跟隨者：Follower用于接收客戶請求并向客戶端返回結(jié)果，在選中過程中參與投票。②觀察者：Observer可以接收客戶端連接，將寫請求轉(zhuǎn)發(fā)給leader節(jié)點。但不參加投票過程,只同步leader狀態(tài)。學(xué)習(xí)者Zookeeper角色簡介一致性可靠性實時性等待無關(guān)原子性順序性分布式讀寫Zookee

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論