傅一航老師Hadoop大數(shù)據(jù)解決方案開發(fā)技術(shù)培訓(xùn)

1、Hadoop大數(shù)據(jù)解決方案開發(fā)技術(shù)培訓(xùn)【課程目標(biāo)】Hadoop作為開源的云計(jì)算平臺，為大數(shù)據(jù)處理提供了一整套解決方案，應(yīng) 用非常廣泛。Hadoop作為一個(gè)平臺框架，包括了如何存儲海量數(shù)據(jù)，如何處理 海量數(shù)據(jù)，以及相應(yīng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)流處理、數(shù)據(jù)分析和挖掘算法庫， 等等。本課程主要介紹Hadoop的思想、原理，以及重要技術(shù)等相關(guān)知識。通過本課程的學(xué)習(xí)，達(dá)到如下目的：1、全面了解大數(shù)據(jù)處理技術(shù)的相關(guān)知識。2、學(xué)習(xí)Hadoop的核心技術(shù)以及應(yīng)用。3、深入掌握Hadoop的相關(guān)工具在大數(shù)據(jù)中的使用。4、掌握Hadoop的常用模塊的工作原理及開發(fā)應(yīng)用技術(shù)。5、掌握傳統(tǒng)數(shù)據(jù)中心向大數(shù)據(jù)中心轉(zhuǎn)換的關(guān)

2、鍵技術(shù)。6、掌握海量數(shù)據(jù)處理的性能優(yōu)化及維護(hù)技巧?！臼谡n講師】傅一航傅一航，男，計(jì)算機(jī)軟件與理論碩士 研究生。在華為工作十年，數(shù)篇國家專利。 并曾在英國、日本等國做項(xiàng)目，對歐洲、 日本的電信市場有比較深的了解。傅老師近十年以來一直從事通信行業(yè) 的研究與分析，熟悉大數(shù)據(jù)系統(tǒng)部署與應(yīng) 用、SP增值行業(yè)應(yīng)用、終端應(yīng)用與服務(wù)、 4G無線解決方案。對通信行業(yè)的市場態(tài)勢、 方面有深入的接觸和研究，特別是針對大數(shù)據(jù)、4G及LTE標(biāo)準(zhǔn)發(fā)展，無線網(wǎng)絡(luò)演 進(jìn)，網(wǎng)絡(luò)融合，市場發(fā)展及業(yè)務(wù)應(yīng)用分析，在業(yè)務(wù)應(yīng)用領(lǐng)域投入了更多的精力， 積累了相當(dāng)?shù)闹R和見解。近幾年專注于Hadoop大數(shù)據(jù)解決方案架構(gòu)分析與部署，以及將大數(shù)

3、據(jù)的數(shù)據(jù) 分析、數(shù)據(jù)建模、數(shù)據(jù)挖掘應(yīng)用于行業(yè)及商業(yè)領(lǐng)域，解決行業(yè)實(shí)際的問題。將大 數(shù)據(jù)應(yīng)用于運(yùn)營決策，幫助企業(yè)提升運(yùn)營決策能力；應(yīng)用于市場營銷，通過大數(shù) 據(jù)營銷，解決營銷中的用戶群細(xì)分，產(chǎn)品定位，精準(zhǔn)營銷，精準(zhǔn)促銷等實(shí)際問題， 提升營銷效果，節(jié)省營銷費(fèi)用，以及市場預(yù)測、用戶行為預(yù)測等。2009與英國電信BT、荷蘭Zesk。運(yùn)營商交流，探討3G業(yè)務(wù)的開展與市場分析， 2010年與菲律賓、印尼電信運(yùn)營商會議，探討3G業(yè)務(wù)應(yīng)用發(fā)展?fàn)顩r分析，2012 年與日本軟銀SBM，實(shí)施4G網(wǎng)絡(luò)解決方案及4G業(yè)務(wù)應(yīng)用分析；2013年與中國移動 提供網(wǎng)絡(luò)融合、網(wǎng)絡(luò)互操作、VoLTE等MBB解決方案。獲得國家專利：C

4、N1925642:對集群用戶進(jìn)行處理的方法和集群用戶處理系統(tǒng)CN101114999A:數(shù)據(jù)發(fā)送控制方法及數(shù)據(jù)傳輸設(shè)備CN101119183A :重傳控制方法及傳輸設(shè)備CN101483847A:實(shí)現(xiàn)策略控制的方法、裝置及系統(tǒng)CN101605359B: 一種切換過程中轉(zhuǎn)發(fā)數(shù)據(jù)的方法、無線實(shí)體和基站【授課時(shí)間】25天時(shí)間（全部模塊講完需要5天時(shí)間，可以根據(jù)時(shí)間需求拆分內(nèi)容模塊）。【授課對象】網(wǎng)絡(luò)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)中心、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員?！臼谡n方式】原理精講+案例演練+開發(fā)實(shí)踐+系統(tǒng)優(yōu)化【課程大綱】第一部分：Hadoop的基本框架1、大數(shù)據(jù)時(shí)代面臨的問題2、當(dāng)前解決大數(shù)據(jù)的技術(shù)方案3

5、、Hadoop架構(gòu)和云計(jì)算4、Hadoop簡史及安裝部署5、Hadoop設(shè)計(jì)理念和生態(tài)系統(tǒng)第二部分：HDFS分布式文件系統(tǒng)：海量數(shù)據(jù)存儲的搖籃1、HDFS的設(shè)計(jì)目標(biāo)2、HDFS的基本架構(gòu) NameNode名稱節(jié)點(diǎn) SecondaryNameNode 第二名稱節(jié)點(diǎn) DataNode數(shù)據(jù)節(jié)點(diǎn)3、HDFS的存儲模型數(shù)據(jù)塊存儲元數(shù)據(jù)存儲（空間鏡像與編輯日志）多副本存儲4、多副本放置策略5、多數(shù)據(jù)節(jié)點(diǎn)管理機(jī)制與交互過程6、文件系統(tǒng)操作與管理讀文件過程寫文件過程（數(shù)據(jù)流管道）7、數(shù)據(jù)完整性機(jī)制數(shù)據(jù)校驗(yàn)和數(shù)據(jù)完整性掃描線程元數(shù)據(jù)備份與合并8、數(shù)據(jù)可靠性設(shè)計(jì)安全模式（數(shù)據(jù)塊與節(jié)點(diǎn)映射關(guān)系管理）心跳檢測機(jī)制（節(jié)

6、點(diǎn)失效管理）租約機(jī)制（多線程并發(fā)控制）9、其它HDFS的安全機(jī)制負(fù)載均衡文件壓縮10、操作接口與編程接口HDFS ShellHDFS CommandsWebHDFS REST APIHDFS Java API演練：HDFS文件操作命令演練：HDFS編程示例第三部分：MapReduce分布式計(jì)算系統(tǒng)：海量數(shù)據(jù)處理的利器1、MapReduce的三層設(shè)計(jì)理念分布治之的設(shè)計(jì)思想（Map與Reduce）數(shù)據(jù)處理引擎（編程模型）運(yùn)行時(shí)環(huán)境（任務(wù)調(diào)度與執(zhí)行）2、MapReduce的基本架構(gòu)JobTracker作業(yè)跟蹤器TaskTracker任務(wù)跟蹤器MapReduce與HDFS的部署關(guān)系3、MapReduc

7、e編程模型概述編程接口介紹Hadoop工作流實(shí)現(xiàn)原理4、MapReduce作業(yè)調(diào)度機(jī)制MapReduce作業(yè)生命周期作業(yè)調(diào)度策略靜態(tài)資源管理方案5、數(shù)據(jù)并行處理機(jī)制（五步驟）Input階段實(shí)現(xiàn)Map階段實(shí)現(xiàn)Shuffle階段實(shí)現(xiàn)Reduce階段實(shí)現(xiàn)Output 階段6、MapReduce容錯機(jī)制任務(wù)失敗與重新嘗試節(jié)點(diǎn)失效與重調(diào)度單點(diǎn)故障7、MapReduce性能優(yōu)化優(yōu)化方向與思路磁盤IO性能優(yōu)化分片優(yōu)化線程數(shù)量優(yōu)化內(nèi)存優(yōu)化壓縮優(yōu)化8、MapReduce 操作接口Job ShellWeb UI案例演練：MapReduce編程示例9、YARN：下一代通用資源管理系統(tǒng)MRv1的局限性YARN基本框架

8、NN HA：解決單點(diǎn)故障HDFS Federation：解決擴(kuò)展性問題第四部分：HBase非關(guān)系型數(shù)據(jù)庫：海量數(shù)據(jù)的黎明1、HBase的使用場景2、HBase的基本架構(gòu)Zookeeper分布式協(xié)調(diào)服務(wù)器Master主控服務(wù)器Region Server區(qū)域服務(wù)器3、HBase的數(shù)據(jù)模型HBase的表結(jié)構(gòu)行鍵、列鍵、時(shí)間戳4、HBase的存儲模型基本單位Region存儲格式HFile5、數(shù)據(jù)分裂機(jī)制Split6、數(shù)據(jù)合并機(jī)制Compactionminor compactionmajor compaction7、HLog寫前日志8、數(shù)據(jù)庫讀寫操作數(shù)據(jù)庫寫入數(shù)據(jù)庫讀取三次尋址9、HBase操作接口Na

9、tive Java APIHBase Shell批量加載工具HiveQL 操作10、HBase性能優(yōu)化寫速度優(yōu)化讀速度優(yōu)化11、HBase集群監(jiān)控與管理案例演練：HBase命令操作實(shí)例第五部分：Hive分布式數(shù)據(jù)倉庫：高級的編程語言1、Hive是什么2、Hive與關(guān)系數(shù)據(jù)庫的區(qū)別3、Hive系統(tǒng)架構(gòu)用戶接口層元數(shù)據(jù)存儲層驅(qū)動層4、Hive常用服務(wù)5、Hive元數(shù)據(jù)的三種部署模式6、Hive的命名空間7、Hive數(shù)據(jù)類型與存儲格式數(shù)據(jù)類型 TextFile/SequenceFile/RCFile8、Hive的數(shù)據(jù)模型管理表外部表分區(qū)表桶表9、HQL語言命令實(shí)例 DDL數(shù)據(jù)定義語言 DML數(shù)據(jù)操作語言 QUERY數(shù)據(jù)查詢語言10、Hive自定義函數(shù)基本函數(shù)（UDF）聚合函數(shù)（UDAF）表生成函數(shù)（UDTF）11、Hive性能優(yōu)化動態(tài)分區(qū)壓縮索引 JVM重用案例演練：Hive命令操作實(shí)例第六部分：Sqoop數(shù)據(jù)交互工具：Hadoop與傳統(tǒng)數(shù)據(jù)庫的橋梁1、Sqoop是什么2、Sqoop的架構(gòu)和功能 Sqoopl 架構(gòu) Sqoop2 架構(gòu)3、數(shù)據(jù)雙向交換數(shù)據(jù)導(dǎo)入過程數(shù)據(jù)導(dǎo)出過程4、數(shù)據(jù)導(dǎo)入工具與命令介紹案例演練：Sqoop數(shù)據(jù)導(dǎo)入/導(dǎo)出實(shí)際操作第七部分：Pig數(shù)據(jù)流處理引擎：數(shù)據(jù)腳本語言1、Pig介紹2、命令行交互工具Grun