第1章 云計(jì)算與大數(shù)據(jù)概述ppt課件

第1章云計(jì)算與大數(shù)據(jù)概述 云計(jì)算與大數(shù)據(jù)概論 目標(biāo) 掌握云計(jì)算的基本原理掌握云計(jì)算的特點(diǎn)與優(yōu)勢(shì)掌握大數(shù)據(jù)的特點(diǎn)掌握云計(jì)算的分類掌握云計(jì)算和大數(shù)據(jù)的聯(lián)系 云計(jì)算概述 云計(jì)算是由分布計(jì)算 并行處理 網(wǎng)格計(jì)算發(fā)展而來(lái) 是一種新興的商業(yè)計(jì)算模型 通俗的理解是 云計(jì)算的 云 就是存在于互聯(lián)網(wǎng)上的服務(wù)器集群上的資源 它包括硬件資源和軟件資源 本地計(jì)算機(jī)只要通過(guò)互聯(lián)網(wǎng)發(fā)送一個(gè)需求信息 遠(yuǎn)端就會(huì)有成千上萬(wàn)的計(jì)算機(jī)提供所需資源 并返回結(jié)果到本地計(jì)算機(jī) 云計(jì)算的特點(diǎn)和優(yōu)勢(shì) 超大規(guī)模 虛擬化 高可靠性 通用性 高可擴(kuò)展性 按需服務(wù) 及其廉價(jià) 是目前普遍被大眾接受的云計(jì)算的特點(diǎn) 云計(jì)算的主要優(yōu)勢(shì)在于由技術(shù)特征和規(guī)模效應(yīng)所帶來(lái)的較高性價(jià)比 簡(jiǎn)單來(lái)說(shuō)就是 通過(guò)廉價(jià)的普通機(jī)器即可建立集群 因而能提供高性價(jià)比的計(jì)算和存儲(chǔ)服務(wù) 大數(shù)據(jù)概述 按國(guó)內(nèi)普遍的理解 大數(shù)據(jù)可以認(rèn)為是具有數(shù)量巨大 來(lái)源多樣 生成極快 多變等特征且難以使用傳統(tǒng)數(shù)據(jù)體系有效處理的包含大量數(shù)據(jù)集的數(shù)據(jù) 大數(shù)據(jù)技術(shù)包括數(shù)據(jù)采集 預(yù)處理 存儲(chǔ) 分析挖掘與可視化等 大數(shù)據(jù)應(yīng)用則是對(duì)特定的大數(shù)據(jù)集和集成應(yīng)用大數(shù)據(jù)系列技術(shù)與方法 以獲得有價(jià)值信息的過(guò)程 大數(shù)據(jù)的特點(diǎn)與作用 大數(shù)據(jù)的特征主要包括 數(shù)據(jù)量大 種類和來(lái)源多樣化 數(shù)據(jù)價(jià)值密度相對(duì)較低 數(shù)據(jù)增長(zhǎng)速度和處理速度快 真實(shí)性 大數(shù)據(jù)的作用包括 帶來(lái)社會(huì)和經(jīng)濟(jì)管理新方法 促進(jìn)行業(yè)融合發(fā)展 推動(dòng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí) 改變科學(xué)研究的方法論 國(guó)外云計(jì)算發(fā)展現(xiàn)狀 國(guó)外云計(jì)算發(fā)展現(xiàn)狀 總體來(lái)看 當(dāng)前全球云計(jì)算市場(chǎng)的發(fā)展態(tài)勢(shì)如下 美國(guó)在云計(jì)算市場(chǎng)的領(lǐng)導(dǎo)地位進(jìn)一步鞏固 歐洲與日本是云計(jì)算市場(chǎng)的重要組成部分 以中國(guó) 印度 巴西等為代表的新興國(guó)家云計(jì)算市場(chǎng)高速增長(zhǎng) 金磚國(guó)家巴西 俄羅斯 南非云計(jì)算市場(chǎng)占有率總和僅3 左右 但增速較快 且市場(chǎng)潛力較大 預(yù)計(jì)未來(lái)幾年市場(chǎng)會(huì)進(jìn)一步擴(kuò)大 我國(guó)云計(jì)算發(fā)展現(xiàn)狀 2012到2015年 我國(guó)云計(jì)算市場(chǎng)從482億元上升至1315 8億元 保持了高速增長(zhǎng)態(tài)勢(shì) 年均復(fù)合增長(zhǎng)率高達(dá)61 5 我國(guó)云計(jì)算發(fā)展現(xiàn)狀 云計(jì)算產(chǎn)業(yè)在中國(guó)的起步稍晚 但發(fā)展迅猛 目前 中國(guó)IT業(yè)界涉足該行業(yè)的具體情況如下 一是部分地方政府投入資源搭建平臺(tái) 積極推進(jìn)云計(jì)算發(fā)展 二是本土IT企業(yè)和高校先后啟動(dòng)云計(jì)算項(xiàng)目 加速云計(jì)算研發(fā)和應(yīng)用端建設(shè) 國(guó)外大數(shù)據(jù)發(fā)展現(xiàn)狀 歐美等國(guó)家對(duì)大數(shù)據(jù)的探索和發(fā)展已走在世界前列 各國(guó)政府都已將大數(shù)據(jù)發(fā)展提升至戰(zhàn)略高度 大力推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展 美國(guó)政府提出 大數(shù)據(jù)研究和發(fā)展倡議 發(fā)起全球開(kāi)放政府?dāng)?shù)據(jù)運(yùn)動(dòng) 英國(guó)政府也將大數(shù)據(jù)作為重點(diǎn)發(fā)展的科技領(lǐng)域 在發(fā)展8類高新技術(shù)的6億英鎊投資中 大數(shù)據(jù)的注資占三成 我國(guó)大數(shù)據(jù)發(fā)展現(xiàn)狀 在國(guó)家層面 科技部 十二五 計(jì)劃部署了關(guān)于物聯(lián)網(wǎng) 云計(jì)算發(fā)展的專項(xiàng)戰(zhàn)略 2012年3月 科技部發(fā)布 十二五 國(guó)家科技計(jì)劃信息技術(shù)領(lǐng)域2013年度備選項(xiàng)目征集指南 其中 先進(jìn)計(jì)算 板塊明確提出 要發(fā)展 面向大數(shù)據(jù)的先進(jìn)存儲(chǔ)結(jié)構(gòu)及關(guān)鍵技術(shù) 國(guó)家 973計(jì)劃 863計(jì)劃 國(guó)家自然科學(xué)基金等也分別設(shè)立了針對(duì)大數(shù)據(jù)的研究計(jì)劃和專項(xiàng) 在學(xué)術(shù)研究層面 國(guó)內(nèi)許多高等院校和研究所成立了大數(shù)據(jù)的研究機(jī)構(gòu) 與大數(shù)據(jù)相關(guān)的學(xué)術(shù)活動(dòng)也紛紛開(kāi)展 在產(chǎn)業(yè)層面 國(guó)內(nèi)不少知名企業(yè)或組織也成立了大數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)和實(shí)驗(yàn)室 力爭(zhēng)在大數(shù)據(jù)產(chǎn)業(yè)競(jìng)爭(zhēng)中占據(jù)領(lǐng)先地位 私有云 公有云和混合云 公有云是由第三方 供應(yīng)商 提供的云服務(wù) 由云提供商完全承載和管理 可通過(guò)Internet使用 成本比較低廉 私有云是在企業(yè)內(nèi)提供的云服務(wù) 這些云在公司防火墻之內(nèi) 由企業(yè)管理 混合云是公有云和私有云的混合 這些云一般由企業(yè)創(chuàng)建 而管理職責(zé)由企業(yè)和公有云提供商共同承擔(dān) IaaS PaaS SaaS DaaS 按服務(wù)類型 可以將云計(jì)算分為基礎(chǔ)設(shè)施即服務(wù) 平臺(tái)即服務(wù) 軟件即服務(wù) 數(shù)據(jù)即服務(wù)四種類型 1 IaaS Infrastructure as a Service 基礎(chǔ)設(shè)施即服務(wù)IaaS即是把廠商的由多臺(tái)服務(wù)器組成的 云端 基礎(chǔ)設(shè)施作為計(jì)量服務(wù)提供給用戶的模式 IaaS的優(yōu)點(diǎn)是用戶只需采購(gòu)較低成本的硬件 就能按需租用較高的計(jì)算能力和存儲(chǔ)能力 大大降低了用戶的硬件開(kāi)銷 2 PaaS Platform as a Service 平臺(tái)即服務(wù)PaaS是指將軟件研發(fā)的平臺(tái)作為服務(wù)提供的模式 是將應(yīng)用程序的基礎(chǔ)結(jié)構(gòu)視為服務(wù) 主要目的是支持應(yīng)用程序運(yùn)行 3 SaaS Software as a Service 軟件即服務(wù)使用SaaS模式的服務(wù)提供商將應(yīng)用軟件統(tǒng)一部署在自己的服務(wù)器上 用戶根據(jù)需求 通過(guò)互聯(lián)網(wǎng)向廠商訂購(gòu)應(yīng)用軟件服務(wù) 服務(wù)提供商通過(guò)瀏覽器向客戶提供軟件 并根據(jù)用戶所定軟件的數(shù)量以及時(shí)間的長(zhǎng)短等因素收費(fèi) 4 DaaS Data as a Service 數(shù)據(jù)即服務(wù)DaaS就是把大數(shù)據(jù)中潛在的價(jià)值發(fā)掘出來(lái) 并根據(jù)用戶需求提供服務(wù)的模式 DaaS可以提供公共數(shù)據(jù)的訪問(wèn)服務(wù) 讓用戶可以隨時(shí)訪問(wèn)任意內(nèi)容的數(shù)據(jù) 還可以提供數(shù)據(jù)中潛在的價(jià)值信息 根據(jù)數(shù)據(jù)的價(jià)值 對(duì)用戶的行為進(jìn)行分析 云計(jì)算與大數(shù)據(jù)的聯(lián)系 從技術(shù)上看 大數(shù)據(jù)根植于云計(jì)算 云計(jì)算關(guān)鍵技術(shù)中的海量數(shù)據(jù)存儲(chǔ)和管理技術(shù)以及MapReduce并行編程模型都是大數(shù)據(jù)技術(shù)的基礎(chǔ) 除此之外 云計(jì)算技術(shù)還包含了虛擬化技術(shù)和云平臺(tái)管理等技術(shù) 從整體上看 大數(shù)據(jù)與云計(jì)算是相輔相成的 大數(shù)據(jù)利用云計(jì)算的強(qiáng)大計(jì)算能力 可以更加迅速地處理海量數(shù)據(jù)的豐富信息 為用戶提供更加方便的服務(wù) 而通過(guò)大數(shù)據(jù)的業(yè)務(wù)需求 也能為云計(jì)算的落地找到更多更好的實(shí)際應(yīng)用 小結(jié) 云計(jì)算是一種全新的技術(shù)和商業(yè)模式 它可以通過(guò)建立網(wǎng)絡(luò)服務(wù)器集群 向各種不同類型的用戶提供軟件在線使用 硬件租借 數(shù)據(jù)存儲(chǔ) 計(jì)算分析等不同類型的服務(wù) 為云服務(wù)的用戶降低IT成本 以所有權(quán)為劃分標(biāo)準(zhǔn) 可將云計(jì)算分為公有云 私有云和混合云三種類型 以服務(wù)類型為劃分標(biāo)準(zhǔn) 可將云計(jì)算分為基礎(chǔ)設(shè)施即服務(wù) IaaS 平臺(tái)即服務(wù) PaaS 軟件即服務(wù) SaaS 數(shù)據(jù)即服務(wù) DaaS 四種類型 大數(shù)據(jù)具有數(shù)量巨大 來(lái)源多樣 生成極快且多變 數(shù)據(jù)真實(shí)有效等特征 并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)和方法進(jìn)行有效處理 大數(shù)據(jù)技術(shù)是挖掘和展現(xiàn)大數(shù)據(jù)中所蘊(yùn)含價(jià)值的一系列技術(shù)與方法 包括數(shù)據(jù)采集 數(shù)據(jù)預(yù)處理 數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)分析挖掘 數(shù)據(jù)可視化等 大數(shù)據(jù)技