云計(jì)算實(shí)際案例

1、云技術(shù)云計(jì)算案例 案例一：Amazon Web Service 案例二： Google 案例三： Yahoo! 案例四： IBM 案例五： eBay 案例六： Baidu 案例七：微軟Amazon Web Service AWS核心服務(wù) 基礎(chǔ)設(shè)施層服務(wù) 計(jì)算服務(wù) 存儲(chǔ)服務(wù) 數(shù)據(jù)庫(kù)服務(wù) 消息傳送服務(wù) 平臺(tái)層服務(wù) 電子商務(wù) 支付 物流Amazon Web ServiceAWS基礎(chǔ)架構(gòu)AWS-計(jì)算服務(wù) Amazon Elastic Computing Cloud (EC2) 通過虛擬化技術(shù)向用戶提供計(jì)算資源 用戶可以根據(jù)自己的需求動(dòng)態(tài)地申請(qǐng)或停止資源的使用 Amazon Elastic MapRed

2、uce 通過在Amazon EC2和Amazon S3上構(gòu)建Hadoop框架而實(shí)現(xiàn)AWS-存儲(chǔ)服務(wù) Amazon Simple Storage Service（S3） 由對(duì)象和存儲(chǔ)桶組成 存儲(chǔ)容量可以動(dòng)態(tài)擴(kuò)展 按需付費(fèi) 在AWS云上的其他服務(wù)也可以直接訪問S3上的數(shù)據(jù)(REST 或SOAP接口) 適合存儲(chǔ)較大、一次寫入、多次讀取的數(shù)據(jù) 缺點(diǎn) 數(shù)據(jù)操作存在網(wǎng)絡(luò)延遲 不支持文件重命名、部分更新操作AWS-存儲(chǔ)服務(wù) Amazon Simple Storage Service(S3) 數(shù)據(jù)安全性 采用賬戶認(rèn)證：利用存取密鑰對(duì)請(qǐng)求簽名 訪問控制列表：利用訪問控制列表設(shè)定數(shù)據(jù)的訪問權(quán)限 查詢字符串認(rèn)證：利

3、用字符串認(rèn)證限制HTTP或?yàn)g覽器對(duì)數(shù)據(jù)的訪問 數(shù)據(jù)可靠性 采用冗余備份的存儲(chǔ)機(jī)制 備份數(shù)據(jù)一致性保證AWS-數(shù)據(jù)庫(kù)服務(wù) Amazon SimpleDB 支持結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和查詢操作的輕量級(jí)數(shù)據(jù)庫(kù)服務(wù) 基于S3和EC2 存儲(chǔ)模型 域(Domain):數(shù)據(jù)的容器,數(shù)據(jù)按域劃分 項(xiàng)(Item):若干屬性組成的數(shù)據(jù)集合 屬性(Attribute)：一個(gè)或多個(gè)文本值所組成的數(shù)據(jù)集合AWS-數(shù)據(jù)庫(kù)服務(wù) Amazon SimpleDB 訪問方式：REST, SOAP訪問 缺點(diǎn) 數(shù)據(jù)操作延遲 數(shù)據(jù)模型不同于關(guān)系型數(shù)據(jù)庫(kù) 無法保證更新操作順序AWS-數(shù)據(jù)庫(kù)服務(wù) Amazon Relational Databas

4、e Service(RDS) 用戶通過RDS可以使用MySQL所具有的功能 還支持Oracle 11g的功能 收費(fèi)：0.16美元/小時(shí)AWS-消息傳送服務(wù) Amazon Simple Queue Service(SQS) 提供分布式組件之間傳遞和存儲(chǔ)消息服務(wù) 核心組件 消息 可存儲(chǔ)到隊(duì)列中的文本數(shù)據(jù) 可通過公共訪問接口操作消息 隊(duì)列 消息的容器 消息傳遞 訪問控制 支持并發(fā)AWS-消息傳送服務(wù) Amazon Simple Queue Service(SQS) 基于分布式架構(gòu) 消息可保存在不同的機(jī)器中 不嚴(yán)格保證消息的順序 同一個(gè)消息可能被處理多次 取消息時(shí)無法保證得到所有消息 消息傳遞有延遲A

5、WS-消息傳送服務(wù)AWS-消息傳送服務(wù) Amazon Simple Notification Service(SNS) 在云中建立、操作和發(fā)送通知的Web服務(wù) Amazon Simple Email Service(SES) 提供高擴(kuò)展的大量事務(wù)性郵件發(fā)送服務(wù)Amazon EC2 Amazon EC2 Amazon Machine Image(AMI) 基本的部署單位 包含所有軟件和配置的虛擬環(huán)境 EC2虛擬機(jī)實(shí)例 同一AMI創(chuàng)建的實(shí)例具有相同的配置 不存儲(chǔ)系統(tǒng)狀態(tài)信息 AMI運(yùn)行環(huán)境 大規(guī)模虛擬機(jī)運(yùn)行環(huán)境 物理機(jī)資源池和虛擬機(jī)運(yùn)行平臺(tái) 提供訪問控制、存儲(chǔ)、網(wǎng)絡(luò)、防火墻服務(wù)Amazon EC2

6、 Amazon EC2 使用步驟 打包AMI虛擬機(jī)鏡像文件 上傳AMI到S3 通過服務(wù)接口啟動(dòng)虛擬機(jī)實(shí)例 優(yōu)勢(shì) 可伸縮性 節(jié)省成本 使用靈活 安全可靠 容錯(cuò)Amazon Web Service AWS客戶廣泛，其中包括著名的互聯(lián)網(wǎng)公司和創(chuàng)業(yè)型公司 2010年，AWS部門的收入已達(dá)5億美元，已經(jīng)成為Amazon收入的重要組成部分Google 云計(jì)算技術(shù) 云計(jì)算產(chǎn)品Google Google App Engine(GAE) Web運(yùn)行平臺(tái) Gmail、Google Docs等云端應(yīng)用 分布式文件系統(tǒng)GFS 分布式計(jì)算框架MapReduceGoogle GAE平臺(tái) GAE Web服務(wù)基礎(chǔ)設(shè)施 提供可

7、伸縮的服務(wù)接口,資源使用和管理 分布式存儲(chǔ)服務(wù)DataStore 基于對(duì)象的結(jié)構(gòu)化存儲(chǔ)以及數(shù)據(jù)管理 應(yīng)用程序運(yùn)行時(shí)環(huán)境 提供可自動(dòng)伸縮的運(yùn)行環(huán)境 應(yīng)用開發(fā)套件 開發(fā)和測(cè)試Web應(yīng)用, 部署應(yīng)用 管理控制臺(tái) 查看資源使用情況、數(shù)據(jù)庫(kù)更新、版本管理、應(yīng)用狀態(tài)和日志GoogleGAE系統(tǒng)結(jié)構(gòu)分布式存儲(chǔ)服務(wù)DataStore GAE的分布式存儲(chǔ)服務(wù)DataStore 基于Bigtable 管理海量結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng) 提供簡(jiǎn)單的數(shù)據(jù)模式動(dòng)態(tài)地控制數(shù)據(jù)部署 通過維護(hù)稀疏的多維排序映射表來檢索數(shù)據(jù) 支持結(jié)構(gòu)化數(shù)據(jù)查詢和更新 支持事務(wù)處理 可伸縮性 通過JAVA或Python數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)接口訪問分布式存

8、儲(chǔ)服務(wù)DataStore DataStore高級(jí)特性 兩種事務(wù)操作類型 對(duì)實(shí)體的一組操作組成事務(wù) 對(duì)一組實(shí)體的操作組成事務(wù) GQL 類SQL查詢語(yǔ)言 配置文件定義數(shù)據(jù)索引 樂觀的并發(fā)控制應(yīng)用程序運(yùn)行時(shí)環(huán)境 GAE的應(yīng)用程序運(yùn)行時(shí)環(huán)境 可伸縮的Web程序運(yùn)行平臺(tái) 支持JAVA和Python JAVA:提供Google Web Toolkit開發(fā)框架 多版本管理 可使用Google應(yīng)用服務(wù)應(yīng)用開發(fā)套件 應(yīng)用開發(fā)套件 開發(fā)、測(cè)試、部署、管理 提供GAE Eclipse插件 提供安全沙盒 模擬API 檢查是否存在禁用模塊 檢查是否有系統(tǒng)資源的非法訪問云端應(yīng)用程序 Google Gmail：Web郵件服

9、務(wù) 支持即時(shí)消息、視頻，移動(dòng)訪問 垃圾郵件過濾、防病毒 Google Docs：基于Web的文檔處理程序 支持在線編輯和多人協(xié)作 保存用戶修訂 強(qiáng)大的文檔檢索 Google Cloud Connect 可以直接鏈接本地Microsoft office和云端的Google Docs 文檔在本地保存的同時(shí)也保存在云中 并通過鏈接向別人分享自己的文檔Google云計(jì)算技術(shù) GFS 針對(duì)數(shù)據(jù)密集型應(yīng)用的分布式文件系統(tǒng) 運(yùn)行在廉價(jià)硬件環(huán)境上并擁有較高的容錯(cuò)性 MapReduce 利用輸入鍵/值 對(duì)集輸出新的鍵/值對(duì)集 將并行計(jì)算細(xì)節(jié)隱藏 用戶只需實(shí)現(xiàn)map函數(shù)和reduce函數(shù)即可Yahoo！ Yaho

10、o!云計(jì)算平臺(tái)上主要有三大利器 Hadoop Sherpa MObStorHadoop Yahoo!將Hadoop應(yīng)用于自己的各項(xiàng)業(yè)務(wù)和產(chǎn)品中 數(shù)據(jù)分析、內(nèi)容優(yōu)化、反垃圾郵件系統(tǒng)、廣告的優(yōu)化選擇、大數(shù)據(jù)處理、用戶興趣預(yù)測(cè)、搜索排名、廣告定位等 如：實(shí)時(shí)服務(wù)系統(tǒng)從數(shù)據(jù)庫(kù)中讀取用戶到興趣的映射，Hadoop集群則基于最新數(shù)據(jù)重新排列內(nèi)容并更新頁(yè)面。Sherpa Sherpa Yahoo!的分布式數(shù)據(jù)存儲(chǔ)和服務(wù)平臺(tái) 主要針對(duì)的是結(jié)構(gòu)化的記錄型數(shù)據(jù)。 Sherpa平臺(tái)上最關(guān)鍵的是PNUTS PNUTS 大規(guī)模并行處理的分布式數(shù)據(jù)庫(kù)系統(tǒng) 放棄了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)強(qiáng)一致性的要求 由Storage Units

11、、Router、Tablet Controller和Message Broker四部分組成MObStore MObStor 主要用來存儲(chǔ)非結(jié)構(gòu)化的二進(jìn)制大文件 對(duì)數(shù)據(jù)提供可靠、安全存儲(chǔ)的同時(shí)還能向用戶提供快速的響應(yīng) 體系結(jié)構(gòu)分為三層，分別為 對(duì)象存儲(chǔ)層（Object Store Layer） 本地對(duì)象管理層（Local Object Management Layer） 全局對(duì)象儲(chǔ)存層（Global Object Management Layer）IBM 云計(jì)算產(chǎn)品 云計(jì)算解決方案云計(jì)算產(chǎn)品 IBM在虛擬化和云計(jì)算方面擁有眾多產(chǎn)品，包括基礎(chǔ)設(shè)施層、平臺(tái)層和應(yīng)用層 IBM Ensembles 將計(jì)

12、算、存儲(chǔ)、網(wǎng)絡(luò)等物理資源虛擬成基礎(chǔ)設(shè)施資源池，隱藏了內(nèi)部實(shí)現(xiàn)細(xì)節(jié)向上層提供資源訪問和管理的接口 IBM TSAM 提供應(yīng)用服務(wù)的管理平臺(tái)，應(yīng)用服務(wù)生命周期的管理，包括服務(wù)的設(shè)計(jì)、部署和運(yùn)行管理整個(gè)階段，實(shí)現(xiàn)了硬件到操作系統(tǒng)、中間件的整體管理自動(dòng)化 IBM SmartCloud 用于數(shù)據(jù)中心的云服務(wù)軟件，在向公司用戶提供云存儲(chǔ)的同時(shí)也提供數(shù)據(jù)分析、銷售管理、測(cè)試工具等服務(wù) IBM WebSphere CloudBurst Appliance 用于創(chuàng)建、部署、管理私有WebSphere云環(huán)境的產(chǎn)品IBM IBM Ensembles 一組采用虛擬化技術(shù)實(shí)現(xiàn)的資源池，將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等物理資源虛擬成

13、基礎(chǔ)設(shè)施資源池，隱藏了內(nèi)部實(shí)現(xiàn)細(xì)節(jié)向上層提供資源訪問和管理的接口 服務(wù)器Ensemble:計(jì)算資源池 網(wǎng)絡(luò)Ensemble：網(wǎng)絡(luò)資源池 存儲(chǔ)Ensemble:存儲(chǔ)資源池 Ensemble管理器：Ensemble系統(tǒng)管理 Ensemble服務(wù)接口：統(tǒng)一的操作接口IBM EnsemblesIBM Ensemble架構(gòu)IBM IBM TSAM 管理功能 服務(wù)的設(shè)計(jì)階段 服務(wù)的部署階段 服務(wù)運(yùn)行時(shí)的管理階段 用戶角色 服務(wù)設(shè)計(jì)者 服務(wù)運(yùn)營(yíng)者 服務(wù)管理者IBM TSAMIBM Ensemble架構(gòu)IBM TSAM IBM TSAM 設(shè)計(jì)階段：通過服務(wù)定義設(shè)計(jì)服務(wù) 操作系統(tǒng)服務(wù)：針對(duì)IBM Z系列主機(jī),描

14、述服務(wù)管理的全套流程管理 自助虛擬服務(wù)器部署：針對(duì)System x和System p服務(wù)器，提供對(duì)虛擬服務(wù)器和相關(guān)軟件的全套流程管理 解決方案服務(wù)：提供針對(duì)不同中間件、應(yīng)用和解決方案的管理流程定義IBM TSAM ITM TSAM 部署階段 發(fā)布服務(wù)定義到服務(wù)定義目錄 服務(wù)管理者選擇服務(wù)類型，提交部署請(qǐng)求 TSAM完成自動(dòng)化部署,產(chǎn)生服務(wù)部署實(shí)例 ITM TSAM 運(yùn)行時(shí)管理階段 服務(wù)管理者負(fù)責(zé)日常管理操作 TSAM提供管理計(jì)劃實(shí)現(xiàn)管理操作自動(dòng)化 生命周期結(jié)束，TSAM回收服務(wù)占用的資源IBM Lotus Live IBM Lotus Live 會(huì)議服務(wù) LotusLive Mettings:

15、在線會(huì)議服務(wù) LotusLive Events：在線事件管理和網(wǎng)絡(luò)會(huì)議服務(wù) 辦公協(xié)作服務(wù) LotusLive Engage:整合的社交網(wǎng)絡(luò)模式的協(xié)作服務(wù) LotusLive Connections:集成的社交網(wǎng)絡(luò)協(xié)作服務(wù) 電子郵件服務(wù) LotusLive Notes:富客戶端電子郵件系統(tǒng) LotusLive iNotes:Web電子郵件系統(tǒng)云計(jì)算解決方案 “藍(lán)色洞察力”決策分析云系統(tǒng) 處理全球小型交易等業(yè)務(wù) LotusLIve 使得公司內(nèi)員工及合作伙伴協(xié)作高效化 桌面的集中虛擬化 提高了控制管理的安全性及維護(hù)的方便性云計(jì)算解決方案 存儲(chǔ)云 實(shí)現(xiàn)虛擬化儲(chǔ)存，將數(shù)據(jù)儲(chǔ)存在一起，有效地節(jié)約了空間 數(shù)

16、據(jù)中心整合 里面的應(yīng)用程序也隨之部署在云計(jì)算上，實(shí)現(xiàn)資源整合 生產(chǎn)研發(fā) 如在芯片設(shè)計(jì)時(shí)需要昂貴的軟件和巨大的計(jì)算存儲(chǔ)資源，采用設(shè)計(jì)制造云后既減少了設(shè)計(jì)成本提高資源利用，同時(shí)也保證了知識(shí)產(chǎn)權(quán)的安全。IBM IBM使用云計(jì)算整合自身的全球資源提供優(yōu)質(zhì)服務(wù) 基于對(duì)云計(jì)算的認(rèn)識(shí)，IBM提供公有云、私有云和混合云多個(gè)選項(xiàng)，減少用戶對(duì)隱私、安全的顧慮來吸引用戶eBay 基于開源云計(jì)算框架Hadoop建立了自己的集群Athena 開源云平臺(tái)項(xiàng)目TurmericAthena 核心層 包括Hadoop運(yùn)行時(shí)環(huán)境、通用工具和HDFS MapReduce層 為開發(fā)和執(zhí)行任務(wù)提供API和控件 數(shù)據(jù)獲取層 數(shù)據(jù)獲取層的

17、主要框架是HBase、Pig和Hive 工具、加載庫(kù)層 主要的加載庫(kù)有：統(tǒng)計(jì)庫(kù)R、機(jī)器學(xué)習(xí)庫(kù)Mahout、數(shù)學(xué)相關(guān)庫(kù)Hama、解析網(wǎng)絡(luò)日志庫(kù)Mobius 監(jiān)視和警告層 Ganglia是分布式集群的監(jiān)視系統(tǒng)，Nagios則用來警告關(guān)鍵事件如服務(wù)器不可達(dá)、硬盤已滿等。Turmeric 面向服務(wù)構(gòu)架的綜合平臺(tái)，用戶可以在上面開發(fā)、部署、管理和監(jiān)控服務(wù) 核心運(yùn)行庫(kù) 基于流水線架構(gòu)，主要用來運(yùn)行服務(wù)和客戶端 開發(fā)工具 提供Eclipse插件來幫助創(chuàng)建服務(wù)和客戶端 監(jiān)控器 該監(jiān)控器包含多個(gè)組件：收集客戶端和服務(wù)端信息的運(yùn)行收集組件、數(shù)據(jù)配置組件、監(jiān)控節(jié)點(diǎn)信息的服務(wù)監(jiān)控組件以及方便用戶查看的控制臺(tái)組件Tur

18、meric 安全服務(wù) 提供平臺(tái)上的安全服務(wù)（如驗(yàn)證、授權(quán)、組服務(wù)等）與策略服務(wù)交互，其中策略遵從XACML（可擴(kuò)展的訪問控制標(biāo)記語(yǔ)言）結(jié)構(gòu)和語(yǔ)法。 策略管理控制臺(tái) 管理策略的定制 倉(cāng)庫(kù)服務(wù) 這是端到端平臺(tái)上服務(wù)注冊(cè)、附件管理功能的抽象，具體的功能依賴于下層的倉(cāng)庫(kù)產(chǎn)品 WSDL聲明服務(wù) 通過這項(xiàng)功能用戶可以定義服務(wù)的WSDL接口eBay eBay使用云計(jì)算通過構(gòu)建自己的集群系統(tǒng)來處理大規(guī)模的商品數(shù)據(jù)和用戶需求， 面對(duì)數(shù)據(jù)的增長(zhǎng)，云計(jì)算成為互聯(lián)網(wǎng)公司的首選百度 Hadoop的應(yīng)用 框計(jì)算Hadoop在百度的應(yīng)用 在百度，Hadoop主要應(yīng)用于以下幾個(gè)方面： 日志的存儲(chǔ)和統(tǒng)計(jì) 網(wǎng)頁(yè)數(shù)據(jù)的分析和挖掘 商業(yè)分析，如用戶的行為、廣告關(guān)注度 在線數(shù)據(jù)的反饋，及時(shí)得到在線廣告的點(diǎn)擊情況 用戶網(wǎng)頁(yè)的聚類，分析用戶的推薦度及用戶之間的關(guān)聯(lián)度框計(jì)算需求分析 基于互聯(lián)網(wǎng)的一站式服務(wù)服務(wù)集成百度 框計(jì)算確定用戶需求后會(huì)選擇哪個(gè)服務(wù)提供者為用戶提供服務(wù) 百度的選擇甚至影響一些服務(wù)提供商的發(fā)展 云計(jì)算帶來的影響不僅限于技術(shù)，任何互聯(lián)網(wǎng)公司都不能置身事外。微軟 Microsoft Windows Azure 云平臺(tái)操作系統(tǒng),管理數(shù)據(jù)中心所有服務(wù)器,存儲(chǔ)和網(wǎng)絡(luò)資源 Microsoft .NET服務(wù) 為云應(yīng)用和本地