科研大數(shù)據(jù)平臺項目.doc

科研大數(shù)據(jù)平臺項目科研大數(shù)據(jù)平臺項目 技術建議書技術建議書 目目 錄錄 1 概述概述 1 1 1 項目背景 1 1 2 需求分析 1 1 3 方案簡述 1 1 4 方案價值 2 2 設計方案設計方案 4 2 1 設計原則 4 2 2 系統(tǒng)架構 5 2 3 分布式數(shù)據(jù)庫系統(tǒng) 5 2 3 1 MPP Share Nothing 架構 5 2 3 2 核心組件 6 2 3 3 高可用 6 2 3 4 高性能在線擴展 7 2 3 5 高性能數(shù)據(jù)加載 8 2 3 6 OLAP 函數(shù) 9 2 4 HADOOP集群 9 2 4 1 Hadoop 企業(yè)版 9 2 4 2 HIVE 分布式內(nèi)存分析引擎 10 2 4 3 HBASE 分布式實時在線數(shù)據(jù)處理引擎 10 2 4 4 Stream 流處理引擎 11 2 5 服務器虛擬化 11 2 5 1 設計理念 12 2 5 2 系統(tǒng)結構 13 2 5 3 服務器虛擬化系統(tǒng)組成 14 2 6 云管理平臺 15 2 6 1 浪潮云海 OS 架構圖 15 2 6 2 浪潮云海 OS 實現(xiàn)的功能 15 2 7 爬蟲軟件 18 2 7 1 建設網(wǎng)絡爬蟲私有云 18 2 7 2 高效的分布式 協(xié)同化數(shù)據(jù)采集模式 20 2 7 3 爬蟲路線規(guī)劃能力 21 2 7 4 爬蟲調(diào)度和負荷規(guī)劃能力 21 2 7 5 極致的開放兼容平臺 22 2 7 5 1 為什么需要開放的可集成的網(wǎng)頁抓取軟件 22 2 7 5 2 集搜客網(wǎng)絡爬蟲的開放接口 22 3 方案優(yōu)勢方案優(yōu)勢 23 3 1 浪潮 MPP 數(shù)據(jù)庫優(yōu)勢 23 3 1 1 高性能 23 3 1 2 高性價比 23 3 1 3 高易用性 23 3 2 浪潮 HADOOP優(yōu)勢 23 3 3 浪潮云計算優(yōu)勢 23 3 3 1 運營效率提升 23 3 3 2 服務水平提高 24 3 3 3 實現(xiàn)數(shù)據(jù)中心的綠色節(jié)能 24 3 3 4 分工細化使得終端用戶只需專注自身業(yè)務 24 3 3 5 降低總體擁有成本 TCO 24 3 3 6 可靠性提高 25 3 3 7 性能強大 25 3 3 8 擴展性好 25 3 3 9 可管理性 25 4 推薦配置推薦配置 26 1 概述概述 1 1 項目背景項目背景 通過本項目的實施與建設 在以服務科研工作為主導的原則下 基于高性能大 數(shù)據(jù)軟硬件設施 構建多樣化 專業(yè)化 柔性化的科研數(shù)據(jù)服務應用平臺 利用大 數(shù)據(jù)技術 滿足不同層級用戶的需求 達到改善我校的科學研究環(huán)境與學科建設 提升我校的科研管理水平 提升我校針對物流行業(yè)的科研服務能力等目標 本項目分階段實施 初期重點在于建立一個能滿足業(yè)務需求的基于大數(shù)據(jù)的計 算 存儲以及通訊的硬件環(huán)境平臺和數(shù)據(jù)管理架構 1 2 需求分析需求分析 要構建多樣化 專業(yè)化 柔性化的科研數(shù)據(jù)服務應用平臺 現(xiàn)有架構很難承擔 日益增長的數(shù)據(jù)分析需求 迫切需要尋求一種全新的系統(tǒng)架構幫助我校滿足日常業(yè) 務及數(shù)據(jù)分析 并有效利用數(shù)據(jù)的價值 提高系統(tǒng)安全 系統(tǒng)高可用等 需求分析 如下 尋求新的系統(tǒng)架構 從物理架構 數(shù)據(jù)架構 業(yè)務模型架構及應用架構等幾 方面滿足業(yè)務需求 從全局及用戶長遠利益考慮 規(guī)劃先進的大數(shù)據(jù)平臺底層架構 滿足大數(shù)據(jù) 時代的業(yè)務需求 保護用戶現(xiàn)有資源 考慮系統(tǒng)現(xiàn)狀以及現(xiàn)有資源利用等 在系統(tǒng)建設中 充 分考慮現(xiàn)有資源利舊 系統(tǒng)多平臺整合 建設統(tǒng)一的底層平臺 提高系統(tǒng)安全等保級別 規(guī)避系統(tǒng) 單點風險 1 3 方案簡述方案簡述 根據(jù)對背景及需求的分析 為了幫助我校能夠更好地在大數(shù)據(jù)時代支撐大規(guī)模 數(shù)據(jù)的應用 分別從物理架構及數(shù)據(jù)架構建設科研大數(shù)據(jù)平臺系統(tǒng) 物理架構 采用虛擬化技術 為客戶打造 IaaS 底層系統(tǒng)架構 數(shù)據(jù)架構 采用與客戶習慣使用的 SQL 這種更易于理解的 交互性更好的 訪問接口 架構需要以 MPP 數(shù)據(jù)庫及計算框架為核心 將 MPP 運算調(diào)度引擎完全 融入非關系型運算調(diào)度框架 實現(xiàn)可以同時調(diào)度關系運算和非關系運算的調(diào)度引擎 構建統(tǒng)一的結構化信息提取和數(shù)據(jù)類型轉換框架 將非結構化數(shù)據(jù)映射為關系模型 實現(xiàn)面向關系模型的全數(shù)據(jù)統(tǒng)一視圖 從而平滑的實現(xiàn) MPP 數(shù)據(jù)庫和 Hadoop 的統(tǒng) 一調(diào)度和處理 為新型的基礎軟件平臺和上層應用提供數(shù)據(jù)服務 1 4 方案價值方案價值 彈性擴展 采用虛擬化技術做為底層資源抽象技術 為科研大數(shù)據(jù)平臺動態(tài)提供基礎計算 存儲 網(wǎng)絡資源 同時運用云平臺計算技術為云數(shù)據(jù)中心提供統(tǒng)一的管理和運維平 臺 實現(xiàn)資源彈性服務 流轉和管理 動態(tài)資源分配 云計算被認為是分布式處理 并行處理以及網(wǎng)絡計算的進一步發(fā)展 其使用虛 擬機力度方式 根據(jù)應用的動態(tài)對資源進行增刪 快速響應 以并行計算為核心 按需調(diào)度計算任務分配和計算資源 并提供從數(shù)據(jù)導入整合 處理 計算模型設定到計算結果輸出 多形式展現(xiàn) 應用 API 等完整的數(shù)據(jù)處理服 務 高可用 采用分布式存儲系統(tǒng) 數(shù)據(jù)互備 快速備份和恢復 支持各種數(shù)據(jù)處理 計算 模型 滿足不同領域 不同特點的計算需求 多副本容錯 數(shù)據(jù)安全無憂 數(shù)據(jù)分析 構建大數(shù)據(jù)存儲應用平臺 圍繞大數(shù)據(jù)應用構建大數(shù)據(jù)處理基礎軟件平臺的關 鍵問題是如何解決結構化和非結構化不同類型的數(shù)據(jù)融合 以及實現(xiàn)不同類型數(shù)據(jù) 處理模式的整合 單一的 MPP 數(shù)據(jù)庫或 Hadoop 產(chǎn)品已經(jīng)很難滿足研究所對結構化 和非結構化數(shù)據(jù)融合的業(yè)務需求 應用云 云計算并不是一個突兀全新的理念 云計算的快速發(fā)展 是需求驅動 技術進 步和商業(yè)模式轉變共同發(fā)展和促進的結果 隨著我校大規(guī)模計算和海量數(shù)據(jù)存儲需 求的出現(xiàn) 使得科研大數(shù)據(jù)平臺對 IT 基礎設施的需求也隨之增長 云計算技術的 應用能夠給我校在節(jié)約投資 節(jié)省空間 簡化管理 數(shù)據(jù)高度共享和系統(tǒng)高度可靠 等方面提供幫助 因此 本方案的核心價值在于將這兩種方式的界限在實際應用部署中打破 形 成以全數(shù)據(jù)處理為核心 垂直整合操作系統(tǒng) MPP 數(shù)據(jù)庫 Hadoop 統(tǒng)一數(shù)據(jù)服務 的基礎軟件平臺解決方案 2 設計方案設計方案 2 1 設計原則設計原則 為保證科研大數(shù)據(jù)平臺項目建設的成功 在技術方案中我們主要遵循了以下幾 個原則 先進性與成熟技術的集合 在設備選型設計中 我們要考慮采用當今業(yè)界的主流技術 同時要選用在眾多 關鍵領域中已經(jīng)得到充分驗證的產(chǎn)品 以保證系統(tǒng)的更高的可靠性和可用性 高效的可管理性 對于日益復雜的 IT 系統(tǒng)架構 對系統(tǒng)的管理要求越來越重 浪潮所推薦的解決 方案整體的設計思想是利于以后的管理 性能價格比 保證充分滿足用戶的性能的同時 考慮最優(yōu)的性價比 堅持系統(tǒng)建設投資經(jīng)濟 合理性的原則 高可靠性 全冗余設計 避免任何的單點故障 以保證系統(tǒng)的可靠性 同時便于維護 減 少計劃內(nèi)停機次數(shù) 高安全性 保證系統(tǒng)數(shù)據(jù)的安全 做到重要數(shù)據(jù)冗余存儲 提供備份 容災及應急設計 平滑擴展性 基于統(tǒng)一標準設計的硬件平臺架構 具有平滑擴展的能力 可在未來方便的根 據(jù)客戶需求增添新的硬件 開放性與標準化 采用標準的技術以保證與其他廠家的產(chǎn)品相兼容 產(chǎn)品利用率 考慮現(xiàn)有設備的使用情況 提高產(chǎn)品的利用率 降低總體擁有成本 提升服務水平 管理系統(tǒng)風險是整個硬件平臺方案的設計 戰(zhàn)略思想 本次設計滿足當前階段應用需求的同時 具備升級擴容能力 繼續(xù)滿足 下一階段的應用需求 2 2 系統(tǒng)架構系統(tǒng)架構 2 3 分布式數(shù)據(jù)庫系統(tǒng)分布式數(shù)據(jù)庫系統(tǒng) 2 3 1 MPP Share Nothing 架構架構 分布式數(shù)據(jù)庫采用完全并行的 MPP Share Nothing 的分布式扁平架構 這種 架構中的每一個節(jié)點 Node 都是獨立的 自給的 節(jié)點之間對等 而且整個系 統(tǒng)中不存在單點瓶頸 具有非常強的擴展性 2 3 2 核心組件核心組件 分布式數(shù)據(jù)庫產(chǎn)品總共包含三大核心組件 即 GCluster GCware 和 GNode GCWare 用于各節(jié)點 GCluster 和 GNode 實例間共享信息 GCluster 負責集群調(diào) 度 每個 GNode 就是最基本的存儲和計算單元 GCluster GCluster 負責 SQL 的解析 SQL 優(yōu)化 分布式執(zhí)行計劃生成 執(zhí)行調(diào)度 GCWare GCWare 用于各節(jié)點 GCluster 和 GNode 實例間共享信息 包括集群結構 節(jié)點 狀態(tài) 節(jié)點資源狀態(tài)等信息 以及控制多副本數(shù)據(jù)操作時 提供可操作節(jié)點 并在 多副本操作中 控制各節(jié)點數(shù)據(jù)一致性狀態(tài) GCWare 對于集群的管理工作是以節(jié)點為基本單位的 GNode GNode 是 GCluster 中最基本的存儲和計算單元 GNode 是由 GCWare 管理的一個 8a 實例 每個 GCluster 節(jié)點上有一個 GNode 實例運行 GNode 負責集群數(shù)據(jù)在節(jié)點上的實際存儲 并從 GCluster 接收和執(zhí)行經(jīng)分解的 SQL 執(zhí)行計劃 執(zhí)行結果返回給 GCluster 數(shù)據(jù)加載時 GNode 直接從集群加載服務接收數(shù)據(jù) 寫入本地存儲空間 2 3 3 高可用高可用 分布式數(shù)據(jù)庫通過 SafeGroup 組內(nèi)冗余機制來保證集群的高可用特性 每個 SafeGroup 可提供 1 個或 2 個副本數(shù)據(jù)冗余 SafeGroup 內(nèi)數(shù)據(jù)副本自動同步 復制引擎自動管理數(shù)據(jù)同步 采用扁平架構 每一個節(jié)點都可以充當主控節(jié)點 避免了 Master 節(jié)點產(chǎn)生 的瓶頸以及當 Master 與 Stand by 宕機產(chǎn)生的整個集群不可用 2 3 4 高性能在線擴展高性能在線擴展 分布式數(shù)據(jù)庫具備在線擴展技術 通過 SafeGroup 動態(tài)擴展集群節(jié)點 實際可擴展到 64 3 192 個節(jié)點 每個節(jié)點可以處理 100 TB 有效數(shù)據(jù) 同時提供計算和存儲能力 GCware 負責新節(jié)點的數(shù)據(jù)同步 因為浪潮分布式數(shù)據(jù)庫采用高性能單節(jié)點的 MPP 扁平架構 因此進行集群擴展 時 可以保證平滑擴展和性能的線性增長特性 2 3 5 高性能數(shù)據(jù)加載高性能數(shù)據(jù)加載 數(shù)據(jù)加載功能作為浪潮分布式數(shù)據(jù)庫的一部分而存在 目的是將用戶從其他數(shù) 據(jù)源得到的原始數(shù)據(jù)文件 按照某種加載規(guī)則分發(fā)至集群節(jié)點 集群各節(jié)點接收數(shù) 據(jù)入庫保存到本地磁盤 分布式數(shù)據(jù)庫支持數(shù)據(jù)高效并行加載 數(shù)據(jù)加載速度隨節(jié)點的擴展而呈現(xiàn)線性 增加 集群加載采用 C S 架構 包括數(shù)據(jù)分發(fā)服務器和數(shù)據(jù)分發(fā)客戶端兩個應用程 序 數(shù)據(jù)分發(fā)服務器接收到客戶端的數(shù)據(jù)加載請求后 服務器端負責原始數(shù)據(jù)文件 切分和數(shù)據(jù)文件的下發(fā) 各節(jié)點調(diào)用本地的集群加載服務接收數(shù)據(jù)入庫并保存到本 地磁盤 2 3 6 OLAP 函數(shù)函數(shù) 分布式數(shù)據(jù)庫提供 OLAP 函數(shù) 用于支持復雜的分析操作 側重對決策人員和 高層管理人員的決策支持 可根據(jù)分析人員的要求 快速靈活地進行大數(shù)據(jù)量的復雜查詢處理 以便他們 準確掌握企業(yè)的經(jīng)營狀況 了解被服務對象的需求 制定正確的方案 2 4 Hadoop 集群集群 Hadoop 技術給客戶提供穩(wěn)定的 可靠的 易用的大數(shù)據(jù)設計架構 其組件包括 Hadoop 企業(yè)版 HIVE 分布式內(nèi)存分析引擎 HBASE 分布式實時在線數(shù)據(jù)處理引 擎和 Stream 流處理引擎 其特點如下 2 4 1 Hadoop 企業(yè)版企業(yè)版 Hadoop 企業(yè)版具有高模塊化和松耦合的五層架構 針對不同的應用領域通過組 件之間的靈活組合與高效協(xié)作來提供定制化的支撐 數(shù)據(jù)存儲層 基于 HDFS 2 2 的大數(shù)據(jù)存儲和在線服務體系 支持 Erasure Code 在副本數(shù) 降低至 1 5 倍的情況下 提高了可靠性 可同時容忍四個數(shù)據(jù)塊丟失 支持可靠存 儲 TB 級到數(shù)十 PB 級的數(shù)據(jù)量 資源管理層 缺省采用下一代資源管理框架 YARN 進行資源的分配和調(diào)度 支持同時運行多 個計算框架 計算引擎層 采用 Map Reduce 2 完成大部分離線批處理計算任務 數(shù)據(jù)分析與挖掘層 支持離線批量 SQL 統(tǒng)計 支持 R 語言以及機器學習算法庫 Mahout 數(shù)據(jù)集成層 Sqoop 支持從 DB 到 Hadoop 的數(shù)據(jù)遷移 Flume 支持從日志系統(tǒng)采集數(shù)據(jù) 2 4 2 HIVE 分布式內(nèi)存分析引擎分布式內(nèi)存分析引擎 HIVE 內(nèi)存分析引擎提供大數(shù)據(jù)的交互式 SQL 統(tǒng)計和 R 語言挖掘能力 它具有 以下一些特點 高性能 HIVE 支持將二維數(shù)據(jù)表緩存入獨立的分布式內(nèi)存 或 SSD 中 建立列式存 儲 分區(qū) 分塊和索引 采用改進后的 Apache Spark 作為執(zhí)行引擎 SQL 執(zhí)行性能比 Apache Hadoop Hive 快 10 100 倍左右 更強的 SQL 支持 HIVE 同時兼容 Oracle PL SQL 和 HiveQL 語法 自動識別不同語法 支持存儲 過程和函數(shù) 支持常用 Oracle 擴展函數(shù) 完整的 SQL 支持幫助用戶平滑地從原有關 系數(shù)據(jù)庫遷移到大數(shù)據(jù)平臺 更強的統(tǒng)計分析能力 用戶可以通過 RStudio 或者 R 命令行訪問存儲在分布式內(nèi)存中的數(shù)據(jù) R 語言 中數(shù)千個統(tǒng)計算法可以和浪潮 HIVE 提供的分布式并行數(shù)據(jù)挖掘算法交替混合使用 為各行業(yè)進行大數(shù)據(jù)挖掘提供了易用而強大的分析工具 支持廣泛的 BI 和報表工具 HIVE 可以和常用的 BI 工具對接 包括 Tableau SAP Business Objects Oracle OBIEE 等 用戶無需編程就可以方便地為大數(shù)據(jù)創(chuàng)建美麗的報表 通過浪潮 HIVE 提供的高速大數(shù)據(jù)統(tǒng)計分析能力提高決策效率 高擴展能力 Inceptor 可以隨著集群規(guī)模的擴展 線性擴展處理能力 可以支持從 GB 到數(shù)百 TB 的數(shù)據(jù)處理 2 4 3 HBASE 分布式實時在線數(shù)據(jù)處理引擎分布式實時在線數(shù)據(jù)處理引擎 HBASE 實時在線數(shù)據(jù)處理引擎以 Apache HBase 為基礎 是企業(yè)建立高并發(fā)的 在線業(yè)務系統(tǒng)的最佳選擇 它有以下特點 多種數(shù)據(jù)類型支持 HBASE 支持從 GB 到數(shù)十 PB 數(shù)據(jù)的處理 支持廣泛的數(shù)據(jù)類型 包括對結構 化記錄 半結構化文本 圖數(shù)據(jù) 非結構化數(shù)據(jù) 圖片 音頻 二進制文檔等 的 存儲 搜索 統(tǒng)計和分析 高速數(shù)據(jù)處理能力 HBASE 支持高速的數(shù)據(jù)檢索 搜索和統(tǒng)計 根據(jù)索引進行檢索的延時在數(shù)毫秒 到數(shù)百毫秒量級 支持上億的并發(fā)用戶同時進行數(shù)據(jù)插入 修改 查詢和檢索 支 持對文本建立增量全文索引并且支持秒級的全文關鍵字搜索 高效 OLAP 和批量統(tǒng)計 HBASE 為 HIVE 引擎提供高效數(shù)據(jù)掃描接口 通過 HIVE 的擴展 SQL 語法 充分利用浪潮 HBASE 的內(nèi)部數(shù)據(jù)結構以及全局 輔助索引進行 SQL 執(zhí)行加速 可以 滿足高速的 OLAP 數(shù)據(jù)分析應用需求 同時也支持高速的 SQL 離線批處理 性能接 近于存儲在 HDFS 上的相同數(shù)據(jù)的統(tǒng)計 高效圖計算 HBASE 提供構造圖形的 API 幫助用戶構造由上億頂點組成的復雜大圖 同 時提供專有的高效圖算法 包括關聯(lián)網(wǎng)絡的高速分析 2 4 4 Stream 流處理引擎流處理引擎 Stream 實時流處理引擎以 Spark Streaming 為基礎 Spark Streaming 提供了強大 的流計算 Streaming 表達能力 支持 DAG 有向無環(huán)圖 計算模型 而 Hadoop 類的批處理系統(tǒng)只能通過外圍組件連接多個批次的作業(yè)完成復雜多階段作業(yè)處理 系統(tǒng)復雜而低效 Streaming 中的復雜應用邏輯以 DAG 形式的服務常駐在集群內(nèi)存中 生產(chǎn)系統(tǒng) 的消息通過實時消息隊列進入計算集群 在集群內(nèi)以 Pipeline 方式被依次處理 完 成 ETL 特征提取 策略檢查 分析告警等復雜服務計算 最終輸出到 HBase 等存 儲集群 告警頁面 實時展示頁面等 系統(tǒng)具備強擴展性 強容錯 低延遲 高吞吐等特點 成熟應用于傳感器網(wǎng)絡 數(shù)據(jù)處理 服務監(jiān)控 反作弊 實時報表系統(tǒng)等業(yè)務 Streaming 支持 Kafka Flume 等常見消息隊列或采集工具 2 5 服務器虛擬化服務器虛擬化 2 5 1 設計理念設計理念 浪潮云海 服務器虛擬化系統(tǒng)是浪潮云計算解決方案的核心基礎 主要負責完成 底層物理資源的虛擬融合 按需分配與高效管理 可以顯著提高資源交付的敏捷性 和靈活性 提升資源的使用效率 為上層業(yè)務提供不間斷地資源保障與可伸縮的資 源供給 浪潮云海 服務器虛擬化系統(tǒng)為計算 存儲和網(wǎng)絡提供了完整的虛擬化解決方案 支持資源的靈活分配 動態(tài)組合 在線調(diào)整與智能調(diào)度 并以虛擬機或虛擬集群的 形式將最終資源呈現(xiàn)給用戶 該系統(tǒng)既可以單獨使用 也可以配合浪潮云計算管理 平臺來構建更大范圍的云數(shù)據(jù)中心或者 IaaS 系統(tǒng) 同時本系統(tǒng)還提供了開放接口 支持二次開發(fā) 方便與其他管理平臺整合 在設計理念上 整個系統(tǒng)遵循了以下幾 個原則 命令查詢職責分離 CQRS CQRS 原則基于一個簡單的事實 資源 對象 的行為只有兩種 即命令 Command 和查詢 Query 命令可以改變資源的狀態(tài) 而查詢不會 基于這一 原則 系統(tǒng)可以分為兩個部分 命令部分和查詢部分 并采用不同的技術加以實現(xiàn) 和優(yōu)化 簡化整個系統(tǒng)的設計 提升整個系統(tǒng)的性能和可維護性 獨立的認證服務 服務器虛擬化是一個復雜的軟件系統(tǒng) 由多個不同功能的模塊組合而成 安全 認證是每個模塊必須的邏輯 獨立的認證服務從系統(tǒng)層面劃分出來一個切面 實現(xiàn) 集中式的認證管理 其他模塊只需與認證服務交互 將復雜的認證過程交由認證服 務處理 這一過程對模塊而言是透明的 獨立的認證服務對于實現(xiàn) SSO 和系統(tǒng)集成 具有重要的意義 獨立的監(jiān)控服務 系統(tǒng)狀態(tài)是進行決策的數(shù)據(jù)基礎 這些數(shù)據(jù)多數(shù)是由監(jiān)控服務提供的 監(jiān)控服 務幾乎存在于任何大型的軟件系統(tǒng)之中 浪潮服務器虛擬化系統(tǒng)將監(jiān)控服務剝離出 來 以易復用 易擴展 輕量級為目標獨立發(fā)展 使其可以在不同的系統(tǒng)中提供監(jiān) 控服務 監(jiān)控服務為服務器虛擬化系統(tǒng)監(jiān)控資源狀態(tài)提供了極高的靈活性和擴展性 大大縮短了系統(tǒng)故障的排查時間 業(yè)務數(shù)據(jù)與監(jiān)控數(shù)據(jù)分離 業(yè)務數(shù)據(jù)與監(jiān)控數(shù)據(jù)的分離 主要體現(xiàn)在存儲 UI 顯示以及持久化三個方面 從存儲方面來說 業(yè)務數(shù)據(jù)和監(jiān)控數(shù)據(jù)的分離主要體現(xiàn)在存儲方式 前者存到關系 數(shù)據(jù)庫 后者存到 NOSQL 數(shù)據(jù)庫 從 UI 顯示來說 UI 顯示的主要是業(yè)務數(shù)據(jù) 通過查詢關系數(shù)據(jù)庫獲取 而對于監(jiān)控數(shù)據(jù) 則通過查詢 NOSQL 數(shù)據(jù)庫中獲取告 警信息 從持久化方面的講 業(yè)務數(shù)據(jù)具有關系性強和邏輯緊密 體現(xiàn)用戶的業(yè)務 需求 需要較高的可靠性和穩(wěn)定性 因此需要持久化到關系型數(shù)據(jù)庫中較為合適 這樣既保證了業(yè)務關系又確保了數(shù)據(jù)的穩(wěn)定性 而監(jiān)控數(shù)據(jù)強調(diào)實時性 體現(xiàn)被監(jiān) 控對象的當前狀況 數(shù)據(jù)關系性不強 結構單一 而且不需要進行持久化 因此使 用易擴展 可用性高的內(nèi)存型數(shù)據(jù)庫來存儲這類數(shù)據(jù)比較合適 以最大程度保證數(shù) 據(jù)的實時性 資源操作與資源狀態(tài)維護分離 資源操作與資源狀態(tài)維護分離主要體現(xiàn)在虛擬機的管理上 資源操作基于業(yè)務 流程 而資源狀態(tài)維護基于事務的原子操作實現(xiàn) 例如通過監(jiān)控數(shù)據(jù)更新虛擬機狀 態(tài) 并維護數(shù)據(jù)的一致性 這種機制在虛擬機管理中體現(xiàn)最為明顯 主要包括狀態(tài) 切換和虛擬機并發(fā)操作處理 首先 對于狀態(tài)切換失敗處理 如果當前存在其他工 作流正在處理當前虛擬機 將終止整個工作流并記錄失敗原因 否則強制同步業(yè)務 狀態(tài) 使之與監(jiān)控狀態(tài)相同 然后終止整個工作流并記錄失敗原因 其次 阻止對 同一個虛擬機的并發(fā)操作 以避免上述的第一個可能分支出現(xiàn) 2 5 2 系統(tǒng)結構系統(tǒng)結構 服務器虛擬化系統(tǒng)可分為四個層次 分別為虛擬層 應用層 展示層 運維層 虛擬層是整個系統(tǒng)的基礎 在虛擬層之上構建了應用層 實現(xiàn)高級的業(yè)務邏輯 展 示層用于對外交互 為了便于系統(tǒng)運維 專門劃分了運維層 涵蓋系統(tǒng)的安裝 部 署和安全管理 虛擬層直接構建在物理硬件之上 在功能上主要是完成物理資源的池化與重新 組合 基于 Hypervisor 實現(xiàn)計算資源的池化 基于分布式存儲 集中式存儲實現(xiàn)存儲 資源的池化 基于虛擬交換機和虛擬路由器實現(xiàn)網(wǎng)絡資源的池化 經(jīng)由這幾種技術 形成了統(tǒng)一的計算池 存儲池和網(wǎng)絡池 在此基礎之上通過按需組合構建虛擬主機 和虛擬集群對外提供服務 虛擬層同時提供了資源調(diào)度 DRS DPM HA 鏡像管理 和資源管理等功能 為上層實現(xiàn)高級功能提供支持 應用層基于虛擬層構建高級功能 通過組合虛擬層的功能模塊支撐系統(tǒng)的業(yè)務 邏輯實現(xiàn) 這些主要的業(yè)務邏輯包括系統(tǒng)任務管理 物理資源管理 主機 存儲 網(wǎng)絡 系統(tǒng)配置 虛機 模板管理以及容災備份等 這些高級功能全部封裝在應用 層實現(xiàn) 展示層是系統(tǒng)對外的交互接口 提供 WEB GUI 界面和 API 接口兩種形式 方 便系統(tǒng)集成和二次開發(fā) 在運維層 提供資源訪問控制 PXE 安裝和在線升級等功 能 簡化系統(tǒng)運維 2 5 3 服務器虛擬化系統(tǒng)組成服務器虛擬化系統(tǒng)組成 管理員 管理節(jié)點 計算節(jié)點 SAN 光纖通道 以太網(wǎng) 用戶 V VM M V VM M V VM M V VM M V VM M 控制網(wǎng) 數(shù)據(jù)網(wǎng) 業(yè)務網(wǎng) iSCSI 一級存儲 本地 二級存儲 一級存儲 共享 服服務務器器虛虛 擬擬化化系系統(tǒng)統(tǒng) 上圖中計算資源和存儲資源均由控制中心統(tǒng)一控制與管理 服務器虛擬化系統(tǒng) 包括三條通信鏈路 控制網(wǎng) 用于控制中心與各計算節(jié)點 存儲節(jié)點及文件系統(tǒng)主 控間傳輸資源信息與控制指令 數(shù)據(jù)網(wǎng) 連接計算節(jié)點與存儲系統(tǒng) 用于傳輸虛擬 機正常所需的存儲數(shù)據(jù) 業(yè)務網(wǎng) 資源租戶及云業(yè)務用戶通過此網(wǎng)訪問虛擬機及部 署在虛擬機里的業(yè)務 業(yè)務網(wǎng)通過 VLAN 等技術實現(xiàn)隔離 2 6 云管理平臺云管理平臺 浪潮云海 OS 是浪潮自主設計的系統(tǒng)架構 自主研發(fā)的國產(chǎn)云資源管理平臺 支持底層 VMWare vSphere 平臺及浪潮自研虛擬化產(chǎn)品 iVirtual 的異構虛擬資源池 對已部署的 vSphere 環(huán)境無需停機即可被云海 OS 接管 實現(xiàn)對現(xiàn)有 vSphere 環(huán)境的 無縫兼容 實現(xiàn)安全可控 浪潮云海 OS 的架構秉承模塊化設計理念 結合浪潮對云數(shù)據(jù)中心客戶需求的 理解 以超越用戶所想 提供超值的用戶體驗而完成的系統(tǒng)設計 2 6 1 浪潮云海浪潮云海 OS 架構圖架構圖 2 6 2 浪潮云海浪潮云海 OS 實現(xiàn)的功能實現(xiàn)的功能 云資源管理 1 資源池管理 通過添加 vCenter iVirtual 將多個異構資源池整合成一個更 大的資源池 進行統(tǒng)一管理和資源分配 資源池管理包括對資源池的擴充和縮減 暫停使用某些資源等操作 2 資源池集群管理 集群是云資源的載體 是資源池分配的組成單位 通 過集群管理功能實現(xiàn)為不同用戶提供不同等級的資源服務 擴充資源池容量 可重 新導入資源池的新增集群 也可暫停在某些集群上新建虛擬數(shù)據(jù)中心及應用服務 3 虛擬數(shù)據(jù)中心管理 虛擬數(shù)據(jù)中心 vdc 界定了組織能夠使用資源的范圍 組織管理員可將 vdc 資源分配給組織內(nèi)用戶 虛擬數(shù)據(jù)中心管理包括創(chuàng)建 導入 暫停使用 重新啟用等操作 4 虛擬網(wǎng)絡管理 虛擬網(wǎng)絡允許組織及組織用戶像定義物理網(wǎng)絡一樣定義 組織自己內(nèi)部的網(wǎng)絡 以及與組織外網(wǎng)絡的連接方式 包括直連 NAT 等 組織內(nèi) 部網(wǎng)絡的地址分配 VLAN 劃分等 5 應用服務管理 應用服務 vApp 是指提供某種服務的一個或多個通過特 定網(wǎng)絡連接在一起的虛擬機集合 可通過服務模板 新建虛擬機 2 種方式創(chuàng)建應用 服務 操作包括開啟 關閉 重啟 刪除 復制 更改所有者 導出為模板等操作 6 虛擬機管理 單獨對組成 vApp 的虛擬機操作 功能包括虛擬機控制臺 開啟 關閉 重啟 掛起 恢復 刪除 快照 復制 移動至其他應用服務中 導 出為模板等操作 7 模板 鏡像管理 通過 FTP 方式將應用服務模板或操作系統(tǒng)安裝鏡像上傳 至組織存儲空間下 用于部署應用服務和安裝操作系統(tǒng) 也可將服務模板和鏡像文 件共享給其他組織使用 業(yè)務管理 1 業(yè)務審批 審批系統(tǒng)用戶提交的虛擬數(shù)據(jù)中心 vdc 虛擬網(wǎng)絡 虛擬應 用 vApp 申請 2 業(yè)務流程管理 審批流程引擎實現(xiàn)虛擬數(shù)據(jù)中心 虛擬網(wǎng)絡 虛擬應用 服務審批流程的自定義 3 審批歷史查詢 查詢每個訂單的詳細信息 包括訂單內(nèi)容 審批流程上 的各節(jié)點的審批情況 包括審批人 審批時間和是否通過等 計費管理 1 計費設置 設置用戶帳戶余額的提醒周期及提醒方式 郵件 短信 定義資源單價 元 資源度量單位 小時 2 計費等級 資源按一定標準分為不同的等級 各等級的資源計費系數(shù)不 同 組織分為不同的等級 不同等級的組織計費系數(shù)也不同 系統(tǒng)可自行設置資源 等級 組織等級對應的折扣率 從而為不同的用戶提供不同的等級的服務 3 組織賬戶充值 為組織賬戶充值 并可查詢充值歷史 4 查詢組織賬戶余額 查詢各組織的帳戶余額 5 查詢組織賬單 查詢組織每月的消費金額及費用明細 管理監(jiān)控 1 監(jiān)控視圖 顯示服務器 網(wǎng)絡設備 數(shù)據(jù)庫 操作系統(tǒng) web 服務 虛 擬化資源組及組內(nèi)各節(jié)點的狀態(tài)統(tǒng)計信息 2 資源管理 開啟 關閉 重啟服務器組內(nèi)所有機器或某些服務器 配置 服務器 BMC 信息 獲取并顯示網(wǎng)絡設備 數(shù)據(jù)庫 web 服務 操作系統(tǒng) 虛擬化 資源的相關狀態(tài)參數(shù)信息 3 節(jié)能管理 節(jié)能管理在不影響正常業(yè)務的情況下 通過降低服務器 CPU 頻率來降低服務器組或服務器的能耗 功能包括節(jié)能策略制定及服務器組或服務器 的能耗曲線顯示 4 告警分析 分時段顯示服務器 網(wǎng)絡設備 數(shù)據(jù)庫 操作系統(tǒng) web 服 務 虛擬化資源等的各監(jiān)測器返回的異常告警信息 5 報表中心 圖表顯示服務器 網(wǎng)絡設備 數(shù)據(jù)庫 操作系統(tǒng) web 服務 虛擬化資源等的資源狀態(tài)統(tǒng)計 各監(jiān)測項狀態(tài) 6 系統(tǒng)配置 監(jiān)控管理功能模塊的基礎性配置 如添加資源 服務器 網(wǎng) 絡設備 操作系統(tǒng) web 服務 數(shù)據(jù)庫 虛擬化資源 為資源選擇添加監(jiān)測項 通知時間表設置 告警通知聯(lián)系人設置 備份與恢復當前的監(jiān)控管理配置信息 系統(tǒng)管理 1 組織管理 組織是用戶的集合 是虛擬數(shù)據(jù)中心 VDC 及 vApp 的所 有者 也是資源使用費用的承擔者 組織管理功能包括添加組織 編輯 啟用 禁 用 刪除等操作 2 用戶管理 系統(tǒng)管理員管理各組織的組織管理員 各組織管理員管理其 組織內(nèi)部的組織用戶 用戶管理操作包括 添加 刪除 修改基礎信息 重置密碼 啟用 禁用等操作 3 角色管理 角色是系統(tǒng)操作的集合 界定了相同角色的用戶擁有的操作 權限范圍 角色管理包括 添加 編輯 刪除等操作 4 日志查詢 根據(jù)時間 組織 用戶 操作對象等條件查詢相關聯(lián)的操作記 錄 5 系統(tǒng)設置 配置系統(tǒng)發(fā)送提醒 告警類信息的郵件 短信信息 導出 刪除日志 設置日志停留時長 6 序列號管理 系統(tǒng)序列號分為正式序列號和試用期序列號 序列號到期 后 系統(tǒng)將無法使用 需重新注冊 7 LDAP 管理 云管理平臺可與用戶現(xiàn)有的 LDAP 系統(tǒng)集成 實現(xiàn)基于 LDAP 的身份驗證訪問機制 LDAP 的用戶可作為云平臺的用戶來管理或使用云資 源 云管理平臺為客戶帶來的收益 使用浪潮云海 云數(shù)據(jù)中心操作系統(tǒng) 客戶可以獲得以下收益 節(jié)約軟件采購及服務成本 浪潮提供云數(shù)據(jù)中心整體解決方案 減少項目集成費用 全國產(chǎn)的云管理平臺 相對于國外產(chǎn)品價格相對較低 相對于基于開源的云管理平臺 浪潮云海云數(shù)據(jù)中 心管理平臺更加安全 穩(wěn)定 管理運營效率提升 云數(shù)據(jù)中心管理平臺集成虛擬化管理及服務器 網(wǎng)絡設備等硬件設備和操作系 統(tǒng) web 服務 數(shù)據(jù)庫等中間件的監(jiān)控與管理功能 幾乎涵蓋了數(shù)據(jù)中心所有的可 管理對象范疇 一套系統(tǒng)即可運營整個云數(shù)據(jù)中心 云數(shù)據(jù)中心管理平臺能夠實現(xiàn)對多虛擬化平臺的統(tǒng)一管理 通過將多虛擬化平 臺集中到統(tǒng)一管理門戶 形成一個大的資源池 有效解決異構資源池管理問題 服務水平提高 浪潮云海云數(shù)據(jù)中心管理平臺實現(xiàn)基礎設施資源的服務化 IaaS 以應用服務形 式對外提供服務 利用服務模板可實現(xiàn)業(yè)務的快速部署 顯著縮短應用系統(tǒng)上線時 間 幫助客戶快速實現(xiàn)自身價值 2 7 爬蟲軟件爬蟲軟件 2 7 1 建設網(wǎng)絡爬蟲私有云 GooSeeker 網(wǎng)絡爬蟲軟件由兩部分組成 網(wǎng)絡爬蟲云服務器 網(wǎng)絡爬蟲執(zhí)行單 元 2 7 2 高效的分布式 協(xié)同化數(shù)據(jù)采集模式 集搜客 GooSeeker 用戶無論分布在哪里 都可以享受集搜客網(wǎng)絡爬蟲的服務 在線版用戶可以創(chuàng)立一個工作組 邀請其他在線版用戶加入工作組 為相同的采集 目的協(xié)同完成數(shù)據(jù)采集任務 企業(yè)版將這個能力完全開放 可以完全控制和管理分布式和協(xié)同化數(shù)據(jù)采集模 式 在企業(yè)內(nèi)部可以劃分成多個工作組 工作組可以用后臺管理程序隨時根據(jù)工作目標直接創(chuàng)建 工作組大小不受限制 工作組的劃分和管理完全受控 GooSeeker 網(wǎng)絡爬蟲可以由服務器統(tǒng)一調(diào)度 企業(yè)版可以用定制開發(fā)的更周密 的負荷分擔算法控制每個網(wǎng)絡爬蟲的運行 而且根據(jù)網(wǎng)絡爬蟲的運行狀態(tài)合理調(diào)配 工作量 對于失敗的網(wǎng)絡爬蟲可以及時予以隔離 甚至在其他網(wǎng)管系統(tǒng)的輔助下 監(jiān)控網(wǎng)絡爬蟲計算機各個層面的運行狀況 2 7 3 爬蟲路線規(guī)劃能力 集搜客 GooSeeker 網(wǎng)絡爬蟲沿著線索擴展爬行范圍 而且不限廣度和深度 免 費在線版用戶在 MS 謀數(shù)臺的爬蟲路線爬蟲路線工作臺上規(guī)劃爬蟲路線 主要能力就是 從 抓取到的網(wǎng)址上建立下一級線索 這是深度方向 同時抓取到的下級線索不只一個 那么就是在廣度方向進行擴展 總之 網(wǎng)絡爬蟲抓取網(wǎng)頁數(shù)據(jù)的時候 把一些網(wǎng)址作為廣度或者深度方向擴展 的線索 免費在線版只能在定義抓取規(guī)則的時候規(guī)劃爬蟲路線 而企業(yè)版可以有更 多規(guī)劃爬蟲路線的選擇 在抓取結果清洗和入庫的時候在深度和廣度方向生成線索 這是企業(yè)版常用的 方式 此時 企業(yè)版 GooSeeker 具有最大的靈活性和控制力 比如 可以用入庫腳 本程序任意控制爬蟲路線的生成 可以替換 URL 中的參數(shù) 可以根據(jù) URL 地址規(guī) 律批量生成網(wǎng)址 可以在一批網(wǎng)址中根據(jù)一定規(guī)則進行篩選等等 最大的靈活性在于爬蟲路線的生成時間 當網(wǎng)頁抓取用于探索性研究的時候 可以根據(jù)需要隨時延伸爬蟲深度和廣度范圍 不必在第一次數(shù)據(jù)清洗過程就把所有 線索都生成好了 其實那時可能還不知道是否有必要做爬行范圍延展 而且也容易 實現(xiàn)同一個網(wǎng)址用于多個抓取主題 分別為不同的研究目的服務 2 7 4 爬蟲調(diào)度和負荷規(guī)劃能力 集搜客 GooSeeker 網(wǎng)絡爬蟲是一款高性能網(wǎng)絡爬蟲軟件 多臺計算機可為同一 目標協(xié)同工作 同一臺計算機上能運行多個線程并行抓取網(wǎng)頁 那么就需要規(guī)劃每 個網(wǎng)絡爬蟲線程的工作內(nèi)容和工作負荷 以及啟動和停止時間等等 免費在線版 GooSeeker 網(wǎng)絡爬蟲主要依賴周期性網(wǎng)頁抓取調(diào)度文件 crontab xml 管理網(wǎng)絡爬蟲 比如 一臺計算機上啟動多少個線程 每個線程在什么時間啟動 每一批包含多少網(wǎng)頁 抓取什么主題 按照什么順序等等 crontab xml 文件是預先 生成好的 比如 使用 crontab xml 生成器 預先生成的缺點是調(diào)度爬蟲不夠靈活 如果爬幾十個網(wǎng)站 這個缺點并不顯著 如果要爬幾百上千個網(wǎng)站 要把所有的網(wǎng) 站目標都編制到 crontab 文件 將是十分繁瑣的 企業(yè)版 GooSeeker 網(wǎng)絡爬蟲可以接受服務器下發(fā)的任務安排 也就是 crontab 文 件中的每個 step 都可以通過云服務器下發(fā)下來 那么在云服務器上可以實現(xiàn)一個復 雜的調(diào)度和負荷規(guī)劃程序 配以爬蟲管理程序 能夠細致地為每個爬蟲安排合適的 抓取任務 2 7 5 極致的開放兼容平臺 2 7 5 1 為什么需要開放的可集成的網(wǎng)頁抓取軟件 如果網(wǎng)絡爬蟲只是大型 IT 系統(tǒng)的一個模塊 集搜客 GooSeeker 網(wǎng)絡爬蟲能否無 縫地集成到各種 IT 系統(tǒng)中 此類 IT 系統(tǒng)對網(wǎng)絡爬蟲的需求主要包括 IT 系統(tǒng)可以控制網(wǎng)絡爬蟲的爬行范圍 IT 系統(tǒng)可以控制網(wǎng)絡爬蟲什么時候啟動 每次抓取的批次大小等 IT 系統(tǒng)需要及時獲得爬取結果 由 IT 系統(tǒng)負責內(nèi)容管理 數(shù)據(jù)挖掘等信息處理過程 IT 系統(tǒng)能夠監(jiān)控爬蟲的成功率 可及時修正失敗狀態(tài) 比如 重新啟動抓取失敗的線 索 2 7 5 2 集搜客網(wǎng)絡爬蟲的開放接口 顯然 一個封閉的網(wǎng)絡爬蟲軟件不能滿足上述需求 而集搜客網(wǎng)絡爬蟲提供標 準的開放的 API 接口 也可以直接從數(shù)據(jù)庫層面進行對接 完美解決無縫集成問題 3 方案優(yōu)勢方案優(yōu)勢 3 1 浪潮浪潮 MPP 數(shù)據(jù)庫優(yōu)勢數(shù)據(jù)庫優(yōu)勢 3 1 1 高性能高性能 列存儲技術在大大減少 I O 的同時 能顯著提高查詢性能 智能索引大幅提高查詢性能 高速的數(shù)據(jù)加載性能 高效的并行 SQL 執(zhí)行計劃 3 1 2 高性價比高性價比 采用多種壓縮技術 減少存儲數(shù)據(jù)所需的空間 可以將所用空間減少 1 20 倍 并相應地提高了 I O 性能 采用高壓縮技術 能顯著減少存儲開銷 從而幫助 客戶減少了數(shù)據(jù)庫整體投入成本 3 1 3 高易用性高易用性 易于實施和管理 只需要傳統(tǒng)數(shù)據(jù)庫 1 10 的管理成本 與主要商業(yè)智能工具 兼容 如 Cognos SAP BO BIEE SAS SPSS 3 2 浪潮浪潮 Hadoop 優(yōu)勢優(yōu)勢 支持高性能交互式數(shù)據(jù)分析 無需等待 實時生成統(tǒng)計結果 性能比開源 Hadoop 產(chǎn)品快 10 到 100 倍 提供 PL SQL 以及 R 語言 支持更強的統(tǒng)計分析能力 應用遷移非常方便 支持廣泛的 BI 和報表工具 無需編程 方便應用遷移 3 3 浪潮云計算優(yōu)勢浪潮云計算優(yōu)勢 方案中虛擬化軟件采用浪潮云海 Incloud Sphere 國產(chǎn)自主研發(fā) 并具備當下最 主流先進的虛擬化功能 云管理平臺部分采用浪潮云海 Incloud Manager 全自主知 識產(chǎn)權 突破了云數(shù)據(jù)中心資源管理 調(diào)度 多資源池融合等多項核心技術 實現(xiàn) 了真正的安全可控 3 3 1 運營效率提升運營效率提升 通過云海實現(xiàn)系統(tǒng)的搭建與部署 大大提高運營效率 其工作效率的提升不是 以百分之多少來衡量的 而是幾倍甚至數(shù)十倍的提升 傳統(tǒng)的一個操作系統(tǒng)的準備物理環(huán)境可能需要幾個小時甚至幾天 而虛擬化的 環(huán)境只需要十幾分鐘 事實上 只需要人工的幾個鼠標點擊 其余的時間都是系統(tǒng) 自動工作而不需要人工的干預 最快的時候 搭建一個數(shù)百操作系統(tǒng)的應用人工也 只需要配置十幾分鐘 虛擬層會自動的根據(jù)模版生成你需要的工作環(huán)境 3 3 2 服務水平提高服務水平提高 云計算環(huán)境可以很容易的幫助企業(yè)建立業(yè)務和 IT 資源之間的關系 使各種應用 和企業(yè)的苛刻的業(yè)務條件能一一對應 從整個數(shù)據(jù)中心的視圖來看 云數(shù)據(jù)中心管理平臺可以將所有的物理服務器作 為一個大的資源池進行統(tǒng)一的管理 并可以按需的自動進行所有運算資源的人工或 自動調(diào)度 因為所有的硬件資源與客戶的應用及操作系統(tǒng)隔離 今后不論是物理主機的更 換還是存儲的升級 均可以實現(xiàn)應用的零宕機 也許以前的維護需要幾天甚至幾周 的時間變更管理準備 但現(xiàn)在這個時間被大大的縮減甚至不需要了 我們所有的資 源都可以無中斷的按需擴容 3 3 3 實現(xiàn)數(shù)據(jù)中心的綠色節(jié)能實現(xiàn)數(shù)據(jù)中心的綠色節(jié)能 云海的節(jié)能控制功能 能夠根據(jù)業(yè)務負載 自動調(diào)整虛擬資源在物理資源上的 分布 實現(xiàn)物理資源的動態(tài)伸縮 有效降低數(shù)據(jù)中心的能耗 實現(xiàn)數(shù)據(jù)中心的綠色 低碳和節(jié)能環(huán)保 3 3 4 分工細化使得終端用戶只需專注自身業(yè)務分工細化使得終端用戶只需專注自身業(yè)務 云海使得普通用戶無需自行構建數(shù)據(jù)中心 即可在線申請并使用數(shù)