大數(shù)據(jù)技術(shù)及產(chǎn)業(yè)應(yīng)用

1大數(shù)據(jù)問題及技術(shù)與產(chǎn)業(yè)應(yīng)用清華大學(xué)蘇研院大數(shù)據(jù)處理中心林輝，趙勇1/27海量數(shù)據(jù)212+TBs

oftweetdata

everyday25+TBsof

logdataeveryday?TBsof

dataeveryday2+billionpeopleontheWebbyend30billionRFIDtagstoday

(1.3Bin)4.6billioncameraphonesworldwide100sofmillionsofGPSenableddevicessoldannually76millionsmartmetersin…

200Mby2/27數(shù)據(jù)分析復(fù)雜度3/27大數(shù)據(jù)BigData大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理數(shù)據(jù)集合大數(shù)據(jù)=“海量數(shù)據(jù)”+“復(fù)雜類型數(shù)據(jù)”包括各個(gè)行業(yè)領(lǐng)域電力、電信、經(jīng)貿(mào)、教育、醫(yī)療、金融、石油、民航天文、氣象、基因、醫(yī)學(xué)、物理、互聯(lián)網(wǎng)與人類社會(huì)活動(dòng)相關(guān)網(wǎng)絡(luò)數(shù)據(jù)44/27大數(shù)據(jù)特征5不一樣結(jié)構(gòu)復(fù)雜數(shù)據(jù)：關(guān)系型數(shù)據(jù)、日志和文本數(shù)據(jù)流量大：數(shù)據(jù)處理從批處理轉(zhuǎn)向流處理大容量：從TB、PB到ZB數(shù)據(jù)即資源，表達(dá)價(jià)值，數(shù)據(jù)中能挖掘出價(jià)值信息Variety:Velocity:Volume:Value：

5/27數(shù)據(jù)==價(jià)值6數(shù)據(jù)正在成為各行各業(yè)，乃至每個(gè)人最關(guān)心、最有價(jià)值東西醫(yī)生需要了解病人病歷以及經(jīng)典病人治療方式相關(guān)數(shù)據(jù)，方便對(duì)癥治療；疾病預(yù)防中心需要了解疫情暴發(fā)、擴(kuò)散相關(guān)數(shù)據(jù)，方便做好疫情防御；醫(yī)院需要病床、藥品及季節(jié)行流行病相關(guān)數(shù)據(jù)，方便統(tǒng)一布署醫(yī)療設(shè)施；股票經(jīng)濟(jì)人需要對(duì)股票行情數(shù)據(jù)分析，判定下一個(gè)市場(chǎng)投資熱點(diǎn)；企業(yè)供給鏈需要了解產(chǎn)品進(jìn)銷存數(shù)據(jù)，方便下一步備料生產(chǎn)；企業(yè)經(jīng)營(yíng)者需要對(duì)市場(chǎng)數(shù)據(jù)進(jìn)行分析，方便制訂企業(yè)下一步市場(chǎng)策略；投資者需要靠數(shù)據(jù)進(jìn)行投資前景、可行性進(jìn)行分析評(píng)定，確保投資收益；民航、酒店需要了解旅客出行規(guī)律，方便更加好服務(wù)客戶；商場(chǎng)、商家需要了解用戶生活習(xí)慣、購(gòu)物心理，制訂最有效市場(chǎng)推廣方式；商業(yè)網(wǎng)站則需要了解用戶網(wǎng)絡(luò)瀏覽方式，方便推出更貼切客戶習(xí)慣產(chǎn)品；癌癥研究者需要了解分子結(jié)構(gòu)和癌分子綁定數(shù)據(jù)，方便研制新型抗癌藥；石油勘探需要需要了解地質(zhì)數(shù)據(jù)并分析建模；氣象工作者需要了解海洋氣候數(shù)據(jù)，方便公布及時(shí)準(zhǔn)確公布；6/27大數(shù)據(jù)藍(lán)海7區(qū)域發(fā)展氣候信息行業(yè)信息市場(chǎng)信息國(guó)家戰(zhàn)略投資信息經(jīng)濟(jì)信息生活咨詢貿(mào)易信息旅游咨詢計(jì)算應(yīng)用分析加工個(gè)人生活相關(guān)（投資理財(cái)、居家生活、旅游出行）企業(yè)發(fā)展相關(guān)（投資前景、市場(chǎng)戰(zhàn)略、市場(chǎng)先機(jī)）區(qū)域經(jīng)濟(jì)發(fā)展（區(qū)域規(guī)劃、城市發(fā)展、發(fā)展先機(jī)）國(guó)家發(fā)展戰(zhàn)略（全球經(jīng)濟(jì)、國(guó)計(jì)民生、政策法規(guī)）大數(shù)據(jù)影響到我們生活周圍各個(gè)方面。7/27大數(shù)據(jù)處理意義8大數(shù)據(jù)不是噱頭，是技術(shù)發(fā)展的必然階段云計(jì)算等新興信息技術(shù)正在真正地落地和實(shí)施云計(jì)算等新興信息技術(shù)恰恰是是解決大數(shù)據(jù)問題的核心關(guān)鍵應(yīng)用背景對(duì)大數(shù)據(jù)的推動(dòng)作用大于其他條件有充足的應(yīng)用場(chǎng)景有一個(gè)系統(tǒng)科學(xué)的方法論合理的人才和知識(shí)儲(chǔ)備有極為廣泛的創(chuàng)新動(dòng)機(jī)大數(shù)據(jù)是一個(gè)不可多得的發(fā)展機(jī)遇關(guān)鍵技術(shù)和核心技術(shù)各國(guó)之間的差距不是很大，這是追趕和減少綁架進(jìn)而實(shí)現(xiàn)自主創(chuàng)新的最大契機(jī)8/27海外市場(chǎng)環(huán)境美國(guó)奧巴馬政府推出了“大數(shù)據(jù)研究和發(fā)展倡議”，并投資2億美金支持大數(shù)據(jù)研發(fā)，說明大數(shù)據(jù)已成為信息科技領(lǐng)域熱點(diǎn)。資本市場(chǎng)高度關(guān)注大數(shù)據(jù)技術(shù)型企業(yè)發(fā)展風(fēng)投機(jī)構(gòu)AccelPartners設(shè)置1億美元專題基金大數(shù)據(jù)分析企業(yè)Splunk，首日上市IPO即上漲109%大數(shù)據(jù)軟件提供商Birst企業(yè)今年已經(jīng)從紅杉資本等機(jī)構(gòu)取得了2600萬美元投資為開源大數(shù)據(jù)技術(shù)Hadoop商業(yè)版本提供銷售和支持服務(wù)Cloudera取得7500萬美元投資MapR、10Gen、DataStax等大數(shù)據(jù)軟件服務(wù)商近期都完成了千萬美元級(jí)融資。99/27市場(chǎng)預(yù)測(cè)10依據(jù)Wikibon最近公布匯報(bào)，大數(shù)據(jù)市場(chǎng)正處于井噴式增加前夕，未來五年全球大數(shù)據(jù)市場(chǎng)價(jià)值將高達(dá)500億美元。國(guó)內(nèi)云計(jì)算及大數(shù)據(jù)市場(chǎng)已經(jīng)初步具備發(fā)展態(tài)勢(shì)，據(jù)研究表明，大數(shù)據(jù)市場(chǎng)規(guī)模也將從167億元增加到年1174億元，年均復(fù)合增加率到達(dá)91.5%。10/27市場(chǎng)規(guī)模11政府、互聯(lián)網(wǎng)、電信、金融大數(shù)據(jù)市場(chǎng)規(guī)模較大，四個(gè)行業(yè)將占據(jù)二分之一市場(chǎng)份額。11/27大數(shù)據(jù)問題12速度方面的問題導(dǎo)入導(dǎo)出問題統(tǒng)計(jì)分析問題檢索查詢問題實(shí)時(shí)響應(yīng)問題

種類及架構(gòu)問題多源問題異構(gòu)問題原系統(tǒng)的底層架構(gòu)問題體量及靈活性問題線性擴(kuò)展問題動(dòng)態(tài)調(diào)度問題成本問題大機(jī)與小型服務(wù)器的成本比對(duì)原有系統(tǒng)改造的成本把控價(jià)值挖掘問題數(shù)據(jù)分析與挖掘問題數(shù)據(jù)挖掘后的實(shí)際增效問題存儲(chǔ)及安全問題結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)安全隱私安全互聯(lián)互通與數(shù)據(jù)共享問題數(shù)據(jù)標(biāo)準(zhǔn)與接口共享協(xié)議訪問權(quán)限12/27大數(shù)據(jù)技術(shù)13計(jì)算結(jié)果展現(xiàn)報(bào)表、圖形、可視化工具、增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)計(jì)算查詢、統(tǒng)計(jì)、分析、預(yù)測(cè)、挖掘、圖譜、BI數(shù)據(jù)存儲(chǔ)分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)數(shù)據(jù)采集ETL工具，數(shù)據(jù)總線基礎(chǔ)架構(gòu)支持云計(jì)算平臺(tái)、云存儲(chǔ)、分布式文件系統(tǒng)等13/27行業(yè)大數(shù)據(jù)應(yīng)用挑戰(zhàn)1414/27清華大學(xué)大數(shù)據(jù)產(chǎn)品及結(jié)果云計(jì)算管理平臺(tái)：計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)資源的虛擬化管理、調(diào)度、監(jiān)控虛擬資源池管理系統(tǒng)：跨數(shù)據(jù)中心的虛擬資源池部署、配置、管理大規(guī)模分布式云存儲(chǔ)系統(tǒng)：分布式自容錯(cuò)、自恢復(fù)的云存儲(chǔ)系統(tǒng)分布式閃電數(shù)據(jù)庫(kù)：高效率的、支持綜合查詢及事務(wù)的分布式數(shù)據(jù)庫(kù)行業(yè)大數(shù)據(jù)處理平臺(tái)：結(jié)合多模態(tài)的大數(shù)據(jù)綜合處理平臺(tái)數(shù)據(jù)挖掘算法平臺(tái)：分布式數(shù)據(jù)挖掘平臺(tái)視頻處理平臺(tái)：多媒體綜合檢索、識(shí)別及語義分析平臺(tái)3D建模及體感交互技術(shù)：3D數(shù)字化建模及體感交互控制技術(shù)1515/27行業(yè)大數(shù)據(jù)處理方案云燕：大規(guī)模任務(wù)流程管理系統(tǒng)應(yīng)用定制復(fù)雜流程管理自動(dòng)容錯(cuò)機(jī)制可視化云鷹：大規(guī)模任務(wù)調(diào)度系統(tǒng)輕型高效任務(wù)調(diào)度：每秒分發(fā)幾千個(gè)任務(wù)高可擴(kuò)展性支持：上千萬任務(wù)、數(shù)十萬CPU跨數(shù)據(jù)中心資源協(xié)同使用自動(dòng)負(fù)載均衡云龍：云資源管理監(jiān)控系統(tǒng)集中統(tǒng)一計(jì)算平臺(tái)：資源共享，彈性調(diào)度虛擬鏡像：自動(dòng)應(yīng)用環(huán)境布署完善監(jiān)控及日志功效1616/27云燕系統(tǒng)架構(gòu)17云燕處理海量數(shù)據(jù)計(jì)算中數(shù)據(jù)多樣復(fù)雜性、系統(tǒng)異構(gòu)性、系統(tǒng)流程管理問題；自動(dòng)實(shí)現(xiàn)并行化運(yùn)行，能夠運(yùn)行于集群、網(wǎng)格、超級(jí)計(jì)算機(jī)及云平臺(tái)上。17/27管理調(diào)度160000個(gè)CPU核1818/27應(yīng)用效果：醫(yī)藥學(xué)靶點(diǎn)分析19CPU核:118784任務(wù)數(shù):934803運(yùn)行時(shí)間:2.01小時(shí)CPU年:21.43利用率:連續(xù):99.6%總體:78.3%吞吐量(任務(wù)/秒)

完成任務(wù)數(shù)處理器數(shù)目時(shí)間(秒)處理器活動(dòng)任務(wù)完成任務(wù)吞吐量(任務(wù)/秒)19/27大數(shù)據(jù)應(yīng)用20大數(shù)據(jù)智慧安全智慧商業(yè)國(guó)家電網(wǎng)中航信工商總局審計(jì)中移動(dòng)智慧城市智能交通智能小區(qū)智能政務(wù)20/27國(guó)家電網(wǎng)2121/27中航信動(dòng)態(tài)航班聯(lián)程300萬航班實(shí)時(shí)路徑搜索與規(guī)則匹配90%查詢操作在50ms內(nèi)完成跨數(shù)據(jù)中心同時(shí)分布式數(shù)據(jù)庫(kù)2222/27中移動(dòng)營(yíng)銷數(shù)據(jù)分析及建模移動(dòng)終端促銷數(shù)據(jù)業(yè)務(wù)/手機(jī)應(yīng)用推廣2323/27社保審計(jì)大數(shù)據(jù)處理24政策分析模型績(jī)效監(jiān)測(cè)模型分析型監(jiān)測(cè)模型正當(dāng)性合規(guī)性監(jiān)測(cè)模型基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)業(yè)務(wù)審計(jì)、財(cái)務(wù)審計(jì)、復(fù)核審計(jì)供養(yǎng)比、替換率、基尼系數(shù)可連續(xù)性、政策一致性等地市區(qū)劃或行業(yè)劃分業(yè)務(wù)流程險(xiǎn)種企業(yè)職員基本養(yǎng)老保險(xiǎn)發(fā)放數(shù)據(jù)A市職員基本醫(yī)療保險(xiǎn)征繳數(shù)據(jù)24/27清華大數(shù)據(jù)中心運(yùn)行模式25企業(yè)研究院生產(chǎn)一線企應(yīng)用教授組政政府扶持力量海外資源產(chǎn)教授委員會(huì)研專業(yè)研究人員學(xué)師資團(tuán)體企業(yè)化平臺(tái)合約關(guān)系優(yōu)勢(shì)：企業(yè)化運(yùn)行獨(dú)立法人機(jī)構(gòu)研發(fā)、實(shí)施、運(yùn)維、服務(wù)以當(dāng)代服務(wù)業(yè)理念服務(wù)于行業(yè)需求25/27大數(shù)據(jù)應(yīng)用提議正確應(yīng)對(duì)大機(jī)、單機(jī)問題