大數(shù)據(jù)的簡(jiǎn)介及案例

1、大數(shù)據(jù)的及案例1目錄 大數(shù)據(jù)的概念 大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別？ 大數(shù)據(jù)的典型特征（4V） 廣義的大數(shù)據(jù) 大數(shù)據(jù)應(yīng)用案例2大數(shù)據(jù)的概念 大數(shù)據(jù)(Big Data)是指無(wú)法用現(xiàn)有的軟件工具提取、存儲(chǔ)、搜索、共享、分析和處理的海量的、復(fù)雜的數(shù)據(jù)集合 簡(jiǎn)單一點(diǎn)的說(shuō)，就是用現(xiàn)有一般技術(shù)難以管理的數(shù)據(jù)。3大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別？ 小明去了一百次書店 傳統(tǒng)數(shù)據(jù)：要回答的問題是他第一百零一次買不買書，即業(yè)績(jī)和經(jīng)營(yíng)指標(biāo)的問題； 大數(shù)據(jù)：要回答的是他第一百零一次買什么書，需要將什么樣的內(nèi)容推薦給他。 群體和個(gè)體的區(qū)別 傳統(tǒng)定義上，更多關(guān)注的是一類人群，用同一類規(guī)則制訂套餐給他們； 互聯(lián)網(wǎng)時(shí)代，要把每個(gè)人都精準(zhǔn)刻畫出

2、來(lái)，進(jìn)行精準(zhǔn)匹配。4大數(shù)據(jù)的典型特征（4V） Volume（容量） 現(xiàn)在基本上是指從幾十TB到幾PB這樣的數(shù)量級(jí)，未來(lái)，可能只有幾EB數(shù)量級(jí)的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)了。 Variety（多樣性） 結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) Velocity（速度） 數(shù)據(jù)產(chǎn)生和更新的頻率 Value （價(jià)值） 數(shù)據(jù)的價(jià)值密度低5廣義的大數(shù)據(jù) 所謂大數(shù)據(jù)，是一個(gè)綜合性概念，它包括：（1）因具備3V特征而難以進(jìn)行管理的數(shù)據(jù)（2）對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)、處理、分析的技術(shù)（3）以及能夠通過(guò)分析這些數(shù)據(jù)獲得實(shí)用意義和觀點(diǎn)的人才和組織6大數(shù)據(jù)的應(yīng)用案例7穿孔卡片與美國(guó)人口普查 美國(guó)在1880年進(jìn)行的人口普查，耗時(shí)8年才完成數(shù)據(jù)匯總

3、。因此，他們獲得的很多數(shù)據(jù)都是過(guò)時(shí)的。 1890年進(jìn)行的人口普查，預(yù)計(jì)要花費(fèi)13年的時(shí)間來(lái)匯總數(shù)據(jù)。 后來(lái)，美國(guó)人口普查局通過(guò)用赫爾曼-霍爾瑞斯發(fā)明的穿孔卡片制表機(jī)來(lái)進(jìn)行1890年的人口普查，耗時(shí)一年。8麻省理工與通貨緊縮預(yù)測(cè)軟件 美國(guó)勞工統(tǒng)計(jì)局的人員每個(gè)月都要公布消費(fèi)物價(jià)指數(shù)（CPI），這是用來(lái)測(cè)試通貨膨脹率的。 政府通過(guò)人工采集價(jià)格信息數(shù)據(jù)每年大概需要花費(fèi)兩億五千萬(wàn)美元。這些數(shù)據(jù)是精確的也是有序的，但是數(shù)據(jù)往往會(huì)有幾周的滯后。 麻省理工學(xué)院（MIT）的兩位經(jīng)濟(jì)學(xué)家，通過(guò)一個(gè)軟件在互聯(lián)網(wǎng)上每天可以收集到50萬(wàn)種商品的價(jià)格，他們能比官方數(shù)據(jù)提前發(fā)現(xiàn)通貨緊縮趨勢(shì)。9沃爾瑪，請(qǐng)把蛋撻與颶風(fēng)用品擺在

4、一起 通過(guò)對(duì)歷史交易記錄這個(gè)龐大數(shù)據(jù)庫(kù)進(jìn)行觀察，沃爾瑪注意到，每當(dāng)季節(jié)性颶風(fēng)來(lái)臨之前，不僅手電筒銷量增加，而且美式早餐含糖零食蛋撻銷量也增加了。 因此每當(dāng)季節(jié)性颶風(fēng)來(lái)臨時(shí)，沃爾瑪就會(huì)把蛋撻與颶風(fēng)用品擺放在一起，從而增加銷量。10沃爾瑪：東海岸中海岸西海岸 在美國(guó)，東海岸、中海岸、西海岸之間有兩小時(shí)時(shí)差。 東海岸的沃爾瑪營(yíng)業(yè)兩小時(shí)后之后，中海岸才開始營(yíng)業(yè)，沃爾瑪就會(huì)把東海岸當(dāng)天這兩小時(shí)的營(yíng)業(yè)情況、相關(guān)數(shù)據(jù)傳給中海岸。 中海岸就會(huì)根據(jù)這個(gè)數(shù)據(jù)知道了這天人們的購(gòu)物喜好，決定貨品怎么擺放，哪些貨物擺放在一起會(huì)比較好。 這種方式給沃爾瑪帶來(lái)了很大的利潤(rùn)。11美國(guó)折扣零售商塔吉特與懷孕預(yù)測(cè) 塔吉特公司能在

5、不被清楚告知的情況下預(yù)測(cè)出一個(gè)女性的懷孕情況 該公司找出了大概20多種與懷孕的關(guān)聯(lián)物，給顧客進(jìn)行“懷孕趨勢(shì)”評(píng)分 這些數(shù)據(jù)甚至使得零售商能夠比較準(zhǔn)確地預(yù)測(cè)預(yù)產(chǎn)期，這樣就能夠在孕期的每個(gè)階段給客戶寄送相應(yīng)的優(yōu)惠券12Hitwise，通過(guò)流量判斷消費(fèi)者喜好 數(shù)據(jù)創(chuàng)新再利用的一個(gè)典型例子是搜索關(guān)鍵詞。 消費(fèi)者和搜索引擎之間的瞬時(shí)交互形成了一個(gè)網(wǎng)站和廣告的列表，實(shí)現(xiàn)了那一刻的特定功能。這些信息除了實(shí)現(xiàn)基本用途之外，它還可以變得非常有價(jià)值。 如數(shù)據(jù)代理益百利旗下的網(wǎng)頁(yè)流量測(cè)量公司Hitwise，讓客戶采集搜索流量來(lái)揭示消費(fèi)者的喜好。13物聯(lián)網(wǎng) 物聯(lián)網(wǎng)（Internet of Things，縮寫IOT）是

6、一個(gè)基于互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等信息承載體，讓所有能夠被獨(dú)立尋址的普通物理對(duì)象實(shí)現(xiàn)互聯(lián)互通的網(wǎng)絡(luò)。 在物聯(lián)網(wǎng)上，每個(gè)人都可以應(yīng)用電子標(biāo)簽將真實(shí)的物體上網(wǎng)聯(lián)結(jié)，在物聯(lián)網(wǎng)上都可以查找出它們的具體位置。 通過(guò)物聯(lián)網(wǎng)可以用中心計(jì)算機(jī)對(duì)機(jī)器、設(shè)備、人員進(jìn)行集中管理、控制，也可以對(duì)家庭設(shè)備、汽車進(jìn)行遙控，以及搜尋位置、防止物品被盜等各種應(yīng)用。14RFID技術(shù) RFID是Radio Frequency Identification的縮寫，即射頻識(shí)別，俗稱電子標(biāo)簽。 RFID是一種簡(jiǎn)單的無(wú)線系統(tǒng)，由一個(gè)詢問器(或閱讀器)和很多應(yīng)答器(或標(biāo)簽)組成。該系統(tǒng)用于控制、檢測(cè)和跟蹤物體。 RFID技術(shù)在超市和圖書館中的應(yīng)

7、用15車聯(lián)網(wǎng) 未來(lái)車聯(lián)網(wǎng)技術(shù)將重新定義汽車DNA。借助無(wú)線通訊，城市內(nèi)車與車之間，車與建筑之間，車與人之間都將建立更加智能緊密的互聯(lián)。 通過(guò)裝載在車輛上的電子標(biāo)簽利用無(wú)線射頻等識(shí)別技術(shù)，實(shí)現(xiàn)在信息網(wǎng)絡(luò)平臺(tái)上對(duì)所有車輛的屬性信息和靜、動(dòng)態(tài)信息進(jìn)行提取和有效利用，并根據(jù)不同的功能需求對(duì)所有車輛的運(yùn)行狀態(tài)進(jìn)行有效的監(jiān)管和提供綜合服務(wù)。16無(wú)人駕駛 無(wú)人駕駛被人認(rèn)為是車聯(lián)網(wǎng)的終極目標(biāo) 無(wú)人駕駛車依賴的技術(shù)很多，比如導(dǎo)航、雷達(dá)、龐大數(shù)據(jù)計(jì)算等，要實(shí)現(xiàn)這些技術(shù)需要和物聯(lián)網(wǎng)緊密結(jié)合起來(lái)。 無(wú)人駕駛是通過(guò)車載傳感系統(tǒng)感知道路環(huán)境，自動(dòng)規(guī)劃行車路線并控制車輛到達(dá)預(yù)定目標(biāo)的智能汽車。17自動(dòng)泊車系統(tǒng) 自動(dòng)泊車系統(tǒng)

8、，顧名思義駕駛者雙手可以離開方向盤，在車輛停好之前要做的只是等待。 自動(dòng)泊車系統(tǒng)主要由兩部分組成：控制單元和位于前后保險(xiǎn)杠以及兩側(cè)的超聲波雷達(dá)探頭。 按動(dòng)自動(dòng)泊車輔助系統(tǒng)激活按鈕之后，雷達(dá)探頭可在車輛行駛時(shí)對(duì)車輛兩側(cè)進(jìn)行掃描。 控制單元對(duì)雷達(dá)反饋的信息進(jìn)行分析，從而估算出車位是否足以容納車輛停放。 自動(dòng)泊車系統(tǒng)隨后將通過(guò)助力轉(zhuǎn)向系統(tǒng)對(duì)車輛行駛方向進(jìn)行干預(yù)，并以控制單元規(guī)劃好的路徑將車輛停入車位。18日本先進(jìn)工業(yè)技術(shù)研究院的坐姿研究與汽車防盜系統(tǒng) 該研究所教授把每個(gè)駕車者的坐姿量化為精確的數(shù)據(jù)，使其對(duì)司機(jī)識(shí)別的正確率高達(dá)98%。 這項(xiàng)技術(shù)作為汽車防盜系統(tǒng)，一旦識(shí)別駕車者不是車主，就會(huì)自動(dòng)熄火。

9、這一技術(shù)還可匯集事故發(fā)生前駕車者的姿勢(shì)變化數(shù)據(jù)，分析坐姿與行駛安全的關(guān)系，在司機(jī)疲勞駕駛時(shí)發(fā)出警示或自動(dòng)剎車。19UPS快遞大數(shù)據(jù)技術(shù)下的最佳行車路徑 UPS快遞多效地利用了地理定位數(shù)據(jù)。為了使總部能在車輛出現(xiàn)晚點(diǎn)的時(shí)候跟蹤到車輛的位置和預(yù)防引擎故障，它的貨車上裝有傳感器、無(wú)線適配器和GPS。同時(shí)，這些設(shè)備也方便了公司監(jiān)督管理員工并優(yōu)化行車線路。 UPS為貨車定制的最佳行車路徑是根據(jù)過(guò)去的行車經(jīng)驗(yàn)總結(jié)而來(lái)的。2011年，UPS的駕駛員少跑了近4828萬(wàn)公里的路程，節(jié)省了300萬(wàn)加侖的燃料并且減少了3萬(wàn)公噸的二氧化碳排放量。20UPS與汽車修理預(yù)測(cè) UPS國(guó)際快遞公司從2000年就開始使用預(yù)測(cè)性

10、分析來(lái)監(jiān)測(cè)自己全美60000輛車規(guī)模的車隊(duì)，這樣就能及時(shí)地進(jìn)行防御性的修理。 通過(guò)監(jiān)測(cè)車輛的各個(gè)部位，UPS只需要更換需要更換的零件，從而節(jié)省了好幾百萬(wàn)美元。21谷歌與甲型H1N1流感 2009年出現(xiàn)的甲型H1N1流感，當(dāng)時(shí)還沒有研發(fā)出對(duì)抗這種新型流感病毒的疫苗，公共衛(wèi)生專家能做的只是減慢它傳播的速度。但要做到這一點(diǎn)，他們必須先知道這種流感出現(xiàn)在哪里。 疾控中心得到流感方面的信息往往會(huì)有一兩周的滯后，這種滯后導(dǎo)致公共衛(wèi)生機(jī)構(gòu)在疫情爆發(fā)的關(guān)鍵時(shí)期反而無(wú)所適從。 谷歌通過(guò)觀察人們?cè)诰W(wǎng)上的搜索記錄來(lái)預(yù)測(cè)流感的傳播，得到的信息是非常準(zhǔn)確和及時(shí)的。22“量化自我” 通過(guò)一種非干預(yù)的手段，把一些所謂的醫(yī)療

11、傳感器放到我們的身邊，比如我們戴一個(gè)腕表、一枚戒指、一個(gè)耳塞、一副眼鏡等，通過(guò)這些設(shè)備我們可以了解自己的心跳、血壓情況，甚至包括我們體表的健康狀況，從而對(duì)一些大?。ㄈ绨d癇等）進(jìn)行早期預(yù)測(cè)。 美國(guó)Fitbit公司近期就推出了一款免費(fèi)的蘋果手機(jī)應(yīng)用，用戶可用于記錄食物和液體攝入量，從而跟蹤其活動(dòng)水平和營(yíng)養(yǎng)攝入情況，通過(guò)分析這些數(shù)據(jù)可以很好的控制體重。23小兒床墊 通過(guò)床墊上的壓力與濕度傳感器分析，來(lái)判斷小孩子有沒有比較嚴(yán)重的打鼾或者睡姿不正確等問題。24在線教育 如著名的在線教育公司Coursera，已經(jīng)和普林斯頓、伯克利、賓夕法尼亞大學(xué)等30多所大學(xué)合作，在互聯(lián)網(wǎng)上免費(fèi)開放大學(xué)課程 分布在世界各

12、地的學(xué)習(xí)者不僅可以在同一時(shí)間實(shí)時(shí)聽取同一位老師的授課，還和在校生一樣，做同樣的作業(yè)、接受同樣的評(píng)分和考試。 在線教育是一個(gè)“行為評(píng)價(jià)和誘導(dǎo)”的智能平臺(tái)25在線教育服務(wù)Knewton 在線教育服務(wù)Knewton是大數(shù)據(jù)應(yīng)用于教育行業(yè)的典型，通過(guò)數(shù)據(jù)分析區(qū)分出每個(gè)學(xué)生的優(yōu)缺點(diǎn)，從而給學(xué)生有效的指導(dǎo)。 美國(guó)最大的公立大學(xué)亞利桑那州公立大學(xué)曾運(yùn)用這一系統(tǒng)來(lái)提高學(xué)生的數(shù)學(xué)水平，全校2000名學(xué)生使用該系統(tǒng)兩學(xué)期之后，該大學(xué)的輟學(xué)率下降了56%，畢業(yè)率從64%升高到75%。26購(gòu)買飛機(jī)票 同一架飛機(jī)上的座位，票價(jià)卻千差萬(wàn)別，個(gè)中原因，只有航空公司知道。 奧倫-埃齊奧尼開發(fā)了一個(gè)系統(tǒng)，用來(lái)推測(cè)當(dāng)前網(wǎng)頁(yè)上的機(jī)

13、票價(jià)格是否合理，預(yù)測(cè)當(dāng)前的機(jī)票價(jià)格在未來(lái)一段時(shí)間內(nèi)會(huì)上漲還是下降，從而幫助乘客明智購(gòu)票。 這個(gè)預(yù)測(cè)系統(tǒng)建立在41天內(nèi)價(jià)格波動(dòng)產(chǎn)生的12000個(gè)價(jià)格樣本基礎(chǔ)之上。27航班延誤之候機(jī)經(jīng)濟(jì)學(xué) 美國(guó)建立了一個(gè)統(tǒng)一的數(shù)據(jù)開放門戶網(wǎng)站Data.Gov。 Data.Gov上線以后，美國(guó)交通部開放了全美航班起飛、到達(dá)、延誤的數(shù)據(jù)。 航班延誤時(shí)間的分析系統(tǒng)（Flyontime.us）：幫助消費(fèi)者找到表現(xiàn)最佳，最符合自己需要的航班。 該系統(tǒng)向全社會(huì)免費(fèi)開放，任何人都可以通過(guò)它查詢分析全國(guó)各次航班的延誤率及機(jī)場(chǎng)等候時(shí)間。28The-N與電影票房預(yù)測(cè) The-N在好萊塢電影上映之前，就能利用海量數(shù)據(jù)和特定算法預(yù)測(cè)出一

14、部電影的票房。 該公司擁有一個(gè)包括了過(guò)去幾十年美國(guó)所有商業(yè)電影大約3000萬(wàn)條記錄的數(shù)據(jù)庫(kù)；數(shù)據(jù)庫(kù)里有所有關(guān)于預(yù)算、電影流派、拍攝、陣容、獲得獎(jiǎng)項(xiàng)和收入等數(shù)據(jù)。29VISAMasterCard與商戶推薦 像VISA和MasterCard這樣的信用卡發(fā)行商，它們能夠從自己的服務(wù)網(wǎng)獲取更多的交易信息和顧客的消費(fèi)信息 它們的商業(yè)模式從單純的處理支付行為轉(zhuǎn)變成了收集數(shù)據(jù) 一個(gè)稱為MasterCard Advisors的部門收集和分析了來(lái)自210個(gè)國(guó)家的15億信用卡用戶的650億條交易記錄，用來(lái)預(yù)測(cè)商業(yè)發(fā)展和客戶的消費(fèi)趨勢(shì)。然后，它把這些分析結(jié)果賣給其他公司30FICO，“我們知道你明天會(huì)做什么” 20

15、11年，F(xiàn)ICO提出了“遵從醫(yī)囑評(píng)分”它分析一系列的變量來(lái)確定這個(gè)人是否會(huì)按時(shí)吃藥，包括一些看起來(lái)有點(diǎn)怪異的變量。 比方說(shuō)，一個(gè)人在某地居住了多久，這個(gè)人結(jié)婚了沒有，他多久換一個(gè)工作以及他是否有私家車。 這個(gè)評(píng)分會(huì)幫助醫(yī)療機(jī)構(gòu)節(jié)省開支，因?yàn)樗鼈儠?huì)知道哪些人需要得到它們的用藥提醒。有私家車和使用抗生素并沒有因果關(guān)系，這只是一種相關(guān)關(guān)系。31中英人壽保險(xiǎn)有限公司（Aviva） 中英人壽保險(xiǎn)有限公司（Aviva）是一家大型保險(xiǎn)公司，他們想利用信用報(bào)告和顧客市場(chǎng)分析數(shù)據(jù)來(lái)作為部分申請(qǐng)人的血液和尿液分析的關(guān)聯(lián)物。 這些分析結(jié)果被用來(lái)找出更有可能患高血壓、糖尿病和抑郁癥的人。其中用來(lái)分析的數(shù)據(jù)包括好幾百種

16、生活方式的數(shù)據(jù)，比如愛好、常瀏覽的網(wǎng)站、?？吹墓?jié)目、收入估計(jì)等。 通過(guò)利用相關(guān)關(guān)系，保險(xiǎn)公司可以在每人身上節(jié)省125美元，然而這個(gè)純數(shù)據(jù)分析法只需要花費(fèi)5美元。32Xoom與跨境匯款異常交易報(bào)警 Xoom是一個(gè)專門從事跨境匯款業(yè)務(wù)的公司，它會(huì)分析一筆交易的所有相關(guān)數(shù)據(jù)，一旦發(fā)現(xiàn)用“發(fā)現(xiàn)卡”從新澤西州匯款的交易比平常多的話，系統(tǒng)就會(huì)報(bào)警。33無(wú)所不包的谷歌翻譯系統(tǒng) 2006年，谷歌公司開始涉足機(jī)器翻譯。這被當(dāng)作實(shí)現(xiàn)“收集全世界的數(shù)據(jù)資源，并讓人人都可享受這些資源”這個(gè)目標(biāo)的一個(gè)步驟。 谷歌翻譯利用一個(gè)更大更繁雜的數(shù)據(jù)庫(kù)，也就是全球的互聯(lián)網(wǎng)。 谷歌翻譯系統(tǒng)為了訓(xùn)練計(jì)算機(jī)，會(huì)吸收它能找到的所有翻譯。它增加了很多各種各樣的數(shù)據(jù)，還接受了有錯(cuò)誤的數(shù)據(jù)。 谷歌語(yǔ)料庫(kù)的內(nèi)容來(lái)自于未經(jīng)過(guò)濾的網(wǎng)頁(yè)內(nèi)容，所以會(huì)包含各種錯(cuò)誤。但谷歌語(yǔ)料庫(kù)是其他語(yǔ)料庫(kù)的好幾百萬(wàn)倍大，這樣的優(yōu)勢(shì)完全壓倒了缺點(diǎn)34谷歌，從大的“噪音”數(shù)據(jù)中受益 谷歌知道人們?cè)谒阉鲿r(shí)點(diǎn)擊的是第1頁(yè)的第8個(gè)鏈接還是第8頁(yè)的第1個(gè)鏈接