一篇文章讓你認(rèn)識并讀懂大數(shù)據(jù)

1、大數(shù)據(jù)究竟竟是什么？一篇文章章讓你認(rèn)識識并讀懂大大數(shù)據(jù)在寫這篇文文章之前，我我發(fā)現(xiàn)身邊邊很多ITT人對于這這些熱門的的新技術(shù)、新趨勢往往往趨之若若鶩卻又很很難說的透透徹，如果果你問他大大數(shù)據(jù)和你你有什么關(guān)關(guān)系？估計(jì)計(jì)很少能說說出一二三三來。究其其原因，一一是因?yàn)榇蟠蠹覍π录技夹g(shù)有著相相同的原始始渴求，至至少知其然然在聊天時(shí)時(shí)不會(huì)顯得得很“土鱉鱉”；二是是在工作和和生活環(huán)境境中真正能能參與實(shí)踐踐大數(shù)據(jù)的的案例實(shí)在在太少了，所所以大家沒沒有必要花花時(shí)間去知知其所以然然。我希望有些些不一樣，所所以對該如如何去認(rèn)識識大數(shù)據(jù)進(jìn)進(jìn)行了一番番思索，包包括查閱了了資料，翻翻閱了最新新的專業(yè)書書籍，但我我并不想

2、把把那些零散散的資料碎碎片或不同同理解論述述簡單規(guī)整整并堆積起起來形成毫毫無價(jià)值的的轉(zhuǎn)述或評評論，我很很真誠的希希望進(jìn)入事事物探尋本本質(zhì)。如果你說大大數(shù)據(jù)就是是數(shù)據(jù)大，或或者侃侃而而談4個(gè)VV，也許很很有深度的的談到BII或預(yù)測的的價(jià)值，又又或者拿GGooglle和Ammazonn舉例，技技術(shù)流可能能會(huì)聊起HHadooop和Clloud Compputinng，不管管對錯(cuò)，只只是無法勾勾勒對大數(shù)數(shù)據(jù)的整體體認(rèn)識，不不說是片面面，但至少少有些管窺窺蠡測、隔隔衣瘙癢了了。也許，“解構(gòu)”是最好的的方法。怎樣結(jié)構(gòu)大大數(shù)據(jù)？首先，我認(rèn)認(rèn)為大數(shù)據(jù)據(jù)就是互聯(lián)聯(lián)網(wǎng)發(fā)展到到現(xiàn)今階段段的一種表表象或特征征而已，沒

3、沒有必要神神話它或?qū)λ３志淳次分模谠谝栽朴?jì)算算為代表的的技術(shù)創(chuàng)新新大幕的襯襯托下，這這些原本很很難收集和和使用的數(shù)數(shù)據(jù)開始容容易被利用用起來了，通通過各行各各業(yè)的不斷斷創(chuàng)新，大大數(shù)據(jù)會(huì)逐逐步為人類類創(chuàng)造更多多的價(jià)值。其次，想要要系統(tǒng)的認(rèn)認(rèn)知大數(shù)據(jù)據(jù)，必須要要全面而細(xì)細(xì)致的分解解它，我著著手從三個(gè)個(gè)層面來展展開：第一層面是是理論，理理論是認(rèn)知知的必經(jīng)途途徑，也是是被廣泛認(rèn)認(rèn)同和傳播播的基線。我會(huì)從大大數(shù)據(jù)的特特征定義理理解行業(yè)對對大數(shù)據(jù)的的整體描繪繪和定性；從對大數(shù)數(shù)據(jù)價(jià)值的的探討來深深入解析大大數(shù)據(jù)的珍珍貴所在；從對大數(shù)數(shù)據(jù)的現(xiàn)在在和未來去去洞悉大數(shù)數(shù)據(jù)的發(fā)展展趨勢；從從大數(shù)據(jù)隱隱私這

4、個(gè)特特別而重要要的視角審審視人和數(shù)數(shù)據(jù)之間的的長久博弈弈。第二層面是是技術(shù)，技技術(shù)是大數(shù)數(shù)據(jù)價(jià)值體體現(xiàn)的手段段和前進(jìn)的的基石。我我將分別從從云計(jì)算、分布式處處理技術(shù)、存儲技術(shù)術(shù)和感知技技術(shù)的發(fā)展展來說明大大數(shù)據(jù)從采采集、處理理、存儲到到形成結(jié)果果的整個(gè)過過程。第三層面是是實(shí)踐，實(shí)實(shí)踐是大數(shù)數(shù)據(jù)的最終終價(jià)值體現(xiàn)現(xiàn)。我將分分別從互聯(lián)聯(lián)網(wǎng)的大數(shù)數(shù)據(jù)，政府府的大數(shù)據(jù)據(jù)，企業(yè)的的大數(shù)據(jù)和和個(gè)人的大大數(shù)據(jù)四個(gè)個(gè)方面來描描繪大數(shù)據(jù)據(jù)已經(jīng)展現(xiàn)現(xiàn)的美好景景象及即將將實(shí)現(xiàn)的藍(lán)藍(lán)圖。和大數(shù)據(jù)據(jù)相關(guān)的理理論 特征定定義最早提出大大數(shù)據(jù)時(shí)代代到來的是是麥肯錫：“數(shù)據(jù)，已已經(jīng)滲透到到當(dāng)今每一一個(gè)行業(yè)和和業(yè)務(wù)職能能領(lǐng)域，成

5、成為重要的的生產(chǎn)因素素。人們對對于海量數(shù)數(shù)據(jù)的挖掘掘和運(yùn)用，預(yù)預(yù)示著新一一波生產(chǎn)率率增長和消消費(fèi)者盈余余浪潮的到到來?！睒I(yè)界（IBBM 最早早定義）將將大數(shù)據(jù)的的特征歸納納為4個(gè)“V”（量Voolumee，多樣VVarieety，價(jià)價(jià)值Vallue，速速Veloocityy），或者者說特點(diǎn)有有四個(gè)層面面：第一，數(shù)數(shù)據(jù)體量巨巨大。大數(shù)數(shù)據(jù)的起始始計(jì)量單位位至少是PP（10000個(gè)T）、E（1000萬個(gè)TT）或Z（110億個(gè)TT）；第二二，數(shù)據(jù)類類型繁多。比如，網(wǎng)網(wǎng)絡(luò)日志、視頻、圖圖片、地理理位置信息息等等。第第三，價(jià)值值密度低，商商業(yè)價(jià)值高高。第四，處處理速度快快。最后這這一點(diǎn)也是是和傳統(tǒng)的的數(shù)

6、據(jù)挖掘掘技術(shù)有著著本質(zhì)的不不同。其實(shí)這些VV并不能真真正說清楚楚大數(shù)據(jù)的的所有特征征，下面這這張圖對大大數(shù)據(jù)的一一些相關(guān)特特性做出了了有效的說說明。古語云：三三分技術(shù)，七七分?jǐn)?shù)據(jù)，得得數(shù)據(jù)者得得天下。先先不論誰說說的，但是是這句話的的正確性已已經(jīng)不用去去論證了。維克托邁爾-舍舍恩伯格在在大數(shù)據(jù)據(jù)時(shí)代一一書中舉了了百般例證證，都是為為了說明一一個(gè)道理：在大數(shù)據(jù)據(jù)時(shí)代已經(jīng)經(jīng)到來的時(shí)時(shí)候要用大大數(shù)據(jù)思維維去發(fā)掘大大數(shù)據(jù)的潛潛在價(jià)值。書中，作作者提及最最多的是GGooglle如何利利用人們的的搜索記錄錄挖掘數(shù)據(jù)據(jù)二次利用用價(jià)值，比比如預(yù)測某某地流感爆爆發(fā)的趨勢勢；Amaazon如如何利用用用戶的購買買

7、和瀏覽歷歷史數(shù)據(jù)進(jìn)進(jìn)行有針對對性的書籍籍購買推薦薦，以此有有效提升銷銷售量；FFareccast如如何利用過過去十年所所有的航線線機(jī)票價(jià)格格打折數(shù)據(jù)據(jù)，來預(yù)測測用戶購買買機(jī)票的時(shí)時(shí)機(jī)是否合合適。那么，什么么是大數(shù)據(jù)據(jù)思維？維維克托邁爾-舍舍恩伯格認(rèn)認(rèn)為，1-需要全部部數(shù)據(jù)樣本本而不是抽抽樣；2-關(guān)注效率率而不是精精確度；33-關(guān)注相相關(guān)性而不不是因果關(guān)關(guān)系。阿里巴巴的的王堅(jiān)對于于大數(shù)據(jù)也也有一些獨(dú)獨(dú)特的見解解，比如，“今天的數(shù)數(shù)據(jù)不是大大，真正有有意思的是是數(shù)據(jù)變得得在線了，這這個(gè)恰恰是是互聯(lián)網(wǎng)的的特點(diǎn)?！薄胺腔ヂ?lián)網(wǎng)網(wǎng)時(shí)期的產(chǎn)產(chǎn)品，功能能一定是它它的價(jià)值，今今天互聯(lián)網(wǎng)網(wǎng)的產(chǎn)品，數(shù)數(shù)據(jù)一定是是它

8、的價(jià)值值?！薄澳闱f不不要想著拿拿數(shù)據(jù)去改改進(jìn)一個(gè)業(yè)業(yè)務(wù)，這不不是大數(shù)據(jù)據(jù)。你一定定是去做了了一件以前前做不了的的事情?！碧貏e是最后后一點(diǎn)，我我是非常認(rèn)認(rèn)同的，大大數(shù)據(jù)的真真正價(jià)值在在于創(chuàng)造，在在于填補(bǔ)無無數(shù)個(gè)還未未實(shí)現(xiàn)過的的空白。有人把數(shù)據(jù)據(jù)比喻為蘊(yùn)蘊(yùn)藏能量的的煤礦。煤煤炭按照性性質(zhì)有焦煤煤、無煙煤煤、肥煤、貧煤等分分類，而露露天煤礦、深山煤礦礦的挖掘成成本又不一一樣。與此此類似，大大數(shù)據(jù)并不不在“大”，而在于于“有用”。價(jià)值含含量、挖掘掘成本比數(shù)數(shù)量更為重重要。 價(jià)值探探討大數(shù)據(jù)是什什么？投資資者眼里是是金光閃閃閃的兩個(gè)字字：資產(chǎn)。比如，F(xiàn)Facebbook上上市時(shí)，評評估機(jī)構(gòu)評評定的有效

9、效資產(chǎn)中大大部分都是是其社交網(wǎng)網(wǎng)站上的數(shù)數(shù)據(jù)。如果把大數(shù)數(shù)據(jù)比作一一種產(chǎn)業(yè)，那那么這種產(chǎn)產(chǎn)業(yè)實(shí)現(xiàn)盈盈利的關(guān)鍵鍵，在于提提高對數(shù)據(jù)據(jù)的“加工能力力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)據(jù)的“增值”。Targeet 超市市以20多多種懷孕期期間孕婦可可能會(huì)購買買的商品為為基礎(chǔ)，將將所有用戶戶的購買記記錄作為數(shù)數(shù)據(jù)來源，通通過構(gòu)建模模型分析購購買者的行行為相關(guān)性性，能準(zhǔn)確確的推斷出出孕婦的具具體臨盆時(shí)時(shí)間，這樣樣Targget的銷銷售部門就就可以有針針對的在每每個(gè)懷孕顧顧客的不同同階段寄送送相應(yīng)的產(chǎn)產(chǎn)品優(yōu)惠卷卷。Targeet的例子子是一個(gè)很很典型的案案例，這樣樣印證了維維克托邁爾-舍舍恩伯格提提過的一個(gè)個(gè)很有指

10、導(dǎo)導(dǎo)意義的觀觀點(diǎn)：通過過找出一個(gè)個(gè)關(guān)聯(lián)物并并監(jiān)控它，就就可以預(yù)測測未來。TTargeet通過監(jiān)監(jiān)測購買者者購買商品品的時(shí)間和和品種來準(zhǔn)準(zhǔn)確預(yù)測顧顧客的孕期期，這就是是對數(shù)據(jù)的的二次利用用的典型案案例。如果果，我們通通過采集駕駕駛員手機(jī)機(jī)的GPSS數(shù)據(jù)，就就可以分析析出當(dāng)前哪哪些道路正正在堵車，并并可以及時(shí)時(shí)發(fā)布道路路交通提醒醒；通過采采集汽車的的GPS位位置數(shù)據(jù)，就就可以分析析城市的哪哪些區(qū)域停停車較多，這這也代表該該區(qū)域有著著較為活躍躍的人群，這這些分析數(shù)數(shù)據(jù)適合賣賣給廣告投投放商。不管大數(shù)據(jù)據(jù)的核心價(jià)價(jià)值是不是是預(yù)測，但但是基于大大數(shù)據(jù)形成成決策的模模式已經(jīng)為為不少的企企業(yè)帶來了了盈利和聲

11、聲譽(yù)。從大數(shù)據(jù)的的價(jià)值鏈條條來分析，存存在三種模模式：1- 手握握大數(shù)據(jù)，但但是沒有利利用好；比比較典型的的是金融機(jī)機(jī)構(gòu)，電信信行業(yè)，政政府機(jī)構(gòu)等等。2- 沒有有數(shù)據(jù)，但但是知道如如何幫助有有數(shù)據(jù)的人人利用它；比較典型型的是ITT咨詢和服服務(wù)企業(yè)，比比如，埃森森哲，IBBM，Orraclee等。3- 既有有數(shù)據(jù)，又又有大數(shù)據(jù)據(jù)思維；比比較典型的的是Gooogle，AAmazoon，Maasterrcardd等。未來在大數(shù)數(shù)據(jù)領(lǐng)域最最具有價(jià)值值的是兩種種事物：11-擁有大大數(shù)據(jù)思維維的人，這這種人可以以將大數(shù)據(jù)據(jù)的潛在價(jià)價(jià)值轉(zhuǎn)化為為實(shí)際利益益；2-還還未有被大大數(shù)據(jù)觸及及過的業(yè)務(wù)務(wù)領(lǐng)域。這這些是

12、還未未被挖掘的的油井，金金礦，是所所謂的藍(lán)海海。Wal-MMart作作為零售行行業(yè)的巨頭頭，他們的的分析人員員會(huì)對每個(gè)個(gè)階段的銷銷售記錄進(jìn)進(jìn)行了全面面的分析，有有一次他們們無意中發(fā)發(fā)現(xiàn)雖不相相關(guān)但很有有價(jià)值的數(shù)數(shù)據(jù)，在美美國的颶風(fēng)風(fēng)來臨季節(jié)節(jié)，超市的的蛋撻和抵抵御颶風(fēng)物物品竟然銷銷量都有大大幅增加，于于是他們做做了一個(gè)明明智決策，就就是將蛋撻撻的銷售位位置移到了了颶風(fēng)物品品銷售區(qū)域域旁邊，看看起來是為為了方便用用戶挑選，但但是沒有想想到蛋撻的的銷量因此此又提高了了很多。還有一個(gè)有有趣的例子子，19448年遼沈沈戰(zhàn)役期間間，司令員員林彪要求求每天要進(jìn)進(jìn)行例常的的“每日軍情情匯報(bào)”，由值班班參謀讀

13、出出下屬各個(gè)個(gè)縱隊(duì)、師師、團(tuán)用電電臺報(bào)告的的當(dāng)日戰(zhàn)況況和繳獲情情況。那幾幾乎是重復(fù)復(fù)著千篇一一律枯燥無無味的數(shù)據(jù)據(jù)：每支部部隊(duì)殲敵多多少、俘虜虜多少;繳繳獲的火炮炮、車輛多多少，槍支支、物資多多少有一天天，參謀照照例匯報(bào)當(dāng)當(dāng)日的戰(zhàn)況況，林彪突突然打斷他他：“剛才念的的在胡家窩窩棚那個(gè)戰(zhàn)戰(zhàn)斗的繳獲獲，你們聽聽到了嗎?”大家都很很茫然，因因?yàn)槿绱藨?zhàn)戰(zhàn)斗每天都都有幾十起起，不都是是差不多一一模一樣的的枯燥數(shù)字字嗎?林彪彪掃視一周周，見無人人回答，便便接連問了了三句：“為什么那那里繳獲的的短槍與長長槍的比例例比其它戰(zhàn)戰(zhàn)斗略高?”“為什么么那里繳獲獲和擊毀的的小車與大大車的比例例比其它戰(zhàn)戰(zhàn)斗略高?”“為

14、什么么在那里俘俘虜和擊斃斃的軍官與與士兵的比比例比其它它戰(zhàn)斗略高高?”林彪司令令員大步走走向掛滿軍軍用地圖的的墻壁，指指著地圖上上的那個(gè)點(diǎn)點(diǎn)說：“我猜想，不不，我斷定定!敵人的的指揮所就就在這里!”果然，部部隊(duì)很快就就抓住了敵敵方的指揮揮官廖耀湘湘，并取得得這場重要要戰(zhàn)役的勝勝利。這些例子真真實(shí)的反映映在各行各各業(yè)，探求求數(shù)據(jù)價(jià)值值取決于把把握數(shù)據(jù)的的人，關(guān)鍵鍵是人的數(shù)數(shù)據(jù)思維；與其說是是大數(shù)據(jù)創(chuàng)創(chuàng)造了價(jià)值值，不如說說是大數(shù)據(jù)據(jù)思維觸發(fā)發(fā)了新的價(jià)價(jià)值增長。 現(xiàn)在和和未來我們先看看看大數(shù)據(jù)在在當(dāng)下有怎怎樣的杰出出表現(xiàn)：大數(shù)據(jù)幫助助政府實(shí)現(xiàn)現(xiàn)市場經(jīng)濟(jì)濟(jì)調(diào)控、公公共衛(wèi)生安安全防范、災(zāi)難預(yù)警警、社會(huì)輿

15、輿論監(jiān)督；大數(shù)據(jù)幫助助城市預(yù)防防犯罪，實(shí)實(shí)現(xiàn)智慧交交通，提升升緊急應(yīng)急急能力；大數(shù)據(jù)幫助助醫(yī)療機(jī)構(gòu)構(gòu)建立患者者的疾病風(fēng)風(fēng)險(xiǎn)跟蹤機(jī)機(jī)制，幫助助醫(yī)藥企業(yè)業(yè)提升藥品品的臨床使使用效果，幫幫助艾滋病病研究機(jī)構(gòu)構(gòu)為患者提提供定制的的藥物；大數(shù)據(jù)幫助助航空公司司節(jié)省運(yùn)營營成本，幫幫助電信企企業(yè)實(shí)現(xiàn)售售后服務(wù)質(zhì)質(zhì)量提升，幫幫助保險(xiǎn)企企業(yè)識別欺欺詐騙保行行為，幫助助快遞公司司監(jiān)測分析析運(yùn)輸車輛輛的故障險(xiǎn)險(xiǎn)情以提前前預(yù)警維修修，幫助電電力公司有有效識別預(yù)預(yù)警即將發(fā)發(fā)生故障的的設(shè)備；大數(shù)據(jù)幫助助電商公司司向用戶推推薦商品和和服務(wù)，幫幫助旅游網(wǎng)網(wǎng)站為旅游游者提供心心儀的旅游游路線，幫幫助二手市市場的買賣賣雙方找到到

16、最合適的的交易目標(biāo)標(biāo)，幫助用用戶找到最最合適的商商品購買時(shí)時(shí)期、商家家和最優(yōu)惠惠價(jià)格；大數(shù)據(jù)幫助助企業(yè)提升升營銷的針針對性，降降低物流和和庫存的成成本，減少少投資的風(fēng)風(fēng)險(xiǎn)，以及及幫助企業(yè)業(yè)提升廣告告投放精準(zhǔn)準(zhǔn)度；大數(shù)據(jù)幫助助娛樂行業(yè)業(yè)預(yù)測歌手手，歌曲，電電影，電視視劇的受歡歡迎程度，并并為投資者者分析評估估拍一部電電影需要投投入多少錢錢才最合適適，否則就就有可能收收不回成本本；大數(shù)據(jù)幫助助社交網(wǎng)站站提供更準(zhǔn)準(zhǔn)確的好友友推薦，為為用戶提供供更精準(zhǔn)的的企業(yè)招聘聘信息，向向用戶推薦薦可能喜歡歡的游戲以以及適合購購買的商品品。其實(shí)，這些些還遠(yuǎn)遠(yuǎn)不不夠，未來來大數(shù)據(jù)的的身影應(yīng)該該無處不在在，就算無無法準(zhǔn)

17、確預(yù)預(yù)測大數(shù)據(jù)據(jù)終會(huì)將人人類社會(huì)帶帶往到哪種種最終形態(tài)態(tài)，但我相相信只要發(fā)發(fā)展腳步在在繼續(xù)，因因大數(shù)據(jù)而而產(chǎn)生的變變革浪潮將將很快淹沒沒地球的每每一個(gè)角落落。比如，Ammazonn的最終期期望是：“最成功的的書籍推薦薦應(yīng)該只有有一本書，就就是用戶要要買的下一一本書?！盙ooglle也希望望當(dāng)用戶在在搜索時(shí)，最最好的體驗(yàn)驗(yàn)是搜索結(jié)結(jié)果只包含含用戶所需需要的內(nèi)容容，而這并并不需要用用戶給予GGooglle太多的的提示。而當(dāng)物聯(lián)網(wǎng)網(wǎng)發(fā)展到達(dá)達(dá)一定規(guī)模模時(shí)，借助助條形碼、二維碼、RFIDD等能夠唯唯一標(biāo)識產(chǎn)產(chǎn)品，傳感感器、可穿穿戴設(shè)備、智能感知知、視頻采采集、增強(qiáng)強(qiáng)現(xiàn)實(shí)等技技術(shù)可實(shí)現(xiàn)現(xiàn)實(shí)時(shí)的信信息采集

18、和和分析，這這些數(shù)據(jù)能能夠支撐智智慧城市，智智慧交通，智智慧能源，智智慧醫(yī)療，智智慧環(huán)保的的理念需要要，這些都都所謂的智智慧將是大大數(shù)據(jù)的采采集數(shù)據(jù)來來源和服務(wù)務(wù)范圍。未來的大數(shù)數(shù)據(jù)除了將將更好的解解決社會(huì)問問題，商業(yè)業(yè)營銷問題題，科學(xué)技技術(shù)問題，還還有一個(gè)可可預(yù)見的趨趨勢是以人人為本的大大數(shù)據(jù)方針針。人才是是地球的主主宰，大部部分的數(shù)據(jù)據(jù)都與人類類有關(guān)，要要通過大數(shù)數(shù)據(jù)解決人人的問題。比如，建立立個(gè)人的數(shù)數(shù)據(jù)中心，將將每個(gè)人的的日常生活活習(xí)慣，身身體體征，社社會(huì)網(wǎng)絡(luò)，知知識能力，愛愛好性情，疾疾病嗜好，情情緒波動(dòng)換言之之就是記錄錄人從出生生那一刻起起的每一分分每一秒，將將除了思維維外的一切切

19、都儲存下下來，這些些數(shù)據(jù)可以以被充分的的利用：醫(yī)療機(jī)構(gòu)將將實(shí)時(shí)的監(jiān)監(jiān)測用戶的的身體健康康狀況；教育機(jī)構(gòu)更更有針對的的制定用戶戶喜歡的教教育培訓(xùn)計(jì)計(jì)劃；服務(wù)行業(yè)為為用戶提供供即時(shí)健康康的符合用用戶生活習(xí)習(xí)慣的食物物和其它服服務(wù)；社交網(wǎng)絡(luò)能能為你提供供合適的交交友對象，并并為志同道道合的人群群組織各種種聚會(huì)活動(dòng)動(dòng)；政府能在用用戶的心理理健康出現(xiàn)現(xiàn)問題時(shí)有有效的干預(yù)預(yù)，防范自自殺，刑事事案件的發(fā)發(fā)生；金融機(jī)構(gòu)能能幫助用戶戶進(jìn)行有效效的理財(cái)管管理，為用用戶的資金金提供更有有效的使用用建議和規(guī)規(guī)劃；道路交通、汽車租賃賃及運(yùn)輸行行業(yè)可以為為用戶提供供更合適的的出行線路路和路途服服務(wù)安排；當(dāng)然，上面面的一切

20、看看起來都很很美好，但但是否是以以犧牲了用用戶的自由由為前提呢呢？只能說說當(dāng)新鮮事事物帶來了了革新的同同時(shí)也同樣樣帶來了“病菌”。比如，在在手機(jī)未普普及前，大大家喜歡聚聚在一起聊聊天，自從從手機(jī)普及及后特別是是有了互聯(lián)聯(lián)網(wǎng)，大家家不用聚在在一起也可可以隨時(shí)隨隨地的聊天天，只是“病菌”滋生了另另外一種情情形，大家家慢慢習(xí)慣慣了和手機(jī)機(jī)共渡時(shí)光光，人與人人之間情感感交流仿佛佛永遠(yuǎn)隔著著一張“網(wǎng)”。 大數(shù)據(jù)據(jù)隱私你或許并不不敏感，當(dāng)當(dāng)你在不同同的網(wǎng)站上上注冊了個(gè)個(gè)人信息后后，可能這這些信息已已經(jīng)被擴(kuò)散散出去了，當(dāng)當(dāng)你莫名其其妙的接到到各種郵件件，電話，短短信的滋擾擾時(shí)，你不不會(huì)想到自自己的電話話號碼

21、，郵郵箱，生日日，購買記記錄，收入入水平，家家庭住址，親親朋好友等等私人信息息早就被各各種商業(yè)機(jī)機(jī)構(gòu)非法存存儲或賤賣賣給其它任任何有需要要的企業(yè)或或個(gè)人了。更可怕的是是，這些信信息你永遠(yuǎn)遠(yuǎn)無法刪除除，它們永永遠(yuǎn)存在于于互聯(lián)網(wǎng)的的某些你不不知道的角角落。除非非你更換掉掉自己的所所有信息，但但是這代價(jià)價(jià)太大了。用戶隱私問問題一直是是大數(shù)據(jù)應(yīng)應(yīng)用難以繞繞開的一個(gè)個(gè)問題，如如被央視曝曝光過的分分眾無線、羅維鄧白白氏以及網(wǎng)網(wǎng)易郵箱都都涉及侵犯犯用戶隱私私。目前，中中國并沒有有專門的法法律法規(guī)來來界定用戶戶隱私，處處理相關(guān)問問題時(shí)多采采用其他相相關(guān)法規(guī)條條例來解釋釋。但隨著著民眾隱私私意識的日日益增強(qiáng)，合

22、合法合規(guī)地地獲取數(shù)據(jù)據(jù)、分析數(shù)數(shù)據(jù)和應(yīng)用用數(shù)據(jù)，是是進(jìn)行大數(shù)數(shù)據(jù)分析時(shí)時(shí)必須遵循循的原則。說到隱私被被侵犯，愛愛德華斯諾登應(yīng)應(yīng)該占據(jù)一一席之地，這這位前美國國中央情報(bào)報(bào)局（CIIA）雇員員一手引爆爆了美國“棱鏡計(jì)劃劃”（PRIISM）的的內(nèi)幕消息息?！袄忡R”項(xiàng)目是一一項(xiàng)由美國國國家安全全局（NSSA）自22007年年起開始實(shí)實(shí)施的絕密密電子監(jiān)聽聽計(jì)劃，年年耗資近22000億億美元，用用于監(jiān)聽全全美電話通通話記錄，據(jù)據(jù)稱還可以以使情報(bào)人人員通過“后門”進(jìn)入9家家主要科技技公司的服服務(wù)器，包包括微軟、雅虎、谷谷歌、Faaceboook、PPalTaalk、美美國在線、Skyppe、YoouTubb

23、e、蘋果果。這個(gè)事事件引發(fā)了了人們對政政府使用大大數(shù)據(jù)時(shí)對對公民隱私私侵犯的擔(dān)擔(dān)心。再看看我們們身邊，當(dāng)當(dāng)微博，微微信，QQQ空間這些些社交平臺臺肆意的吞吞噬著數(shù)億億用戶的各各種信息時(shí)時(shí)，你就不不要指望你你還有隱私私權(quán)了，就就算你在某某個(gè)地方刪刪除了，但但也許這些些信息已經(jīng)經(jīng)被其他人人轉(zhuǎn)載或保保存了，更更有可能已已經(jīng)被百度度或Gooogle存存為快照，早早就提供給給任意用戶戶搜索了。因此在大大數(shù)據(jù)的背背景下，很很多人都在在積極的抵抵制無底線線的數(shù)字化化，這種大大數(shù)據(jù)和個(gè)個(gè)體之間的的博弈還會(huì)會(huì)一直繼續(xù)續(xù)下去專家給予了了我們一些些如何有效效保護(hù)大數(shù)數(shù)據(jù)背景下下隱私權(quán)的的建議：11-減少信信息的數(shù)字

24、字化；2-隱私權(quán)立立法；3-數(shù)字隱私私權(quán)基礎(chǔ)設(shè)設(shè)施（類似似DRM數(shù)數(shù)字版權(quán)管管理）；44-人類改改變認(rèn)知（接接受忽略過過去）；55-創(chuàng)造良良性的信息息生態(tài)；66-語境化化。但是這些都都很難立即即見效或者者有實(shí)質(zhì)性性的改善。比如，現(xiàn)在在有一種職職業(yè)叫刪帖帖人，專門門負(fù)責(zé)幫人人到各大網(wǎng)網(wǎng)站刪帖，刪刪除評論。其實(shí)這些些人就是通通過黑客技技術(shù)侵入各各大網(wǎng)站，破破獲管理員員的密碼然然后進(jìn)行手手工定向刪刪除。只不不過他們保保護(hù)的不是是客戶的隱隱私，而大大多是丑聞聞。還有一一種職業(yè)叫叫人肉專家家，他們負(fù)負(fù)責(zé)從互聯(lián)聯(lián)網(wǎng)上找到到一個(gè)與他他們根本就就無關(guān)系用用戶的任意意信息。這這是很可怕怕的事情，也也就是說，如如

25、果有人想想找到你，只只需要兩個(gè)個(gè)條件：11-你上過過網(wǎng)，留下下過痕跡；2-你的的親朋好友友或僅僅是是認(rèn)識你的的人上過網(wǎng)網(wǎng)，留下過過你的痕跡跡。這兩個(gè)個(gè)條件滿足足其一，人人肉專家就就可以很輕輕松的找到到你，可能能還知道你你現(xiàn)在正在在某個(gè)餐廳廳和誰一起起共進(jìn)晚餐餐。當(dāng)很多互聯(lián)聯(lián)網(wǎng)企業(yè)意意識到隱私私對于用戶戶的重要性性時(shí)，為了了繼續(xù)得到到用戶的信信任，他們們采取了很很多辦法，比比如gooogle承承諾僅保留留用戶的搜搜索記錄99個(gè)月，瀏瀏覽器廠商商提供了無無痕沖浪模模式，社交交網(wǎng)站拒絕絕公共搜索索引擎的爬爬蟲進(jìn)入，并并將提供出出去的數(shù)據(jù)據(jù)全部采取取匿名方式式處理等。在這種復(fù)雜雜的環(huán)境里里面，很多多人

26、依然沒沒有建立對對于信息隱隱私的保護(hù)護(hù)意識，讓讓自己一直直處于被滋滋擾，被精精心設(shè)計(jì)，被被利用，被被監(jiān)視的處處境中?？煽墒?，我們們能做的幾幾乎微乎其其微，因?yàn)闉閭€(gè)人隱私私數(shù)據(jù)已經(jīng)經(jīng)無法由我我們自己掌掌控了，就就像一首詩詩里說到的的：“如果你現(xiàn)現(xiàn)在繼續(xù)麻麻木，那就就別指望這這麻木能抵抵擋得住被被”扒光”那一刻的的驚恐和絕絕望”和大數(shù)據(jù)據(jù)相關(guān)的技技術(shù) 云技術(shù)術(shù)大數(shù)據(jù)常和和云計(jì)算聯(lián)聯(lián)系到一起起，因?yàn)閷?shí)實(shí)時(shí)的大型型數(shù)據(jù)集分分析需要分分布式處理理框架來向向數(shù)十、數(shù)數(shù)百或甚至至數(shù)萬的電電腦分配工工作。可以以說，云計(jì)計(jì)算充當(dāng)了了工業(yè)革命命時(shí)期的發(fā)發(fā)動(dòng)機(jī)的角角色，而大大數(shù)據(jù)則是是電。云計(jì)算思想想的起源是是麥卡

27、錫在在上世紀(jì)660年代提提出的：把把計(jì)算能力力作為一種種像水和電電一樣的公公用事業(yè)提提供給用戶戶。如今，在GGooglle、Ammazonn、Facceboook等一批批互聯(lián)網(wǎng)企企業(yè)引領(lǐng)下下，一種行行之有效的的模式出現(xiàn)現(xiàn)了：云計(jì)計(jì)算提供基基礎(chǔ)架構(gòu)平平臺，大數(shù)數(shù)據(jù)應(yīng)用運(yùn)運(yùn)行在這個(gè)個(gè)平臺上。業(yè)內(nèi)是這么么形容兩者者的關(guān)系：沒有大數(shù)數(shù)據(jù)的信息息積淀，則則云計(jì)算的的計(jì)算能力力再強(qiáng)大，也也難以找到到用武之地地；沒有云云計(jì)算的處處理能力，則則大數(shù)據(jù)的的信息積淀淀再豐富，也也終究只是是鏡花水月月。那么大數(shù)據(jù)據(jù)到底需要要哪些云計(jì)計(jì)算技術(shù)呢呢？這里暫且列列舉一些，比比如虛擬化化技術(shù)，分分布式處理理技術(shù)，海海量數(shù)據(jù)

28、的的存儲和管管理技術(shù)，NNoSQLL、實(shí)時(shí)流流數(shù)據(jù)處理理、智能分分析技術(shù)（類類似模式識識別以及自自然語言理理解）等。云計(jì)算和大大數(shù)據(jù)之間間的關(guān)系可可以用下面面的一張圖圖來說明，兩兩者之間結(jié)結(jié)合后會(huì)產(chǎn)產(chǎn)生如下效效應(yīng)：可以以提供更多多基于海量量業(yè)務(wù)數(shù)據(jù)據(jù)的創(chuàng)新型型服務(wù)；通通過云計(jì)算算技術(shù)的不不斷發(fā)展降降低大數(shù)據(jù)據(jù)業(yè)務(wù)的創(chuàng)創(chuàng)新成本。如果將云計(jì)計(jì)算與大數(shù)數(shù)據(jù)進(jìn)行一一些比較，最最明顯的區(qū)區(qū)分在兩個(gè)個(gè)方面：第一，在概概念上兩者者有所不同同，云計(jì)算算改變了IIT，而大大數(shù)據(jù)則改改變了業(yè)務(wù)務(wù)。然而大大數(shù)據(jù)必須須有云作為為基礎(chǔ)架構(gòu)構(gòu)，才能得得以順暢運(yùn)運(yùn)營。第二，大數(shù)數(shù)據(jù)和云計(jì)計(jì)算的目標(biāo)標(biāo)受眾不同同，云計(jì)算算是C

29、IOO等關(guān)心的的技術(shù)層，是是一個(gè)進(jìn)階階的IT解解決方案。而大數(shù)據(jù)據(jù)是CEOO關(guān)注的、是業(yè)務(wù)層層的產(chǎn)品，而而大數(shù)據(jù)的的決策者是是業(yè)務(wù)層。 分布式式處理技術(shù)術(shù)分布式處理理系統(tǒng)可以以將不同地地點(diǎn)的或具具有不同功功能的或擁擁有不同數(shù)數(shù)據(jù)的多臺臺計(jì)算機(jī)用用通信網(wǎng)絡(luò)絡(luò)連接起來來，在控制制系統(tǒng)的統(tǒng)統(tǒng)一管理控控制下，協(xié)協(xié)調(diào)地完成成信息處理理任務(wù)這就是分分布式處理理系統(tǒng)的定定義。以Hadooop（YYahooo）為例進(jìn)進(jìn)行說明，HHadooop是一個(gè)個(gè)實(shí)現(xiàn)了MMapReeducee模式的能能夠?qū)Υ罅苛繑?shù)據(jù)進(jìn)行行分布式處處理的軟件件框架，是是以一種可可靠、高效效、可伸縮縮的方式進(jìn)進(jìn)行處理的的。而MapRReduc

30、ce是Goooglee提出的一一種云計(jì)算算的核心計(jì)計(jì)算模式，是是一種分布布式運(yùn)算技技術(shù)，也是是簡化的分分布式編程程模式，MMapReeducee模式的主主要思想是是將自動(dòng)分分割要執(zhí)行行的問題（例例如程序）拆拆解成maap（映射射）和reeducee（化簡）的的方式， 在數(shù)據(jù)被被分割后通通過Mapp 函數(shù)的的程序?qū)?shù)數(shù)據(jù)映射成成不同的區(qū)區(qū)塊，分配配給計(jì)算機(jī)機(jī)機(jī)群處理理達(dá)到分布布式運(yùn)算的的效果，在在通過Reeducee 函數(shù)的的程序?qū)⒔Y(jié)結(jié)果匯整，從從而輸出開開發(fā)者需要要的結(jié)果。再來看看HHadooop的特性性，第一，它它是可靠的的，因?yàn)樗僭O(shè)計(jì)算算元素和存存儲會(huì)失敗敗，因此它它維護(hù)多個(gè)個(gè)工作數(shù)據(jù)

31、據(jù)副本，確確保能夠針針對失敗的的節(jié)點(diǎn)重新新分布處理理。其次，HHadooop 是高高效的，因因?yàn)樗圆⒉⑿械姆绞绞焦ぷ?，通通過并行處處理加快處處理速度。Hadooop 還還是可伸縮縮的，能夠夠處理 PPB 級數(shù)數(shù)據(jù)。此外外，Haddoop 依賴于社社區(qū)服務(wù)器器，因此它它的成本比比較低，任任何人都可可以使用。你也可以這這么理解HHadooop的構(gòu)成成，Haddoop=HDFSS（文件系系統(tǒng)，數(shù)據(jù)據(jù)存儲技術(shù)術(shù)相關(guān)）+HBasse（數(shù)據(jù)據(jù)庫）+MMapReeducee（數(shù)據(jù)處處理）+OthhersHadooop用到的的一些技術(shù)術(shù)有：HDFS: Haddoop分分布式文件件系統(tǒng)(DDistrribut

32、ted FFile Systtem) HDDFS (HadooopDiistriibuteed Fiile SSysteem)MapReeducee：并行計(jì)計(jì)算框架HBasee: 類似似Googgle BBigTaable的的分布式NNoSQLL列數(shù)據(jù)庫庫。Hive：數(shù)據(jù)倉庫庫工具，由由Faceebookk貢獻(xiàn)。Zookeeeperr：分布式式鎖設(shè)施，提提供類似GGooglle Chhubbyy的功能，由由Faceebookk貢獻(xiàn)。Avro：新的數(shù)據(jù)據(jù)序列化格格式與傳輸輸工具，將將逐步取代代Hadooop原有有的IPCC機(jī)制。Pig:大大數(shù)據(jù)分析析平臺，為為用戶提供供多種接口口。Ambarri

33、：Haadoopp管理工具具，可以快快捷的監(jiān)控控、部署、管理集群群。Sqoopp：用于在在Hadooop與傳傳統(tǒng)的數(shù)據(jù)據(jù)庫間進(jìn)行行數(shù)據(jù)的傳傳遞。說了這么多多，舉個(gè)實(shí)實(shí)際的例子子，雖然這這個(gè)例子有有些陳舊，但但是淘寶的的海量數(shù)據(jù)據(jù)技術(shù)架構(gòu)構(gòu)還是有助助于我們理理解對于大大數(shù)據(jù)的運(yùn)運(yùn)作處理機(jī)機(jī)制:如上圖所示示，淘寶的的海量數(shù)據(jù)據(jù)產(chǎn)品技術(shù)術(shù)架構(gòu)分為為五個(gè)層次次，從上至至下來看它它們分別是是：數(shù)據(jù)源源，計(jì)算層層，存儲層層，查詢層層和產(chǎn)品層層。數(shù)據(jù)來源層層。存放著著淘寶各店店的交易數(shù)數(shù)據(jù)。在數(shù)數(shù)據(jù)源層產(chǎn)產(chǎn)生的數(shù)據(jù)據(jù)，通過DDataXX，DbSSync和和Timeetuneel準(zhǔn)實(shí)時(shí)時(shí)的傳輸?shù)降较旅娴?2點(diǎn)

34、所述的的“云梯”。計(jì)算層。在這個(gè)計(jì)計(jì)算層內(nèi)，淘淘寶采用的的是Haddoop集集群，這個(gè)個(gè)集群，我我們暫且稱稱之為云梯梯，是計(jì)算算層的主要要組成部分分。在云梯梯上，系統(tǒng)統(tǒng)每天會(huì)對對數(shù)據(jù)產(chǎn)品品進(jìn)行不同同的MappReduuce計(jì)算算。存儲層層。在這一一層，淘寶寶采用了兩兩個(gè)東西，一一個(gè)使MyyFox，一一個(gè)是Prrom。MMyFoxx是基于MMySQLL的分布式式關(guān)系型數(shù)數(shù)據(jù)庫的集集群，Prrom是基基于Haddoop Hbasse技術(shù)的的一個(gè)NooSQL的的存儲集群群。查詢層層。在這一一層中，GGlideer是以HHTTP協(xié)協(xié)議對外提提供resstfull方式的接接口。數(shù)據(jù)據(jù)產(chǎn)品通過過一個(gè)唯一一

35、的URLL來獲取到到它想要的的數(shù)據(jù)。同同時(shí)，數(shù)據(jù)據(jù)查詢即是是通過MyyFox來來查詢的。最后一層是是產(chǎn)品層，這這個(gè)就不用用解釋了。 存儲技技術(shù)大數(shù)據(jù)可以以抽象的分分為大數(shù)據(jù)據(jù)存儲和大大數(shù)據(jù)分析析，這兩者者的關(guān)系是是：大數(shù)據(jù)據(jù)存儲的目目的是支撐撐大數(shù)據(jù)分分析。到目目前為止，還還是兩種截截然不同的的計(jì)算機(jī)技技術(shù)領(lǐng)域：大數(shù)據(jù)存存儲致力于于研發(fā)可以以擴(kuò)展至PPB甚至EEB級別的的數(shù)據(jù)存儲儲平臺；大大數(shù)據(jù)分析析關(guān)注在最最短時(shí)間內(nèi)內(nèi)處理大量量不同類型型的數(shù)據(jù)集集。提到存儲，有有一個(gè)著名名的摩爾定定律相信大大家都聽過過：18個(gè)個(gè)月集成電電路的復(fù)雜雜性就增加加一倍。所所以，存儲儲器的成本本大約每118-244

36、個(gè)月就下下降一半。成本的不不斷下降也也造就了大大數(shù)據(jù)的可可存儲性。比如，Goooglee大約管理理著超過550萬臺服服務(wù)器和1100萬塊塊硬盤，而而且Gooogle還還在不斷的的擴(kuò)大計(jì)算算能力和存存儲能力，其其中很多的的擴(kuò)展都是是基于在廉廉價(jià)服務(wù)器器和普通存存儲硬盤的的基礎(chǔ)上進(jìn)進(jìn)行的，這這大大降低低了其服務(wù)務(wù)成本，因因此可以將將更多的資資金投入到到技術(shù)的研研發(fā)當(dāng)中。以Amazzon舉例例，Amaazon S3 是是一種面向向 Intterneet 的存存儲服務(wù)。該服務(wù)旨旨在讓開發(fā)發(fā)人員能更更輕松的進(jìn)進(jìn)行網(wǎng)絡(luò)規(guī)規(guī)模計(jì)算。Amazzon SS3 提供供一個(gè)簡明明的 Weeb 服務(wù)務(wù)界面，用用戶可通

37、過過它隨時(shí)在在 Webb 上的任任何位置存存儲和檢索索的任意大大小的數(shù)據(jù)據(jù)。 此服服務(wù)讓所有有開發(fā)人員員都能訪問問同一個(gè)具具備高擴(kuò)展展性、可靠靠性、安全全性和快速速價(jià)廉的基基礎(chǔ)設(shè)施，AAmazoon 用它它來運(yùn)行其其全球的網(wǎng)網(wǎng)站網(wǎng)絡(luò)。再看看SS3的設(shè)計(jì)計(jì)指標(biāo)：在在特定年度度內(nèi)為數(shù)據(jù)據(jù)元提供 99.999999999999% 的耐耐久性和 99.999% 的的可用性，并并能夠承受受兩個(gè)設(shè)施施中的數(shù)據(jù)據(jù)同時(shí)丟失失。S3很成功功也確實(shí)卓卓有成效，SS3云的存存儲對象已已達(dá)到萬億億級別，而而且性能表表現(xiàn)相當(dāng)良良好。S33云已經(jīng)擁擁萬億跨地地域存儲對對象，同時(shí)時(shí)AWS的的對象執(zhí)行行請求也達(dá)達(dá)到百萬的的峰

38、值數(shù)量量。目前全全球范圍內(nèi)內(nèi)已經(jīng)有數(shù)數(shù)以十萬計(jì)計(jì)的企業(yè)在在通過AWWS運(yùn)行自自己的全部部或者部分分日常業(yè)務(wù)務(wù)。這些企企業(yè)用戶遍遍布1900多個(gè)國家家，幾乎世世界上的每每個(gè)角落都都有Amaazon用用戶的身影影。 感知技技術(shù)大數(shù)據(jù)的采采集和感知知技術(shù)的發(fā)發(fā)展是緊密密聯(lián)系的。以傳感器器技術(shù)，指指紋識別技技術(shù)，RFFID技術(shù)術(shù)，坐標(biāo)定定位技術(shù)等等為基礎(chǔ)的的感知能力力提升同樣樣是物聯(lián)網(wǎng)網(wǎng)發(fā)展的基基石。全世世界的工業(yè)業(yè)設(shè)備、汽汽車、電表表上有著無無數(shù)的數(shù)碼碼傳感器，隨隨時(shí)測量和和傳遞著有有關(guān)位置、運(yùn)動(dòng)、震震動(dòng)、溫度度、濕度乃乃至空氣中中化學(xué)物質(zhì)質(zhì)的變化，都都會(huì)產(chǎn)生海海量的數(shù)據(jù)據(jù)信息。而隨著智能能手機(jī)的普

39、普及，感知知技術(shù)可謂謂迎來了發(fā)發(fā)展的高峰峰期，除了了地理位置置信息被廣廣泛的應(yīng)用用外，一些些新的感知知手段也開開始登上舞舞臺，比如如，最新的的”iPhoone 55S”在homme鍵內(nèi)嵌嵌指紋傳感感器，新型型手機(jī)可通通過呼氣直直接檢測燃燃燒脂肪量量，用于手手機(jī)的嗅覺覺傳感器面面世可以監(jiān)監(jiān)測從空氣氣污染到危危險(xiǎn)的化學(xué)學(xué)藥品，微微軟正在研研發(fā)可感知知用戶當(dāng)前前心情智能能手機(jī)技術(shù)術(shù)，谷歌眼眼鏡InSSightt新技術(shù)可可通過衣著著進(jìn)行人物物識別。除此之外，還還有很多與與感知相關(guān)關(guān)的技術(shù)革革新讓我們們耳目一新新：比如，牙牙齒傳感器器實(shí)時(shí)監(jiān)控控口腔活動(dòng)動(dòng)及飲食狀狀況，嬰兒兒穿戴設(shè)備備可用大數(shù)數(shù)據(jù)去養(yǎng)育育

40、寶寶，IIntell正研發(fā)33D筆記本本攝像頭可可追蹤眼球球讀懂情緒緒，日本公公司開發(fā)新新型可監(jiān)控控用戶心率率的紡織材材料，業(yè)界界正在嘗試試將生物測測定技術(shù)引引入支付領(lǐng)領(lǐng)域等。其實(shí)，這些些感知被逐逐漸捕獲的的過程就是是就世界被被數(shù)據(jù)化的的過程，一一旦世界被被完全數(shù)據(jù)據(jù)化了，那那么世界的的本質(zhì)也就就是信息了了。就像一句名名言所說，“人類以前延續(xù)的是文明，現(xiàn)在傳承的是信息。”大數(shù)據(jù)的實(shí)實(shí)踐 互聯(lián)網(wǎng)網(wǎng)的大數(shù)據(jù)據(jù)互聯(lián)網(wǎng)上的的數(shù)據(jù)每年年增長500%，每兩兩年便將翻翻一番，而而目前世界界上90%以上的數(shù)數(shù)據(jù)是最近近幾年才產(chǎn)產(chǎn)生的。據(jù)據(jù)IDC預(yù)預(yù)測，到22020年年全球?qū)⒖偪偣矒碛?35ZB的的數(shù)據(jù)量?；ヂ?lián)

41、網(wǎng)是是大數(shù)據(jù)發(fā)發(fā)展的前哨哨陣地，隨隨著WEBB2.0時(shí)時(shí)代的發(fā)展展，人們似似乎都習(xí)慣慣了將自己己的生活通通過網(wǎng)絡(luò)進(jìn)進(jìn)行數(shù)據(jù)化化，方便分分享以及記記錄并回憶憶?；ヂ?lián)網(wǎng)上的的大數(shù)據(jù)很很難清晰的的界定分類類界限，我我們先看看看BAT的的大數(shù)據(jù)：百度擁有兩兩種類型的的大數(shù)據(jù)：用戶搜索索表征的需需求數(shù)據(jù)；爬蟲和阿阿拉丁獲取取的公共wweb數(shù)據(jù)據(jù)。搜索巨巨頭百度圍圍繞數(shù)據(jù)而而生。它對對網(wǎng)頁數(shù)據(jù)據(jù)的爬取、網(wǎng)頁內(nèi)容容的組織和和解析，通通過語義分分析對搜索索需求的精精準(zhǔn)理解進(jìn)進(jìn)而從海量量數(shù)據(jù)中找找準(zhǔn)結(jié)果，以以及精準(zhǔn)的的搜索引擎擎關(guān)鍵字廣廣告，實(shí)質(zhì)質(zhì)上就是一一個(gè)數(shù)據(jù)的的獲取、組組織、分析析和挖掘的的過程。搜搜索引

42、擎在在大數(shù)據(jù)時(shí)時(shí)代面臨的的挑戰(zhàn)有：更多的暗暗網(wǎng)數(shù)據(jù)；更多的WWEB化但但是沒有結(jié)結(jié)構(gòu)化的數(shù)數(shù)據(jù)；更多多的WEBB化、結(jié)構(gòu)構(gòu)化但是封封閉的數(shù)據(jù)據(jù)。阿里巴巴擁擁有交易數(shù)數(shù)據(jù)和信用用數(shù)據(jù)。這這兩種數(shù)據(jù)據(jù)更容易變變現(xiàn)，挖掘掘出商業(yè)價(jià)價(jià)值。除此此之外阿里里巴巴還通通過投資等等方式掌握握了部分社社交數(shù)據(jù)、移動(dòng)數(shù)據(jù)據(jù)。如微博博和高德。騰訊擁有用用戶關(guān)系數(shù)數(shù)據(jù)和基于于此產(chǎn)生的的社交數(shù)據(jù)據(jù)。這些數(shù)數(shù)據(jù)可以分分析人們的的生活和行行為,從里里面挖掘出出政治、社社會(huì)、文化化、商業(yè)、健康等領(lǐng)領(lǐng)域的信息息，甚至預(yù)預(yù)測未來。在信息技術(shù)術(shù)更為發(fā)達(dá)達(dá)的美國，除除了行業(yè)知知名的類似似Googgle，F(xiàn)Facebbook外外，已經(jīng)

43、涌涌現(xiàn)了很多多大數(shù)據(jù)類類型的公司司，它們專專門經(jīng)營數(shù)數(shù)據(jù)產(chǎn)品，比比如：Metammarkeets：這這家公司對對Twittter、支付、簽簽到和一些些與互聯(lián)網(wǎng)網(wǎng)相關(guān)的問問題進(jìn)行了了分析，為為客戶提供供了很好的的數(shù)據(jù)分析析支持。Tableeau：他他們的精力力主要集中中于將海量量數(shù)據(jù)以可可視化的方方式展現(xiàn)出出來。Taableaau為數(shù)字字媒體提供供了一個(gè)新新的展示數(shù)數(shù)據(jù)的方式式。他們提提供了一個(gè)個(gè)免費(fèi)工具具，任何人人在沒有編編程知識背背景的情況況下都能制制造出數(shù)據(jù)據(jù)專用圖表表。這個(gè)軟軟件還能對對數(shù)據(jù)進(jìn)行行分析，并并提供有價(jià)價(jià)值的建議議。ParAcccel：他們向美美國執(zhí)法機(jī)機(jī)構(gòu)提供了了數(shù)據(jù)分析析

44、，比如對對150000個(gè)有犯犯罪前科的的人進(jìn)行跟跟蹤，從而而向執(zhí)法機(jī)機(jī)構(gòu)提供了了參考性較較高的犯罪罪預(yù)測。他他們是犯罪罪的預(yù)言者者。QlikTTech：QlikkTechh旗下的QQlikvview是是一個(gè)商業(yè)業(yè)智能領(lǐng)域域的自主服服務(wù)工具，能能夠應(yīng)用于于科學(xué)研究究和藝術(shù)等等領(lǐng)域。為為了幫助開開發(fā)者對這這些數(shù)據(jù)進(jìn)進(jìn)行分析，QQlikTTech提提供了對原原始數(shù)據(jù)進(jìn)進(jìn)行可視化化處理等功功能的工具具。GoodDData：GooddDataa希望幫助助客戶從數(shù)數(shù)據(jù)中挖掘掘財(cái)富。這這家創(chuàng)業(yè)公公司主要面面向商業(yè)用用戶和ITT企業(yè)高管管，提供數(shù)數(shù)據(jù)存儲、性能報(bào)告告、數(shù)據(jù)分分析等工具具。TellAApartt

45、：TelllApaart和電電商公司進(jìn)進(jìn)行合作，他他們會(huì)根據(jù)據(jù)用戶的瀏瀏覽行為等等數(shù)據(jù)進(jìn)行行分析，通通過鎖定潛潛在買家方方式提高電電商企業(yè)的的收入。DataSSift：DataaSiftt主要收集集并分析社社交網(wǎng)絡(luò)媒媒體上的數(shù)數(shù)據(jù)，并幫幫助品牌公公司掌握突突發(fā)新聞的的輿論點(diǎn)，并并制定有針針對性的營營銷方案。這家公司司還和Twwitteer有合作作協(xié)議，使使得自己變變成了行業(yè)業(yè)中為數(shù)不不多可以分分析早期ttweett的創(chuàng)業(yè)公公司。Datahhero：公司的目目標(biāo)是將復(fù)復(fù)雜的數(shù)據(jù)據(jù)變得更加加簡單明了了，方便普普通人去理理解和想象象。舉了很多例例子，這里里簡要?dú)w納納一下，在在互聯(lián)網(wǎng)大大數(shù)據(jù)的典典型代

46、表性性包括：1-用戶行行為數(shù)據(jù)（精精準(zhǔn)廣告投投放、內(nèi)容容推薦、行行為習(xí)慣和和喜好分析析、產(chǎn)品優(yōu)優(yōu)化等）22-用戶消消費(fèi)數(shù)據(jù)（精精準(zhǔn)營銷、信用記錄錄分析、活活動(dòng)促銷、理財(cái)?shù)龋?-用戶地理位置數(shù)據(jù)（O2O推廣，商家推薦，交友推薦等）4-互聯(lián)網(wǎng)金融數(shù)據(jù)（P2P，小額貸款，支付，信用，供應(yīng)鏈金融等）5-用戶社交等UGC數(shù)據(jù)（趨勢分析、流行元素分析、受歡迎程度分析、輿論監(jiān)控分析、社會(huì)問題分析等） 政府的的大數(shù)據(jù)近期，奧巴巴馬政府宣宣布投資22億美元拉拉動(dòng)大數(shù)據(jù)據(jù)相關(guān)產(chǎn)業(yè)業(yè)發(fā)展，將將“大數(shù)據(jù)戰(zhàn)戰(zhàn)略”上升為國國家意志。奧巴馬政政府將數(shù)據(jù)據(jù)定義為“未來的新新石油”，并表示示一個(gè)國家家擁有數(shù)據(jù)據(jù)的規(guī)模、活性及解

47、解釋運(yùn)用的的能力將成成為綜合國國力的重要要組成部分分，未來，對對數(shù)據(jù)的占占有和控制制甚至將成成為陸權(quán)、海權(quán)、空空權(quán)之外的的另一種國國家核心資資產(chǎn)。在國內(nèi)，政政府各個(gè)部部門都握有有構(gòu)成社會(huì)會(huì)基礎(chǔ)的原原始數(shù)據(jù)，比比如，氣象象數(shù)據(jù)，金金融數(shù)據(jù)，信信用數(shù)據(jù)，電電力數(shù)據(jù)，煤煤氣數(shù)據(jù)，自自來水?dāng)?shù)據(jù)據(jù)，道路交交通數(shù)據(jù)，客客運(yùn)數(shù)據(jù)，安安全刑事案案件數(shù)據(jù)，住住房數(shù)據(jù)，海海關(guān)數(shù)據(jù)，出出入境數(shù)據(jù)據(jù)，旅游數(shù)數(shù)據(jù)，醫(yī)療療數(shù)據(jù)，教教育數(shù)據(jù)，環(huán)環(huán)保數(shù)據(jù)等等等。這些些數(shù)據(jù)在每每個(gè)政府部部門里面看看起來是單單一的，靜靜態(tài)的。但但是，如果果政府可以以將這些數(shù)數(shù)據(jù)關(guān)聯(lián)起起來，并對對這些數(shù)據(jù)據(jù)進(jìn)行有效效的關(guān)聯(lián)分分析和統(tǒng)一一管理，這這

48、些數(shù)據(jù)必必定將獲得得新生，其其價(jià)值是無無法估量的的。具體來說，現(xiàn)現(xiàn)在城市都都在走向智智能和智慧慧，比如，智智能電網(wǎng)、智慧交通通、智慧醫(yī)醫(yī)療、智慧慧環(huán)保、智智慧城市，這這些都依托托于大數(shù)據(jù)據(jù)，可以說說大數(shù)據(jù)是是智慧的核核心能源。從國內(nèi)整整體投資規(guī)規(guī)模來看，到到20122年底全國國開建智慧慧城市的城城市數(shù)超過過180個(gè)個(gè)，通信網(wǎng)網(wǎng)絡(luò)和數(shù)據(jù)據(jù)平臺等基基礎(chǔ)設(shè)施建建設(shè)投資規(guī)規(guī)模接近55000億億元?！笆濉逼陂g智慧慧城市建設(shè)設(shè)拉動(dòng)的設(shè)設(shè)備投資規(guī)規(guī)模將達(dá)11萬億元人人民幣。大大數(shù)據(jù)為智智慧城市的的各個(gè)領(lǐng)域域提供決策策支持。在在城市規(guī)劃劃方面，通通過對城市市地理、氣氣象等自然然信息和經(jīng)經(jīng)濟(jì)、社會(huì)會(huì)、文化、

49、人口等人人文社會(huì)信信息的挖掘掘，可以為為城市規(guī)劃劃提供決策策，強(qiáng)化城城市管理服服務(wù)的科學(xué)學(xué)性和前瞻瞻性。在交交通管理方方面，通過過對道路交交通信息的的實(shí)時(shí)挖掘掘，能有效效緩解交通通擁堵，并并快速響應(yīng)應(yīng)突發(fā)狀況況，為城市市交通的良良性運(yùn)轉(zhuǎn)提提供科學(xué)的的決策依據(jù)據(jù)。在輿情情監(jiān)控方面面，通過網(wǎng)網(wǎng)絡(luò)關(guān)鍵詞詞搜索及語語義智能分分析，能提提高輿情分分析的及時(shí)時(shí)性、全面面性，全面面掌握社情情民意，提提高公共服服務(wù)能力，應(yīng)應(yīng)對網(wǎng)絡(luò)突突發(fā)的公共共事件，打打擊違法犯犯罪。在安安防與防災(zāi)災(zāi)領(lǐng)域，通通過大數(shù)據(jù)據(jù)的挖掘，可可以及時(shí)發(fā)發(fā)現(xiàn)人為或或自然災(zāi)害害、恐怖事事件，提高高應(yīng)急處理理能力和安安全防范能能力。另外，作為為

50、國家的管管理者，政政府應(yīng)該有有勇氣將手手中的數(shù)據(jù)據(jù)逐步開放放，供給更更多有能力力的機(jī)構(gòu)組組織或個(gè)人人來分析并并加以利用用，以加速速造福人類類。比如，美美國政府就就籌建了一一個(gè)datta.goov網(wǎng)站，這這是奧巴馬馬任期內(nèi)的的一個(gè)重要要舉措：要要求政府公公開透明，而而核心就是是實(shí)現(xiàn)政府府機(jī)構(gòu)的數(shù)數(shù)據(jù)公開。截止目前前，已經(jīng)開開放了有9910544 個(gè)daataseets；3349ciitizeen-deevelooped appss；1377 mobbile appss；1755 ageenciees annd suubageenciees；877 gallleriies；2295 GGoverr

51、nmennt APPIs。 企業(yè)的的大數(shù)據(jù)企業(yè)的CXXO們最關(guān)關(guān)注的還是是報(bào)表曲線線的背后能能有怎樣的的信息，他他該做怎樣樣的決策，其其實(shí)這一切切都需要通通過數(shù)據(jù)來來傳遞和支支撐。在理理想的世界界中，大數(shù)數(shù)據(jù)是巨大大的杠桿，可可以改變公公司的影響響力，帶來來競爭差異異、節(jié)省金金錢、增加加利潤、愉愉悅買家、獎(jiǎng)賞忠誠誠用戶、將將潛在客戶戶轉(zhuǎn)化為客客戶、增加加吸引力、打敗競爭爭對手、開開拓用戶群群并創(chuàng)造市市場。那么，哪些些傳統(tǒng)企業(yè)業(yè)最需要大大數(shù)據(jù)服務(wù)務(wù)呢？拋磚磚引玉，先先舉幾個(gè)例例子：1) 對大量量消費(fèi)者提提供產(chǎn)品或或服務(wù)的企企業(yè)（精準(zhǔn)準(zhǔn)營銷）；2) 做做小而美模模式的中長長尾企業(yè)（服服務(wù)轉(zhuǎn)型）；3

52、) 面面臨互聯(lián)網(wǎng)網(wǎng)壓力之下下必須轉(zhuǎn)型型的傳統(tǒng)企企業(yè)（生死死存亡）。對于企業(yè)的的大數(shù)據(jù)，還還有一種預(yù)預(yù)測：隨著著數(shù)據(jù)逐漸漸成為企業(yè)業(yè)的一種資資產(chǎn)，數(shù)據(jù)據(jù)產(chǎn)業(yè)會(huì)向向傳統(tǒng)企業(yè)業(yè)的供應(yīng)鏈鏈模式發(fā)展展，最終形形成“數(shù)據(jù)供應(yīng)應(yīng)鏈”。這里尤尤其有兩個(gè)個(gè)明顯的現(xiàn)現(xiàn)象：1) 外部數(shù)數(shù)據(jù)的重要要性日益超超過內(nèi)部數(shù)數(shù)據(jù)。在互互聯(lián)互通的的互聯(lián)網(wǎng)時(shí)時(shí)代，單一一企業(yè)的內(nèi)內(nèi)部數(shù)據(jù)與與整個(gè)互聯(lián)聯(lián)網(wǎng)數(shù)據(jù)比比較起來只只是滄海一一粟；2) 能提供供包括數(shù)據(jù)據(jù)供應(yīng)、數(shù)數(shù)據(jù)整合與與加工、數(shù)數(shù)據(jù)應(yīng)用等等多環(huán)節(jié)服服務(wù)的公司司會(huì)有明顯顯的綜合競競爭優(yōu)勢。對于提供大大數(shù)據(jù)服務(wù)務(wù)的企業(yè)來來說，他們們等待的是是合作機(jī)會(huì)會(huì)，就像微微軟史密斯斯說的：

53、“給我提供供一些數(shù)據(jù)據(jù)，我就能能做一些改改變。如果果給我提供供所有數(shù)據(jù)據(jù)，我就能能拯救世界界?！比欢恢敝弊銎髽I(yè)服服務(wù)的巨頭頭將優(yōu)勢不不在，不得得不眼看新新興互聯(lián)網(wǎng)網(wǎng)企業(yè)加入入戰(zhàn)局，開開啟殘酷競競爭模式。為何會(huì)出出現(xiàn)這種局局面？從 IT 產(chǎn)產(chǎn)業(yè)的發(fā)展展來看，第第一代 IIT 巨頭頭大多是 ToB 的，比如如 IBMM、Miccrosooft、OOraclle、SAAP、HPP這類傳統(tǒng)統(tǒng) IT 企業(yè)；第第二代 IIT 巨頭頭大多是TToC 的的，比如 Yahooo、Goooglee、Amaazon、Faceebookk 這類互互聯(lián)網(wǎng)企業(yè)業(yè)。大數(shù)據(jù)據(jù)到來前，這這兩類公司司彼此之間間基本是井井水不犯河河水；但在在當(dāng)前這個(gè)個(gè)大數(shù)據(jù)時(shí)時(shí)代，這兩兩類公司已已經(jīng)開始直直接競爭。比如 AAmazoon 已經(jīng)經(jīng)開始提供供云模式的的數(shù)據(jù)倉庫庫服務(wù)，直直接搶占 IBM、Oraccle 的的市場。這這個(gè)現(xiàn)象出出現(xiàn)的本質(zhì)質(zhì)原因是：在互聯(lián)網(wǎng)網(wǎng)巨頭的帶帶動(dòng)下，傳傳統(tǒng) ITT 巨頭的的客戶普遍遍開始從事事電子商務(wù)務(wù)業(yè)務(wù)，正正是由于客客戶進(jìn)入了