大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)論文3000字

.大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)什么是大數(shù)據(jù)時(shí)代？“大數(shù)據(jù) ”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué) 等領(lǐng)域以及 軍事 、金融、通訊 等行業(yè)存在已有時(shí)日，卻因?yàn)榻陙?lái) 互聯(lián)網(wǎng) 和信息行業(yè) 的發(fā)展而引起人們關(guān)注。最早提出“大數(shù)據(jù)”時(shí)代到來(lái) 的是全球知名咨詢(xún)公司麥肯錫 ，麥肯錫稱(chēng)： “數(shù)據(jù)， 已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域 ，成為重要的生產(chǎn)因素。人們對(duì)于海量 數(shù)據(jù) 的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)?！贝髷?shù)據(jù)時(shí)代是怎樣產(chǎn)生的？物聯(lián)網(wǎng)、云計(jì)算、社交網(wǎng)絡(luò)、社會(huì)媒體以及信息獲取技術(shù)的飛速發(fā)展，數(shù)據(jù)正以前所未有的速度迅速增長(zhǎng)和積累，數(shù)據(jù)是人類(lèi)社會(huì)最重要的財(cái)富大數(shù)據(jù)時(shí)代 的 到 來(lái)大數(shù)據(jù)時(shí)代的特點(diǎn)?1. 數(shù)據(jù)量大（ volume ）第一個(gè)特征是數(shù)據(jù)量大。大數(shù)據(jù)的起始計(jì)量單位至少是p（ 1000 個(gè) t）、e （ 100 萬(wàn)個(gè) t）或 z（ 10 億個(gè) t）。2. 類(lèi)型繁多（ variety ）第二個(gè)特征是數(shù)據(jù)類(lèi)型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類(lèi)型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。3. 價(jià)值密度低（ value ）第三個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低。 如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用， 信息感知無(wú)處不在， 信息海量，但價(jià)值密度較低，如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純” ，是大數(shù)據(jù)時(shí)代亟待解決的難題。4. 速度快、時(shí)效高（velocity ）第四個(gè)特征是處理速度快，時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。既有的技術(shù)架構(gòu)和路線(xiàn)，已經(jīng)無(wú)法高效處理如此海量的數(shù)據(jù)，而對(duì)于相關(guān)組織來(lái)說(shuō)，如果投入巨大采集的信息無(wú)法通過(guò)及時(shí)處理反饋有效信息，那將是得不償失的。可以說(shuō)， 大數(shù)據(jù)時(shí)代對(duì)人類(lèi)的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。大數(shù)據(jù)時(shí)代的機(jī)遇大數(shù)據(jù)技術(shù)通過(guò)對(duì)海量數(shù)據(jù)的快速收集與挖掘、及時(shí)研判與共享， 成為支持社會(huì)治理科學(xué)決策和準(zhǔn)確預(yù)判的有力手段，為社會(huì)轉(zhuǎn)型期的社會(huì)治理創(chuàng)新帶來(lái)了機(jī)遇。建立大數(shù)據(jù)中心， 及時(shí)搜集、實(shí)時(shí)處理數(shù)據(jù)信息， 為科學(xué)決策提供堅(jiān)實(shí)基礎(chǔ)。對(duì)社會(huì)大數(shù)據(jù)進(jìn)行歷時(shí)性和實(shí)時(shí)性分析，加強(qiáng)社會(huì)風(fēng)險(xiǎn)控制， 提高政府預(yù)測(cè)預(yù)警能力和應(yīng)急響應(yīng)能力。;.在大數(shù)據(jù)概念出來(lái)之前，個(gè)人制造的數(shù)據(jù)往往被忽略，企業(yè)數(shù)據(jù)被談及的更多。企業(yè)內(nèi)部的數(shù)據(jù)多數(shù)都是結(jié)構(gòu)性數(shù)據(jù)，并被企業(yè)在或多或少地利用著，無(wú)論是數(shù)據(jù)挖掘還是商業(yè)智能化 應(yīng)用都已經(jīng)初露端倪。隨著互聯(lián)網(wǎng)的快速發(fā)展，在企業(yè)數(shù)據(jù)還沒(méi)有井噴的時(shí)候，我們就發(fā)現(xiàn)個(gè)人用戶(hù)以及社會(huì)應(yīng)用產(chǎn)生的數(shù)據(jù)已經(jīng)開(kāi)始爆發(fā)了，比如社交、 交互式應(yīng)用帶來(lái)了大量的網(wǎng)絡(luò)數(shù)據(jù)。此時(shí)傳統(tǒng)的硬件設(shè)備開(kāi)始顯得捉襟見(jiàn)肘，無(wú)法滿(mǎn)足這種龐雜數(shù)據(jù)帶來(lái)的應(yīng)用需求。很多時(shí)候， 也許我們會(huì)認(rèn)為這些數(shù)據(jù)里會(huì)有價(jià)值，但是卻不知道如何挖掘這些數(shù)據(jù)的內(nèi)在價(jià)值，數(shù)據(jù)成為了堆砌。因此， 對(duì)于數(shù)據(jù)精準(zhǔn)分析的需求正在呼喚做數(shù)據(jù)分析的廠商們拿出下一步的舉動(dòng)。比如說(shuō)， 在淘寶龐大的用戶(hù)群中，淘寶賣(mài)家如何精準(zhǔn)掌握一個(gè)新用戶(hù)的需求？ 一家飯館如何利用細(xì)節(jié)滿(mǎn)足每一個(gè)食客對(duì)于美味的需求？越來(lái)越多的應(yīng)用需求推動(dòng)著大數(shù)據(jù)的發(fā)展。 更主要的是， 未來(lái)可能各種傳感器會(huì)出現(xiàn)在社會(huì)的各個(gè)地方，數(shù)據(jù)會(huì)更多，比如交通、醫(yī)療等等， 數(shù)據(jù)的采集已經(jīng)不是問(wèn)題，難點(diǎn)已經(jīng)轉(zhuǎn)換為處理和分析。如此巨量的數(shù)據(jù)， 處理難度可想而知。大數(shù)據(jù)給中國(guó)市場(chǎng)帶來(lái)什么？大數(shù)據(jù)應(yīng)用需求在中國(guó)更加明顯。中國(guó) 人口眾多，各行各業(yè)都呈現(xiàn)出極快的增長(zhǎng)速度，電商、快遞、微博、社交等都承載了大量的個(gè)人信息；大型超市、賣(mài)場(chǎng)、商場(chǎng)、銀行等集聚了大量交易信息，日新月異的城市建設(shè)中， 連接著更多數(shù)據(jù)采集傳感器和嵌入式設(shè)備的物聯(lián)網(wǎng)開(kāi)始成型如何應(yīng)對(duì)機(jī)遇與挑戰(zhàn)大數(shù)據(jù)時(shí)代，人們能做些什么？ 大數(shù)據(jù)產(chǎn)生和存在于各行各業(yè)，盡管分析和處理困難，但也可以通過(guò)相關(guān)性的技術(shù)手段對(duì)大數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，應(yīng)用其結(jié)果。 例如：在教育領(lǐng)域使用大數(shù)據(jù)來(lái)分析學(xué)生的個(gè)性和愛(ài)好， 真正做到因材施教， 提高教學(xué)質(zhì)量； 在企業(yè)管理領(lǐng)域應(yīng)用大數(shù)據(jù)分析， 真正將粗放型管理變?yōu)榫?xì)型管理，提高效率，節(jié)省開(kāi)支，并應(yīng)對(duì)公司在發(fā)展進(jìn)程中帶來(lái)的管理問(wèn)題。 在企業(yè)生產(chǎn)中應(yīng)用大數(shù)據(jù)分析，優(yōu)化各項(xiàng)生產(chǎn)、工作流程提高效率效益。在商業(yè)領(lǐng)域應(yīng)用大數(shù)據(jù)分析商品銷(xiāo)售熱點(diǎn)和了解顧客即時(shí)需求。今后， 在大數(shù)據(jù)技術(shù)領(lǐng)域的競(jìng)爭(zhēng)將直接關(guān)系到國(guó)家安全和未來(lái)，國(guó)家層面的競(jìng)爭(zhēng)力將部分體現(xiàn)為一國(guó)擁 有數(shù)據(jù)的規(guī)模、活性以及解釋、運(yùn)用的能力。美國(guó)已率先將大數(shù)據(jù)應(yīng)用從商業(yè)行為上升到國(guó)家意志： 2012年 3 月 29 日， 美國(guó)奧巴馬政府投資2 億美元啟動(dòng) “大數(shù)據(jù)研究與開(kāi)發(fā)計(jì)劃”，提出“通過(guò)收集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識(shí)和洞見(jiàn)，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，強(qiáng)化美國(guó)國(guó)土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式”。 在我國(guó)，與大數(shù)據(jù)相關(guān)的產(chǎn)業(yè)剛剛起步，無(wú)疑將迎來(lái)很好的發(fā)展機(jī)遇！保障數(shù)據(jù)及應(yīng)對(duì)人隱私泄露的解決辦法有：通過(guò)物理隔離以及與權(quán)限控制相結(jié)合，實(shí)現(xiàn)對(duì)數(shù)據(jù)的隔離，保證數(shù)據(jù)不被非法訪(fǎng)問(wèn)并保證用戶(hù)數(shù)據(jù)的隱私。通過(guò)信息加密的功能，防止用戶(hù)信息被盜取。用戶(hù)的關(guān)鍵信息，如登錄密碼和系統(tǒng)訪(fǎng)問(wèn)等其他鑒權(quán)信息，無(wú)論是傳輸時(shí)還是在存儲(chǔ)時(shí)必須加密。通過(guò)對(duì)硬盤(pán)實(shí)施有效的保護(hù)：保證即使硬盤(pán)被竊取，非法用戶(hù)也無(wú)法從硬盤(pán)中獲取有效的用戶(hù)數(shù)據(jù)。將數(shù)據(jù)切片存儲(chǔ)在不同的云存儲(chǔ)節(jié)點(diǎn)和硬盤(pán)上，數(shù)據(jù)無(wú)法通過(guò)單個(gè)硬盤(pán)恢復(fù)。故障硬盤(pán)無(wú)需進(jìn)行數(shù)據(jù)清除即可直接廢棄，用戶(hù)數(shù)據(jù)不會(huì) 通過(guò)硬盤(pán)泄露。通過(guò)立法來(lái)保障企業(yè)的商業(yè)機(jī)密及個(gè)人隱私不被非法應(yīng)用。大數(shù)據(jù)時(shí)代的挑戰(zhàn)大數(shù)據(jù)面臨的挑戰(zhàn)是多方面的：（1） ）數(shù)據(jù) 的 快 速 增 長(zhǎng) 對(duì) 存儲(chǔ) 空 間 、存儲(chǔ) 技術(shù)、數(shù)據(jù) 壓 縮 技術(shù)、能源消耗的挑戰(zhàn)：大數(shù)據(jù)需要占用大量的存儲(chǔ)空間，盡管存儲(chǔ)性?xún)r(jià)比在提高，壓縮技術(shù)也在不斷發(fā)展，但保存數(shù)據(jù)所消 耗能也在大量增長(zhǎng)。解決辦法是研制出新一代高密度、低能耗存儲(chǔ)設(shè)備。（2） ）數(shù)據(jù) 本 身 安 全 及 個(gè) 人 隱私 泄露面 臨 的 挑戰(zhàn)：在海 量 數(shù)據(jù)洪流中，在線(xiàn)對(duì)話(huà)與在線(xiàn)交易活動(dòng)日益增加，其安全威脅更為嚴(yán)峻。大數(shù)據(jù)環(huán)境下通過(guò)對(duì)用戶(hù)數(shù)據(jù)的深度分析，很容易了解用戶(hù)行為和喜好，嚴(yán)重的將導(dǎo)致企業(yè)的商業(yè)機(jī)密及個(gè)人隱私泄露。（3） ）網(wǎng)絡(luò)帶 寬 能 力與對(duì) 數(shù) 據(jù) 處 理能力 面 臨 的 挑戰(zhàn)：網(wǎng)絡(luò)帶寬是瓶勁，尤其表現(xiàn)在各網(wǎng)絡(luò)接入商之間的互聯(lián)互通出口上； 大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)必須有足夠的帶寬支持，才能保證數(shù)據(jù)實(shí)時(shí)性。數(shù)據(jù)計(jì)算能力是應(yīng)對(duì)數(shù)據(jù)洪流時(shí)的又一挑戰(zhàn)，采用分布式 計(jì)算可以解決其中的一些問(wèn)題，但部署相對(duì)較復(fù)雜。（4） ）有效數(shù)據(jù) 擷 取 面 臨 的 挑戰(zhàn)：從海 量 數(shù) 據(jù) 中 提 取 隱 含 在其中的、潛在有用信息和知識(shí)的過(guò)程十分復(fù)雜的，需要反復(fù)“去偽 存 真 ” 。 通 常 要 經(jīng) 過(guò) 業(yè)務(wù)理 解 、 數(shù) 據(jù) 理 解 、數(shù)據(jù) 準(zhǔn)備、建立挖掘模型、評(píng)估和部署等多個(gè)步驟。即在開(kāi)始數(shù)據(jù)分析之前，我們必須了解業(yè)務(wù)需求，根據(jù)需求明確業(yè)務(wù)目標(biāo)和要求；接下來(lái)便是對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行評(píng)估，并對(duì)原始數(shù)據(jù)進(jìn)行組織、清理、集成、 變換等一系列數(shù)據(jù)收集和預(yù)處理工作；在搞好數(shù)據(jù)清理的基礎(chǔ)上，應(yīng)用相關(guān)算法和工具建立分析模型；之后對(duì)所建立的模型進(jìn)行評(píng)估，重點(diǎn)具體考慮得出的結(jié)果是否符合最初的業(yè)務(wù)目標(biāo)；最后，便可將發(fā)現(xiàn)的結(jié)果以及過(guò)程利用各種可視化技術(shù)（報(bào)表、報(bào)告、圖形等）呈現(xiàn)出來(lái)。大數(shù)據(jù)給人文社會(huì)科學(xué)帶來(lái)哪些挑戰(zhàn)？大數(shù)據(jù)時(shí)代的來(lái)臨,數(shù)據(jù)逐漸成為重要的生產(chǎn)要素。 而傳統(tǒng)人文社科普遍數(shù)據(jù)采集能力不足,只有通過(guò)技術(shù)創(chuàng)新和方法上的創(chuàng)新, 文科與理科、工科相結(jié)合 ,才能帶來(lái)質(zhì)的突破。大數(shù)據(jù)時(shí)代為突發(fā)公共事件的輿情帶來(lái)什么機(jī)遇和挑戰(zhàn)？數(shù)據(jù)的最終作用是為領(lǐng)導(dǎo)者決策或執(zhí)行部門(mén)的行動(dòng)提供參考,如何有效整合大數(shù)據(jù),首先要做到快速分析、及時(shí)反應(yīng)和動(dòng)態(tài)應(yīng) 用, 其次是在技術(shù)上實(shí)現(xiàn)對(duì)海量數(shù)據(jù)和信息的存儲(chǔ)、深度挖掘和實(shí)時(shí)監(jiān)測(cè), 實(shí)現(xiàn)精準(zhǔn)地采集和預(yù)警。目前人民網(wǎng)已建立了基于全網(wǎng)大數(shù)據(jù)內(nèi)容的突發(fā)公共事件輿情應(yīng)對(duì)方案,可通過(guò)信息化的手段對(duì)全網(wǎng)大數(shù)據(jù)信息進(jìn)行一