什么是大數(shù)據(jù)？

大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)，是指從各種各樣類(lèi)型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)，云計(jì)算平臺(tái)，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

大數(shù)據(jù)的特點(diǎn)

具體來(lái)說(shuō)，大數(shù)據(jù)具有4個(gè)基本特征：

一是數(shù)據(jù)體量巨大。百度資料表明，其新首頁(yè)導(dǎo)航每天需要提供的數(shù)據(jù)超過(guò)1.5PB（1PB=1024TB），這些數(shù)據(jù)如果打印出來(lái)將超過(guò)5千億張A4紙。有資料證實(shí)，到目前為止，人類(lèi)生產(chǎn)的所有印刷材料的數(shù)據(jù)量?jī)H為200PB。

二是數(shù)據(jù)類(lèi)型多樣。現(xiàn)在的數(shù)據(jù)類(lèi)型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類(lèi)型的數(shù)據(jù)，個(gè)性化數(shù)據(jù)占絕對(duì)多數(shù)。

三是處理速度快。數(shù)據(jù)處理遵循“1秒定律”，可從各種類(lèi)型的數(shù)據(jù)中快速獲得高價(jià)值的信息。

四是價(jià)值密度低。以視頻為例，一小時(shí)的視頻，在不間斷的監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。

大數(shù)據(jù)的作用

第一，對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)。移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計(jì)算為這些海量、多樣化的大數(shù)據(jù)提供存儲(chǔ)和運(yùn)算平臺(tái)。通過(guò)對(duì)不同來(lái)源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，將創(chuàng)造出巨大的經(jīng)濟(jì)和社會(huì)價(jià)值。

大數(shù)據(jù)具有催生社會(huì)變革的能量。但釋放這種能量，需要嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)治理、富有洞見(jiàn)的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境(Ramayya Krishnan,卡內(nèi)基·梅隆大學(xué)海因茲學(xué)院院長(zhǎng))。

第二，大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎。面向大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會(huì)不斷涌現(xiàn)。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等市場(chǎng)。在軟件與服務(wù)領(lǐng)域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。

第三，大數(shù)據(jù)利用將成為提高核心競(jìng)爭(zhēng)力的關(guān)鍵因素。各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)” 轉(zhuǎn)變“數(shù)據(jù)驅(qū)動(dòng)”。

對(duì)大數(shù)據(jù)的分析可以使零售商實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)并迅速做出應(yīng)對(duì)；可以為商家制定更加精準(zhǔn)有效的營(yíng)銷(xiāo)策略提供決策支持；可以幫助企業(yè)為消費(fèi)者提供更加及時(shí)和個(gè)性化的服務(wù)；在醫(yī)療領(lǐng)域，可提高診斷準(zhǔn)確性和藥物有效性；在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開(kāi)始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會(huì)穩(wěn)定等方面的重要作用。

第四，大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變。例如，抽樣調(diào)查是社會(huì)科學(xué)的基本研究方法。在大數(shù)據(jù)時(shí)代，可通過(guò)實(shí)時(shí)監(jiān)測(cè)、跟蹤研究對(duì)象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進(jìn)行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對(duì)策。更多文章：CDA數(shù)據(jù)分析師官網(wǎng)