大數(shù)據(jù)與數(shù)據(jù)挖掘的概念及相互聯(lián)系

當(dāng)“大數(shù)據(jù)”鋪天蓋地般向我們涌來(lái)，人們往往期冀能夠?qū)Υ髷?shù)據(jù)能夠有更進(jìn)一步的了解，“數(shù)據(jù)挖掘”因此成為我們理解大數(shù)據(jù)概念繞不過(guò)去的“坎”。通過(guò)將大數(shù)據(jù)與數(shù)據(jù)挖掘進(jìn)行對(duì)比分析，將有助于人們了解大數(shù)據(jù)的來(lái)龍去脈和未來(lái)真實(shí)走向。 
　　1.基本概念 
　　數(shù)據(jù)挖掘，顧名思義就是從大量的數(shù)據(jù)中挖掘出有用的信息，即從大量的、不完全的、有噪聲的、隨機(jī)的、模糊的數(shù)據(jù)中，提取隱含其中的、規(guī)律性的、人們事先未知的、但又是潛在的有用信息和知識(shí)的過(guò)程。數(shù)據(jù)挖掘是一個(gè)在海量數(shù)據(jù)中利用各種分析工具發(fā)現(xiàn)模型與數(shù)據(jù)間關(guān)系的過(guò)程，它可以幫助決策者尋找數(shù)據(jù)間潛在的某種關(guān)聯(lián)，發(fā)現(xiàn)被隱藏的、被忽略的因素，因而被認(rèn)為是在這個(gè)數(shù)據(jù)爆炸時(shí)代解決信息貧乏問(wèn)題的一種有效方法。數(shù)據(jù)挖掘作為一門(mén)交叉學(xué)科，融合了數(shù)據(jù)庫(kù)、人工智能、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等多領(lǐng)域的理論與技術(shù)。數(shù)據(jù)庫(kù)、人工智能與數(shù)理統(tǒng)計(jì)為數(shù)據(jù)挖掘的研究提供了三大技術(shù)支持。 
　　大數(shù)據(jù)是通過(guò)高速捕捉、發(fā)現(xiàn)和分析，從大容量數(shù)據(jù)中獲取價(jià)值的一種新的技術(shù)架構(gòu)。著名研究機(jī)構(gòu)IDC給大數(shù)據(jù)的定義，有四個(gè)"V"字開(kāi)頭的特征：Volume（體量大），Velocity（速度快），Variety（種類雜），Value（價(jià)值大）。Volume是指大數(shù)據(jù)巨大的數(shù)據(jù)量與數(shù)據(jù)完整性?Velocity可以理解為更快地滿足實(shí)時(shí)性需求；Variety則意味著要在海量、種類繁多的數(shù)據(jù)間發(fā)現(xiàn)其內(nèi)在關(guān)聯(lián)；Value最重要，它是大數(shù)據(jù)的最終意義：挖掘數(shù)據(jù)存在的價(jià)值。 
　　2.相互聯(lián)系 
　　大數(shù)據(jù)是數(shù)據(jù)挖掘的概念再升級(jí)。相比于興起只有2～3年的大數(shù)據(jù)概念，已有20多年發(fā)展的數(shù)據(jù)挖掘可稱得上大數(shù)據(jù)的開(kāi)山鼻祖。因?yàn)榇髷?shù)據(jù)和數(shù)據(jù)挖掘的本質(zhì)是相同的――對(duì)數(shù)據(jù)進(jìn)行挖掘分析，以發(fā)現(xiàn)有價(jià)值的信息。而且大數(shù)據(jù)的興起，正是在人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等技術(shù)基礎(chǔ)之上發(fā)展起來(lái)的，而人工智能、機(jī)器學(xué)習(xí)又是在為數(shù)據(jù)挖掘服務(wù)。從表面上看，大數(shù)據(jù)與數(shù)據(jù)挖掘的顯著區(qū)別在于“大”上。然而深入分析就會(huì)發(fā)現(xiàn)：一方面，數(shù)據(jù)挖掘的對(duì)象不僅可以用于少量的數(shù)據(jù)，而且同樣適用于海量數(shù)據(jù)，只是由于挖掘方法和技術(shù)工具的不斷升級(jí)換代，換了個(gè)新的名稱而已；另一方面，大數(shù)據(jù)的本質(zhì)不在于“大”，而是以嶄新的思維和技術(shù)去分析海量數(shù)據(jù)，揭示其中隱藏的人類行為等模式，由此創(chuàng)造新產(chǎn)品和服務(wù)，或是預(yù)測(cè)未來(lái)趨勢(shì)。所以大數(shù)據(jù)和數(shù)據(jù)挖掘的概念在一定時(shí)期還會(huì)并存，因應(yīng)于使用的時(shí)機(jī)、場(chǎng)合或使用人的習(xí)慣，真正的關(guān)鍵點(diǎn)是如何體現(xiàn)出數(shù)據(jù)的價(jià)值。 
　　大數(shù)據(jù)是數(shù)據(jù)挖掘產(chǎn)業(yè)化的表現(xiàn)。長(zhǎng)久以來(lái)，數(shù)據(jù)挖掘的經(jīng)典案例――“啤酒與尿布”被廣為傳頌，然而這一傳奇故事顯然跟不上時(shí)代大發(fā)展的步伐，取而代之的是谷歌成功預(yù)測(cè)流感的案例。數(shù)據(jù)的價(jià)值在于信息，而技術(shù)的價(jià)值在于利潤(rùn)，數(shù)據(jù)挖掘可以看作是專業(yè)技術(shù)領(lǐng)域的專業(yè)名詞，到了商業(yè)領(lǐng)域就需要進(jìn)一步的包裝與升級(jí)。只有這樣，一系列的開(kāi)放式平臺(tái)、技術(shù)解決方案才能迅速“火”起來(lái)。顯而易見(jiàn)，這種商業(yè)的運(yùn)作模式已經(jīng)非常成熟和成功。目前，大數(shù)據(jù)已被視為創(chuàng)新和生產(chǎn)力提升的下一個(gè)前沿，正成為國(guó)家競(jìng)爭(zhēng)力的要素之一，在世界范圍內(nèi)日益受到重視，多國(guó)政府加大了對(duì)大數(shù)據(jù)發(fā)展的扶持力度，甚至上升到國(guó)家戰(zhàn)略的高度。某咨詢公司研究顯示，全球?qū)Υ髷?shù)據(jù)項(xiàng)目投資總額2012年已達(dá)45億歐元（約60億美元），2013、2014兩年均會(huì)保持約40%的增長(zhǎng)速度。 
　　3.簡(jiǎn)要小結(jié) 
　　當(dāng)前，數(shù)據(jù)挖掘在專業(yè)領(lǐng)域的地位已經(jīng)非常牢固，但大數(shù)據(jù)還受到民眾和業(yè)界的諸多質(zhì)疑，認(rèn)為是一種商業(yè)噱頭和忽悠。其實(shí)很多爭(zhēng)論實(shí)質(zhì)上并非在討論同一問(wèn)題。比如，有人舉例說(shuō)，《大數(shù)據(jù)時(shí)代》的作者維克托?邁爾―舍恩伯格認(rèn)為 ， “人們處理的數(shù)據(jù)從樣本數(shù)據(jù)變成全部數(shù)據(jù)”的結(jié)論至少?gòu)哪壳暗臄?shù)據(jù)收集和分析能力來(lái)說(shuō)是不可能實(shí)現(xiàn)的。我們應(yīng)該看到，沒(méi)有不變的真理，只有客觀規(guī)律。任何技術(shù)都不是萬(wàn)能的，作為一種技術(shù)而言，它僅代表了一種發(fā)展方向，它因?yàn)槟軌蚪鉀Q某一現(xiàn)實(shí)問(wèn)題而具備存在的價(jià)值；至于技術(shù)的商業(yè)化運(yùn)用成不成功，則還受制于運(yùn)用推廣的方式等其它諸多因素。例如，對(duì)比上世紀(jì)末“互聯(lián)網(wǎng)經(jīng)濟(jì)泡沫”破滅時(shí)的哀鴻遍野和前不久阿里巴巴在美國(guó)上市的一片贊歌，可以看出：互聯(lián)網(wǎng)技術(shù)的發(fā)展勢(shì)不可擋，互聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展一波三折，只能說(shuō)產(chǎn)業(yè)和技術(shù)緊密相聯(lián)，但終究不是一回事。