大數(shù)據(jù)是個什么東西_數(shù)據(jù)分析師

說實話，我有很多年以來比較討厭來自信息領(lǐng)域的一些名詞：數(shù)字地球、云計算、決策支持系統(tǒng)、專家系統(tǒng)、復(fù)雜性科學(xué)、數(shù)據(jù)挖掘、大數(shù)據(jù)。這些玩意一個名詞接著一個名詞，讓人感覺總是炒一些新鮮的概念。其實上述名詞確實也有一定的意義，但是它們發(fā)揮的科學(xué)推動作用不大。我為啥討厭呢，是因為我認為是這些概念的受害者。因為我曾經(jīng)是計算機粉絲，當然也喜歡學(xué)習(xí)研究這些玩意。最后發(fā)現(xiàn)我自己走了彎路，費了很多功夫閱讀這些，什么真正的東西都沒學(xué)會。

　　其實在這些名詞出現(xiàn)以前，各學(xué)科人們早就在使用這些概念了。如數(shù)字地球，吸引了大批地理界、GIS界的年輕人，最后我們發(fā)現(xiàn)除了會編幾個計算機圖形可視化的程序外，其它一無所獲。看著別人發(fā)表著大把的SCI，我們真納悶，天天研究新概念，還不如研究老古懂學(xué)科。后來，我們發(fā)現(xiàn)地球科學(xué)領(lǐng)域的數(shù)據(jù)(遙感、氣象資料)絕對是海量的，數(shù)據(jù)生產(chǎn)的速度遠遠超過了人們利用數(shù)據(jù)做研究的速度。Google地球也發(fā)布了。實際上數(shù)字地球確實是建成了，但很少有人說我們是在做數(shù)字地球。不談數(shù)字地球的人做了不少數(shù)字地球的事，天天談數(shù)字地球的人什么也沒搞出來。

　　另外決策支持系統(tǒng)是個什么玩意，我讀了很多這方面的書，感覺也很虛無飄渺。

　　曾經(jīng)有一個叫做“元胞自動機”(CA)的概念也很流行在GIS界，但最終也不知如何應(yīng)用該理論，沒什么好的論文或成果發(fā)表出來。等到后來，我們了解了水文領(lǐng)域的分布式水文模型、大氣領(lǐng)域的氣候模式、流體領(lǐng)域的CFD和格子Boltzmann模型，發(fā)現(xiàn)按照CA的定義來看，上述模型其實都是CA的范疇，只是針對特定的專業(yè)性了。CA的概念遠不如上述模型應(yīng)用那樣普及，專業(yè)性也不夠強。不可否認的是，確實有少量學(xué)者開發(fā)出了CA模型，有一定的用處。

　　至于大數(shù)據(jù)，以前它相應(yīng)的稱呼應(yīng)該是數(shù)據(jù)挖掘。包括剛剛仙逝的老邪院士為代表的很多遙感學(xué)者，都在分析海量遙感數(shù)據(jù)，難道這不是大數(shù)據(jù)?那些從事氣候變化研究的相關(guān)學(xué)者天天都在利用海量資料分析各種氣候指標，難道不是在數(shù)據(jù)挖掘?可是誰又在寫論文時，把大數(shù)據(jù)和數(shù)據(jù)挖掘列為關(guān)鍵詞呢?

　　當然，我也認識到了大數(shù)據(jù)這個詞主要針對社會科學(xué)領(lǐng)域。社科領(lǐng)域的大數(shù)據(jù)特指那些形式雜亂、細碎、海量如牛毛的聊天信息、Email信息、網(wǎng)頁新聞信息、廣告信息，以及發(fā)表在期刊上的信息。這些數(shù)據(jù)不像遙感數(shù)據(jù)、大氣數(shù)據(jù)那樣可以以特定數(shù)據(jù)集的形式整理和存放。這就需要研究分析這些資料的人要有特定的數(shù)據(jù)整理能力。一種方法是使用一些軟件，不過軟件大都是針對特定形式的數(shù)據(jù)集，如文獻計量分析軟件。它們不能適應(yīng)于各種雜亂數(shù)據(jù)。另一種方法就是取決于研究者自己的特殊能力了，這樣的好處是不需要拘泥于現(xiàn)有軟件，可以適應(yīng)任何數(shù)據(jù)分析。比如使用python語言來自行編代碼實施數(shù)據(jù)搜索。我認為自己是具備這個能力的!我不認為我是在吹牛。但是我卻不從事這方面的研究。

　　雖然python語言不難，會用它的人極多，但事實證明不是每個從事科研的人都最終能學(xué)會的。

　　雖然我認為大數(shù)據(jù)這個詞比較土，很一般化，但它在社科領(lǐng)域確實具有特定的意義。