大數(shù)據(jù)的真正價(jià)值你知道多少(1)

大數(shù)據(jù)已成為媒體與大眾關(guān)注的新技術(shù)，大數(shù)據(jù)的應(yīng)用也預(yù)示著信息時(shí)代將進(jìn)入一個(gè)新階段，但人們對(duì)大數(shù)據(jù)的認(rèn)識(shí)有一個(gè)不斷加深的過程。首先從“信息時(shí)代新階段”、數(shù)據(jù)文化和認(rèn)識(shí)論的高度闡述了對(duì)大數(shù)據(jù)的理解；接著通過對(duì)驅(qū)動(dòng)效益和大成智慧的解釋，探討了如何正確認(rèn)識(shí)大數(shù)據(jù)的價(jià)值和效益，并從復(fù)雜性的角度分析了大數(shù)據(jù)研究和應(yīng)用面臨的挑戰(zhàn)；最后對(duì)發(fā)展大數(shù)據(jù)應(yīng)避免的誤區(qū)提出幾點(diǎn)看法。

1、大數(shù)據(jù)興起預(yù)示“信息時(shí)代”進(jìn)入新階段

1.1看待大數(shù)據(jù)要有歷史性的眼光

信息時(shí)代是相對(duì)于農(nóng)業(yè)和工業(yè)時(shí)代而言的一段相當(dāng)長(zhǎng)的時(shí)間。不同時(shí)代的生產(chǎn)要素和社會(huì)發(fā)展驅(qū)動(dòng)力有明顯差別。信息時(shí)代的標(biāo)志性技術(shù)發(fā)明是數(shù)字計(jì)算機(jī)、集成電路、光纖通信和互聯(lián)網(wǎng)（萬維網(wǎng)）。盡管媒體上大量出現(xiàn)“大數(shù)據(jù)時(shí)代”的說法，但大數(shù)據(jù)、云計(jì)算等新技術(shù)目前還沒有出現(xiàn)與上述劃時(shí)代的技術(shù)發(fā)明可媲美的技術(shù)突破，難以構(gòu)成一個(gè)超越信息時(shí)代的新時(shí)代。信息時(shí)代可以分成若干階段，大數(shù)據(jù)等新技術(shù)的應(yīng)用標(biāo)志著信息社會(huì)將進(jìn)入一個(gè)新階段。

考察分析100年以上的歷史長(zhǎng)河可以發(fā)現(xiàn)，信息時(shí)代與工業(yè)時(shí)代的發(fā)展規(guī)律有許多相似之處。電氣化時(shí)代與信息時(shí)代生產(chǎn)率的提高過程驚人地相似。都是經(jīng)過20~30年擴(kuò)散儲(chǔ)備之后才有明顯提高，分界線分別是1915年和1995年。筆者猜想，信息技術(shù)經(jīng)過幾十年的擴(kuò)散儲(chǔ)備后，21世紀(jì)的前30年可能是信息技術(shù)提高生產(chǎn)率的黃金時(shí)期。

    1.2從“信息時(shí)代新階段”的高度認(rèn)識(shí)“大數(shù)據(jù)”

中國(guó)已開始進(jìn)入信息時(shí)代，但許多人的思想還停留在工業(yè)時(shí)代。經(jīng)濟(jì)和科技工作中出現(xiàn)的許多問題，其根源是對(duì)時(shí)代的認(rèn)識(shí)不到位。18-19世紀(jì)中國(guó)落后挨打，根源是滿清政府沒有認(rèn)識(shí)到時(shí)代變了，我們不能重犯歷史性的錯(cuò)誤。

中央提出中國(guó)進(jìn)入經(jīng)濟(jì)“新常態(tài)”以后，媒體上有很多討論，但多數(shù)是為經(jīng)濟(jì)增速降低做解釋，很少有從時(shí)代改變的角度論述“新常態(tài)”的文章。筆者認(rèn)為，經(jīng)濟(jì)新常態(tài)意味著中國(guó)進(jìn)入了以信息化帶動(dòng)新型工業(yè)化、城鎮(zhèn)化和農(nóng)業(yè)現(xiàn)代化的新階段，是經(jīng)濟(jì)和社會(huì)管理的躍遷，不是權(quán)宜之計(jì)，更不是倒退。

大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、云計(jì)算、物聯(lián)網(wǎng)等新一代信息技術(shù)構(gòu)成的IT架構(gòu)“第三平臺(tái)”是信息社會(huì)進(jìn)入新階段的標(biāo)志，對(duì)整個(gè)經(jīng)濟(jì)的轉(zhuǎn)型有引領(lǐng)和帶動(dòng)作用。媒體上經(jīng)常出現(xiàn)的互聯(lián)網(wǎng)、創(chuàng)客、“第二次機(jī)器革命”、“工業(yè)4.0”等都與大數(shù)據(jù)和云計(jì)算有關(guān)。大數(shù)據(jù)和云計(jì)算是新常態(tài)下提高生產(chǎn)率的新杠桿，所謂創(chuàng)新驅(qū)動(dòng)發(fā)展就是主要依靠信息技術(shù)促進(jìn)生產(chǎn)率的提高。

    1.3大數(shù)據(jù)可能是中國(guó)信息產(chǎn)業(yè)從跟蹤走向引領(lǐng)的突破口

中國(guó)的大數(shù)據(jù)企業(yè)已經(jīng)有相當(dāng)好的基礎(chǔ)。全球十大互聯(lián)網(wǎng)服務(wù)企業(yè)中國(guó)占有4席（阿里巴巴、騰訊、百度和京東），其他6個(gè)Top10互聯(lián)網(wǎng)服務(wù)企業(yè)全部是美國(guó)企業(yè)，歐洲和日本沒有互聯(lián)網(wǎng)企業(yè)進(jìn)入Top10。這說明中國(guó)企業(yè)在基于大數(shù)據(jù)的互聯(lián)網(wǎng)服務(wù)業(yè)務(wù)上已處于世界前列。在發(fā)展大數(shù)據(jù)技術(shù)上，我國(guó)有可能改變過去30年技術(shù)受制于人的局面，在大數(shù)據(jù)應(yīng)用上中國(guó)有可能在全世界起到引領(lǐng)作用。

但是，企業(yè)的規(guī)模走在世界前列并不表示我國(guó)在大數(shù)據(jù)技術(shù)上領(lǐng)先。實(shí)際上，國(guó)際上目前流行的大數(shù)據(jù)主流技術(shù)沒有一項(xiàng)是我國(guó)開創(chuàng)的。開源社區(qū)和眾包是發(fā)展大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)的重要途徑，但我們對(duì)開源社區(qū)的貢獻(xiàn)很小，在全球近萬名社區(qū)核心志愿者中，我國(guó)可能不到200名。我們要吸取過去基礎(chǔ)研究為企業(yè)提供核心技術(shù)不夠的教訓(xùn)，加強(qiáng)大數(shù)據(jù)基礎(chǔ)研究和前瞻技術(shù)研究，努力攻克大數(shù)據(jù)核心和關(guān)鍵技術(shù)。

    2、理解大數(shù)據(jù)需要上升到文化和認(rèn)識(shí)論的高度

    2.1數(shù)據(jù)文化是一種先進(jìn)文化

數(shù)據(jù)文化的本質(zhì)是尊重客觀世界的實(shí)事求是精神，數(shù)據(jù)就是事實(shí)。重視數(shù)據(jù)就是強(qiáng)調(diào)用事實(shí)說話、按理性思維的科學(xué)精神。中國(guó)人的傳統(tǒng)習(xí)慣是定性思維而不是定量思維。目前許多城市在開展政府?dāng)?shù)據(jù)開放共享工作，但是發(fā)現(xiàn)多數(shù)老百姓對(duì)政府要開放的數(shù)據(jù)并不感興趣。要讓大數(shù)據(jù)走上健康的發(fā)展軌道，首先要大力弘揚(yáng)數(shù)據(jù)文化。本文講的數(shù)據(jù)文化不只是大數(shù)據(jù)用于文藝、出版等文化產(chǎn)業(yè)，而是指全民的數(shù)據(jù)意識(shí)。全社會(huì)應(yīng)認(rèn)識(shí)到：信息化的核心是數(shù)據(jù)，只有政府和大眾都關(guān)注數(shù)據(jù)時(shí)，才能真正理解信息化的實(shí)質(zhì)；數(shù)據(jù)是一種新的生產(chǎn)要素，大數(shù)據(jù)的利用可以改變資本和土地等傳統(tǒng)要素在經(jīng)濟(jì)中的權(quán)重。

有人將“上帝與數(shù)據(jù)共舞”歸納為美國(guó)文化的特點(diǎn)之一，說的是美國(guó)人既有對(duì)神的誠(chéng)意，又有通過數(shù)據(jù)求真的理性。美國(guó)從鍍金時(shí)代到進(jìn)步主義時(shí)期完成了數(shù)據(jù)文化的思維轉(zhuǎn)變，南北戰(zhàn)爭(zhēng)之后人口普查的方法被應(yīng)用到很多領(lǐng)域，形成了數(shù)據(jù)預(yù)測(cè)分析的思維方式。近百年來美國(guó)和西方各國(guó)的現(xiàn)代化與數(shù)據(jù)文化的傳播滲透有密切關(guān)系，我國(guó)要實(shí)現(xiàn)現(xiàn)代化也必須強(qiáng)調(diào)數(shù)據(jù)文化。

提高數(shù)據(jù)意識(shí)的關(guān)鍵是要理解大數(shù)據(jù)的戰(zhàn)略意義。數(shù)據(jù)是與物質(zhì)、能源一樣重要的戰(zhàn)略資源，數(shù)據(jù)的采集和分析涉及每一個(gè)行業(yè)，是帶有全局性和戰(zhàn)略性的技術(shù)。從硬技術(shù)到軟技術(shù)的轉(zhuǎn)變是當(dāng)今全球性的技術(shù)發(fā)展趨勢(shì)，而從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值的技術(shù)正是最有活力的軟技術(shù)，數(shù)據(jù)技術(shù)與數(shù)據(jù)產(chǎn)業(yè)的落后將使我們像錯(cuò)過工業(yè)革命機(jī)會(huì)一樣延誤一個(gè)時(shí)代。

    2.2理解大數(shù)據(jù)需要有正確的認(rèn)識(shí)論

歷史上科學(xué)研究是從邏輯演繹開始的，歐幾里得幾何的所有定理可從幾條公理推導(dǎo)出來。從伽利略和牛頓開始，科學(xué)研究更加重視自然觀察和實(shí)驗(yàn)觀察，在觀察基礎(chǔ)上通過歸納方法提煉出科學(xué)理論，“科學(xué)始于觀察”成為科學(xué)研究和認(rèn)識(shí)論的主流。經(jīng)驗(yàn)論和唯理論這兩大流派都對(duì)科學(xué)的發(fā)展做出過重大貢獻(xiàn)，但也暴露出明顯的問題，甚至走入極端。理性主義走向極端就成為康德所批判的獨(dú)斷主義，經(jīng)驗(yàn)主義走入極端就變成懷疑論和不可知論。

20世紀(jì)30年代，德國(guó)哲學(xué)家波普爾提出了被后人稱為“證偽主義”的認(rèn)識(shí)論觀點(diǎn)，他認(rèn)為科學(xué)理論不能用歸納法證實(shí)，只能被試驗(yàn)發(fā)現(xiàn)的反例“證偽”，因而他否定科學(xué)始于觀察，提出“科學(xué)始于問題”的著名觀點(diǎn)。證偽主義有其局限性，如果嚴(yán)格遵守證偽法則，萬有引力定律、原子論等重要理論都可能被早期的所謂反例扼殺。但“科學(xué)始于問題”的觀點(diǎn)對(duì)當(dāng)前大數(shù)據(jù)技術(shù)的發(fā)展有指導(dǎo)意義。

大數(shù)據(jù)的興起引發(fā)了新的科學(xué)研究模式：“科學(xué)始于數(shù)據(jù)”。從認(rèn)識(shí)論的角度看，大數(shù)據(jù)分析方法與“科學(xué)始于觀察”的經(jīng)驗(yàn)論較為接近，但我們要牢記歷史的教訓(xùn)，避免滑入否定理論作用的經(jīng)驗(yàn)主義泥坑。在強(qiáng)調(diào)“相關(guān)性”的時(shí)候不要懷疑“因果性”的存在；在宣稱大數(shù)據(jù)的客觀性、中立性的時(shí)候，不要忘了不管數(shù)據(jù)的規(guī)模如何，大數(shù)據(jù)總會(huì)受制于自身的局限性和人的偏見。不要相信這樣的預(yù)言：“采用大數(shù)據(jù)挖掘，你不需要對(duì)數(shù)據(jù)提出任何問題，數(shù)據(jù)就會(huì)自動(dòng)產(chǎn)生知識(shí)”。面對(duì)像大海一樣的巨量數(shù)據(jù)，從事數(shù)據(jù)挖掘的科技人員最大的困惑是，我們想撈的“針”是什么？這海里究竟有沒有“針”？也就是說，我們需要知道要解決的問題是什么。從這個(gè)意義上講，“科學(xué)始于數(shù)據(jù)”與“科學(xué)始于問題”應(yīng)有機(jī)地結(jié)合起來。

對(duì)“原因”的追求是科學(xué)發(fā)展的永恒動(dòng)力。但是，原因是追求不完的，人類在有限的時(shí)間內(nèi)不可能找到“終極真理”。在科學(xué)的探索途中，人們往往用“這是客觀規(guī)律”解釋世界，并不立即追問為什么有這樣的客觀規(guī)律。也就是說，傳統(tǒng)科學(xué)并非只追尋因果性，也可以用客觀規(guī)律作為結(jié)論。大數(shù)據(jù)研究的結(jié)果多半是一些新的知識(shí)或新的模型，這些知識(shí)和模型也可以用來預(yù)測(cè)未來，可以認(rèn)為是一類局部性的客觀規(guī)律?？茖W(xué)史上通過小數(shù)據(jù)模型發(fā)現(xiàn)一般性規(guī)律的例子不少，比如開普勒歸納的天體運(yùn)動(dòng)規(guī)律等；而大數(shù)據(jù)模型多半是發(fā)現(xiàn)一些特殊性的規(guī)律。物理學(xué)中的定律一般具有必然性，但大數(shù)據(jù)模型不一定具有必然性，也不一定具有可演繹性。大數(shù)據(jù)研究的對(duì)象往往是人的心理和社會(huì)，在知識(shí)階梯上位于較高層，其自然邊界是模糊的，但有更多的實(shí)踐特征。大數(shù)據(jù)研究者更重視知行合一，相信實(shí)踐論。大數(shù)據(jù)認(rèn)識(shí)論有許多與傳統(tǒng)認(rèn)識(shí)論不同的特點(diǎn)，我們不能因其特點(diǎn)不同就否定大數(shù)據(jù)方法的科學(xué)性。大數(shù)據(jù)研究挑戰(zhàn)了傳統(tǒng)認(rèn)識(shí)論對(duì)因果性的偏愛，用數(shù)據(jù)規(guī)律補(bǔ)充了單一的因果規(guī)律，實(shí)現(xiàn)了唯理論和經(jīng)驗(yàn)論的數(shù)據(jù)化統(tǒng)一，一種全新的大數(shù)據(jù)認(rèn)識(shí)論正在形成。