大數(shù)據(jù)定義、思維方式及架構(gòu)模式

一、大數(shù)據(jù)何以為大

數(shù)據(jù)現(xiàn)在是個熱點詞匯，關(guān)于有了大數(shù)據(jù)，如何發(fā)揮大數(shù)據(jù)的價值，議論紛紛，而筆者以為，似乎這有點搞錯了原因與結(jié)果，就象關(guān)聯(lián)關(guān)系，有A的時候，B與之關(guān)聯(lián)，而有B的時候，A卻未必關(guān)聯(lián)，筆者還是從通常的4個V來描述一下我所認為的大數(shù)據(jù)思維。

1、大數(shù)據(jù)的量，數(shù)據(jù)量足夠大，達到了統(tǒng)計性意義，才有價值。筆者看過的一個典型的案例就是，例如傳統(tǒng)的，收集幾千條數(shù)據(jù)，很難發(fā)現(xiàn)血緣關(guān)系對遺傳病的影響，而一旦達到2萬條以上，那么發(fā)現(xiàn)這種影響就會非常明顯。那么對于我們在收集問題時，是為了發(fā)現(xiàn)隱藏的知識去收集數(shù)據(jù)，還是不管有沒有價值地收集，這還是值得商榷的。其實收集數(shù)據(jù)，對于數(shù)據(jù)本身，還是可以劃分出一些標準，確立出層級，結(jié)合需求、目標來收集，當然有人會說，這樣的話，將會導致巨大的偏差，例如說喪失了數(shù)據(jù)的完整性，有一定的主觀偏向，但是筆者以為，這樣至少可以讓收集到的數(shù)據(jù)的價值相對較高。

2、大數(shù)據(jù)的種類，也可以說成數(shù)據(jù)的維度，對于一個對象，采取標簽化的方式，進行標記，針對需求進行種類的擴充，和數(shù)據(jù)的量一樣，筆者認為同樣是建議根據(jù)需求來確立，但是對于標簽，有一個通常采取的策略，那就是推薦標簽和自定義標簽的問題，分類法其實是人類文明的一大創(chuàng)舉，采取推薦標簽的方式，可以大幅度降低標簽的總量，而減少后期的規(guī)約工作，數(shù)據(jù)收集時擴充量、擴充維度，但是在數(shù)據(jù)進入應用狀態(tài)時，我們是希望處理的是小數(shù)據(jù)、少維度，而通過這種推薦、可選擇的方式，可以在標準化基礎(chǔ)上的自定義，而不是毫無規(guī)則的擴展，甚至用戶的自定義標簽給予一定的限制，這樣可以使維度的價值更為顯現(xiàn)。

3、關(guān)于時效性，現(xiàn)在進入了讀秒時代，那么在很短的時間進行問題分析、關(guān)聯(lián)推薦、決策等等，需要的數(shù)據(jù)量和數(shù)據(jù)種類相比以前，往往更多，換個說法，因為現(xiàn)在時效性要求高了，所以處理數(shù)據(jù)的方式變了，以前可能多人處理，多次處理，現(xiàn)在必須變得單人處理、單次處理，那么相應的信息系統(tǒng)、工作方式、甚至企業(yè)的組織模式，管理績效都需要改變，例如筆者曾經(jīng)工作的企業(yè)，上了ERP系統(tǒng)，設計師意見很大，說一個典型案例，以往發(fā)一張變更單，發(fā)出去工作結(jié)束，而上了ERP系統(tǒng)以后，就必須為這張變更單設定物料代碼，設置需要查詢物料的存儲，而這些是以前設計師不管的，又沒有為設計師為這些增加的工作支付獎勵，甚至因為物料的缺少而導致變更單不能發(fā)出，以至于設計師工作沒有完成，導致被處罰。但是我們從把工作一次就做完，提升企業(yè)的工作效率角度，這樣的設計變更與物料集成的方式顯然是必須的。那么作為一個工作人員，如何讓自己的工作更全面，更完整，避免王府，讓整個企業(yè)工作更具有時間的競爭力，提高數(shù)據(jù)的數(shù)量、種類、處理能力是必須的。

4、關(guān)于大數(shù)據(jù)價值，一種說法是大數(shù)據(jù)有大價值，還有一種是相對于以往的結(jié)構(gòu)化數(shù)據(jù)、少量數(shù)據(jù)，現(xiàn)在是大數(shù)據(jù)了，所以大數(shù)據(jù)的單位價值下降。筆者以為這兩種說法都正確，這是一個從總體價值來看，一個從單元數(shù)據(jù)價值來看的問題。而筆者提出一個新的關(guān)于大數(shù)據(jù)價值的觀點，那就是真正發(fā)揮大數(shù)據(jù)的價值的另外一個思路。這個思路就是針對企業(yè)的問題，首先要說什么是問題，筆者說的問題不是一般意義上的問題，因為一說問題，大家都以為不好、錯誤等等，而筆者的問題的定義是指狀態(tài)與其期望狀態(tài)的差異，包括三種模式，

1）通常意義的問題，例如失火了，必須立即撲救，其實這是三種模式中最少的一種；

2）希望保持狀態(tài)，

3）期望的狀態(tài)，這是比原來的狀態(tài)高一個層級的。

我們針對問題，提出一系列解決方案，這些解決方案往往有多種，例如員工的培訓，例如設備的改進，例如組織的方式的變化，當然解決方案包括信息化手段、大數(shù)據(jù)手段，我們一樣需要權(quán)衡大數(shù)據(jù)的方法是不是一種相對較優(yōu)的方法，如果是，那么用這種手段去解決，那么也就是有價值了。例如筆者知道的一個案例，一個企業(yè)某產(chǎn)品部件偶爾會出現(xiàn)問題，企業(yè)經(jīng)歷數(shù)次后決定針對設備上了一套工控系統(tǒng)，記錄材料的溫度，結(jié)果又一次出現(xiàn)問題時，進行分析認為，如果工人正常上班操作，不應該有這樣的數(shù)據(jù)記錄，而經(jīng)過與值班工人的質(zhì)詢，值班工人承認其上晚班時睡覺，沒有及時處理。再往后，同樣的問題再沒有再次發(fā)生。

總結(jié)起來，筆者以為大數(shù)據(jù)思維的核心還是要落實到價值上，面向問題，收集足夠量的數(shù)據(jù)，足夠維度的數(shù)據(jù)，達到具有統(tǒng)計學意義，也可以滿足企業(yè)生產(chǎn)、客戶需求、甚至競爭的時效要求，而不是一味為了大數(shù)據(jù)而大數(shù)據(jù)，這樣才是一種務實、有效的正確思維方式，是一線大數(shù)據(jù)的有效的項目推進方式，在這樣的思維模式基礎(chǔ)上，采取滾雪球方式，把大數(shù)據(jù)逐步展開，才真正贏來大數(shù)據(jù)百花齊放的春天。

二、大數(shù)據(jù)思維方式

大數(shù)據(jù)研究專家舍恩伯格指出，大數(shù)據(jù)時代，人們對待數(shù)據(jù)的思維方式會發(fā)生如下三個變化：

1）人們處理的數(shù)據(jù)從樣本數(shù)據(jù)變成全部數(shù)據(jù)；

2）由于是全樣本數(shù)據(jù)，人們不得不接受數(shù)據(jù)的混雜性，而放棄對精確性的追求；

3）人類通過對大數(shù)據(jù)的處理，放棄對因果關(guān)系的渴求，轉(zhuǎn)而關(guān)注相關(guān)關(guān)系。

事實上，大數(shù)據(jù)時代帶給人們的思維方式的深刻轉(zhuǎn)變遠不止上述三個方面。筆者認為，大數(shù)據(jù)思維最關(guān)鍵的轉(zhuǎn)變在于從自然思維轉(zhuǎn)向智能思維，使得大數(shù)據(jù)像具有生命力一樣，獲得類似于“人腦”的智能，甚至智慧。

1、總體思維

社會科學研究社會現(xiàn)象的總體特征，以往采樣一直是主要數(shù)據(jù)獲取手段，這是人類在無法獲得總體數(shù)據(jù)信息條件下的無奈選擇。在大數(shù)據(jù)時代，人們可以獲得與分析更多的數(shù)據(jù)，甚至是與之相關(guān)的所有數(shù)據(jù)，而不再依賴于采樣，從而可以帶來更全面的認識，可以更清楚地發(fā)現(xiàn)樣本無法揭示的細節(jié)信息。

正如舍恩伯格總結(jié)道：“我們總是習慣把統(tǒng)計抽樣看作文明得以建立的牢固基石，就如同幾何學定理和萬有引力定律一樣。但是，統(tǒng)計抽樣其實只是為了在技術(shù)受限的特定時期，解決當時存在的一些特定問題而產(chǎn)生的，其歷史不足一百年。如今，技術(shù)環(huán)境已經(jīng)有了很大的改善。在大數(shù)據(jù)時代進行抽樣分析就像是在汽車時代騎馬一樣。

在某些特定的情況下，我們依然可以使用樣本分析法，但這不再是我們分析數(shù)據(jù)的主要方式。”也就是說，在大數(shù)據(jù)時代，隨著數(shù)據(jù)收集、存儲、分析技術(shù)的突破性發(fā)展，我們可以更加方便、快捷、動態(tài)地獲得研究對象有關(guān)的所有數(shù)據(jù)，而不再因諸多限制不得不采用樣本研究方法，相應地，思維方式也應該從樣本思維轉(zhuǎn)向總體思維，從而能夠更加全面、立體、系統(tǒng)地認識總體狀況。

2、容錯思維

在小數(shù)據(jù)時代，由于收集的樣本信息量比較少，所以必須確保記錄下來的數(shù)據(jù)盡量結(jié)構(gòu)化、精確化，否則，分析得出的結(jié)論在推及總體上就會“南轅北轍”，因此，就必須十分注重精確思維。然而，在大數(shù)據(jù)時代，得益于大數(shù)據(jù)技術(shù)的突破，大量的非結(jié)構(gòu)化、異構(gòu)化的數(shù)據(jù)能夠得到儲存和分析，這一方面提升了我們從數(shù)據(jù)中獲取知識和洞見的能力，另一方面也對傳統(tǒng)的精確思維造成了挑戰(zhàn)。

舍恩伯格指出，“執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶”。也就是說，在大數(shù)據(jù)時代，思維方式要從精確思維轉(zhuǎn)向容錯思維，當擁有海量即時數(shù)據(jù)時，絕對的精準不再是追求的主要目標，適當忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在宏觀層面擁有更好的知識和洞察力。

3、相關(guān)思維

在小數(shù)據(jù)世界中，人們往往執(zhí)著于現(xiàn)象背后的因果關(guān)系，試圖通過有限樣本數(shù)據(jù)來剖析其中的內(nèi)在機理。小數(shù)據(jù)的另一個缺陷就是有限的樣本數(shù)據(jù)無法反映出事物之間的普遍性的相關(guān)關(guān)系。而在大數(shù)據(jù)時代，人們可以通過大數(shù)據(jù)技術(shù)挖掘出事物之間隱蔽的相關(guān)關(guān)系，獲得更多的認知與洞見，運用這些認知與洞見就可以幫助我們捕捉現(xiàn)在和預測未來，而建立在相關(guān)關(guān)系分析基礎(chǔ)上的預測正是大數(shù)據(jù)的核心議題。

通過關(guān)注線性的相關(guān)關(guān)系，以及復雜的非線性相關(guān)關(guān)系，可以幫助人們看到很多以前不曾注意的聯(lián)系，還可以掌握以前無法理解的復雜技術(shù)和社會動態(tài)，相關(guān)關(guān)系甚至可以超越因果關(guān)系，成為我們了解這個世界的更好視角。舍恩伯格指出，大數(shù)據(jù)的出現(xiàn)讓人們放棄了對因果關(guān)系的渴求，轉(zhuǎn)而關(guān)注相關(guān)關(guān)系，人們只需知道“是什么”，而不用知道“為什么”。我們不必非得知道事物或現(xiàn)象背后的復雜深層原因，而只需要通過大數(shù)據(jù)分析獲知“是什么”就意義非凡，這會給我們提供非常新穎且有價值的觀點、信息和知識。也就是說，在大數(shù)據(jù)時代，思維方式要從因果思維轉(zhuǎn)向相關(guān)思維，努力顛覆千百年來人類形成的傳統(tǒng)思維模式和固有偏見，才能更好地分享大數(shù)據(jù)帶來的深刻洞見。

4、智能思維

不斷提高機器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計算機的出現(xiàn)極大地推動了自動控制、人工智能和機器學習等新技術(shù)的發(fā)展，“機器人”研發(fā)也取得了突飛猛進的成果并開始一定應用。應該說，自進入到信息社會以來，人類社會的自動化、智能化水平已得到明顯提升，但始終面臨瓶頸而無法取得突破性進展，機器的思維方式仍屬于線性、簡單、物理的自然思維，智能水平仍不盡如人意。

但是，大數(shù)據(jù)時代的到來，可以為提升機器智能帶來契機，因為大數(shù)據(jù)將有效推進機器思維方式由自然思維轉(zhuǎn)向智能思維，這才是大數(shù)據(jù)思維轉(zhuǎn)變的關(guān)鍵所在、核心內(nèi)容。眾所周知，人腦之所以具有智能、智慧，就在于它能夠?qū)χ茉獾臄?shù)據(jù)信息進行全面收集、邏輯判斷和歸納總結(jié)，獲得有關(guān)事物或現(xiàn)象的認識與見解。同樣，在大數(shù)據(jù)時代，隨著物聯(lián)網(wǎng)、云計算、社會計算、可視技術(shù)等的突破發(fā)展，大數(shù)據(jù)系統(tǒng)也能夠自動地搜索所有相關(guān)的數(shù)據(jù)信息，并進而類似“人腦”一樣主動、立體、邏輯地分析數(shù)據(jù)、做出判斷、提供洞見，那么，無疑也就具有了類似人類的智能思維能力和預測未來的能力。

“智能、智慧”是大數(shù)據(jù)時代的顯著特征，大數(shù)據(jù)時代的思維方式也要求從自然思維轉(zhuǎn)向智能思維，不斷提升機器或系統(tǒng)的社會計算能力和智能化水平，從而獲得具有洞察力和新價值的東西，甚至類似于人類的“智慧”。

舍恩伯格指出，“大數(shù)據(jù)開啟了一個重大的時代轉(zhuǎn)型。就像望遠鏡讓我們感受宇宙，顯微鏡讓我們能夠觀測到微生物一樣，大數(shù)據(jù)正在改變我們的生活以及理解世界的方式，成為新發(fā)明和新服務的源泉，而更多的改變正蓄勢待發(fā)”。

大數(shù)據(jù)時代將帶來深刻的思維轉(zhuǎn)變，大數(shù)據(jù)不僅將改變每個人的日常生活和工作方式，改變商業(yè)組織和社會組織的運行方式，而且將從根本上奠定國家和社會治理的基礎(chǔ)數(shù)據(jù)，徹底改變長期以來國家與社會諸多領(lǐng)域存在的“不可治理”狀況，使得國家和社會治理更加透明、有效和智慧。