大數(shù)據(jù)應(yīng)用價值發(fā)現(xiàn)的三大方法

關(guān)于大數(shù)據(jù)的討論，一方面人們需要厘清大數(shù)據(jù)的概念，開發(fā)適用的大數(shù)據(jù)系統(tǒng)和工具，探索大數(shù)據(jù)的應(yīng)用模式等，另一方面人們更關(guān)心如何將大數(shù)據(jù)的價值變現(xiàn)。這對于一個企業(yè)來說尤其重要，否則，收集和存儲了大量的數(shù)據(jù)，消耗了大量的錢財，如果大數(shù)據(jù)不能被很好地利用，從經(jīng)濟上講就是不合算的，這樣的事情也不會長遠。

大數(shù)據(jù)價值的發(fā)現(xiàn)與其所處的應(yīng)用場景密切相關(guān)。概括起來，大數(shù)據(jù)價值發(fā)現(xiàn)可以劃分為三大類：數(shù)據(jù)服務(wù)、數(shù)據(jù)分析和數(shù)據(jù)探索。數(shù)據(jù)服務(wù)是面向大規(guī)模用戶，提供高性能的數(shù)據(jù)查詢、檢索、預(yù)測等服務(wù)，通過直接滿足用戶需求而將數(shù)據(jù)價值變現(xiàn)的形式;數(shù)據(jù)分析是分析人員利用經(jīng)驗，通過對大規(guī)模數(shù)據(jù)使用特定的計算模型進行較為復(fù)雜的運算，從而發(fā)現(xiàn)易于人們理解的數(shù)據(jù)模式或規(guī)律所進行的數(shù)據(jù)價值變現(xiàn)的一種運算形式;數(shù)據(jù)探索是一種利用數(shù)據(jù)分析和人機交互的結(jié)合，通過不斷揭示數(shù)據(jù)的規(guī)律和數(shù)據(jù)間的關(guān)聯(lián)，引導(dǎo)分析人員發(fā)現(xiàn)并認識其所未知的數(shù)據(jù)模式或規(guī)律，其價值更多地體現(xiàn)在對未知途徑的數(shù)據(jù)模式和規(guī)律的探索。

1. 數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)針對用戶非常明確的數(shù)據(jù)查詢和處理任務(wù)，以高性能和高吞吐量的方式實現(xiàn)大眾化的服務(wù)，是數(shù)據(jù)價值最重要也是最直接的發(fā)現(xiàn)方式。由于要處理大眾化的服務(wù)請求，每個服務(wù)任務(wù)必須能夠被快速地處理掉，因此，數(shù)據(jù)服務(wù)的單個任務(wù)負載不能過于復(fù)雜，單任務(wù)直接處理的數(shù)據(jù)不能太大，任務(wù)對應(yīng)的用戶需求和采用的數(shù)據(jù)處理方法必須是明確的。一些典型的數(shù)據(jù)服務(wù)包括事務(wù)處理、數(shù)據(jù)查詢、信息檢索、數(shù)據(jù)預(yù)測。

事務(wù)處理是傳統(tǒng)數(shù)據(jù)庫范疇的價值發(fā)現(xiàn)形式，它針對的主要是任務(wù)關(guān)鍵型的數(shù)據(jù)服務(wù)，如銀行記賬、商業(yè)交易等; 數(shù)據(jù)查詢主要是面向快速查找或修改數(shù)據(jù)的服務(wù)需求，它比事務(wù)處理更簡單，對數(shù)據(jù)一致性要求沒那么強，但對服務(wù)的吞吐量要求非常高;信息檢索是指從大規(guī)模的數(shù)據(jù)集中快速查找滿足用戶需求的資料或數(shù)據(jù)片段的過程;數(shù)據(jù)預(yù)測和數(shù)據(jù)分類被很多人認為是一種數(shù)據(jù)分析任務(wù)，其實，很多針對個體的數(shù)據(jù)預(yù)測和分類任務(wù)實際上是一種數(shù)據(jù)服務(wù)，它使用數(shù)據(jù)分析得來的預(yù)測模型，對個體數(shù)據(jù)實例進行預(yù)測，從而能夠高并發(fā)地為大規(guī)模用戶提供分類和預(yù)測服務(wù)，進而更好地體現(xiàn)出數(shù)據(jù)的價值。

2. 數(shù)據(jù)分析

數(shù)據(jù)分析是指用適當(dāng)?shù)?a href='/map/tongjifenxi/' style='color:#000;font-size:inherit;'>統(tǒng)計分析方法對大量數(shù)據(jù)進行分析或建模，提取有用信息并形成結(jié)論，進而輔助人們決策的過程。在這個過程中，用戶會有一個明確的目標(biāo)，通過“數(shù)據(jù)清理、轉(zhuǎn)換、建模、統(tǒng)計”等一系列復(fù)雜的操作，獲得對數(shù)據(jù)的洞察，從而協(xié)助用戶進行決策。常見的數(shù)據(jù)分析任務(wù)又可以被進一步劃分為描述型分析、診斷型分析、預(yù)測型分析、策略型分析。

描述型分析的主要特點是對數(shù)據(jù)代表的含義進行描述性的揭示，通過數(shù)據(jù)統(tǒng)計分析揭示數(shù)據(jù)隱含的現(xiàn)象，從而幫助人們更好地進行決策。

診斷型分析主要用來揭示一些現(xiàn)象背后的成因，因此，它比描述型分析更深入。很多數(shù)據(jù)挖掘方法與診斷型分析密切相關(guān)。比如相關(guān)性分析和因果關(guān)系的分析等，都是想通過對數(shù)據(jù)的深度分析揭示描述型分析所發(fā)現(xiàn)的某些現(xiàn)象背后的成因。

預(yù)測型分析主要是使用機器學(xué)習(xí)技術(shù)，對現(xiàn)有的大數(shù)據(jù)進行深度分析，構(gòu)建數(shù)據(jù)預(yù)測和分類的模型，從而更好地支持數(shù)據(jù)預(yù)測和分類服務(wù)。

策略型分析也稱指導(dǎo)型分析，是在分析過程中減少甚至排除人的參與，在給定目標(biāo)的驅(qū)動下，直接幫助人們找到好的策略，作用于大數(shù)據(jù)應(yīng)用，使得未來數(shù)據(jù)指標(biāo)能夠按照設(shè)想的某些趨勢發(fā)展。它是數(shù)據(jù)分析的高級階段，更能發(fā)揮出大數(shù)據(jù)的價值。

總之，數(shù)據(jù)分析一般基于大量數(shù)據(jù)和較為復(fù)雜的運算模型，其結(jié)果信息量通常很大，適用于宏觀決策。而對于細節(jié)層面信息的獲取，數(shù)據(jù)分析缺乏如索引和訪問控制等方面的技術(shù)支持。如何在一個平臺上，既支持宏觀的分析，也支持細節(jié)的分析，是當(dāng)今一個挑戰(zhàn)的技術(shù)難題。

3. 數(shù)據(jù)探索

數(shù)據(jù)探索是指針對目標(biāo)可變、持續(xù)、多角度的搜索或分析任務(wù)，其搜索過程是有選擇、有策略和反復(fù)進行的。它將以找到信息為目的的傳統(tǒng)信息檢索模式變?yōu)橐园l(fā)現(xiàn)、學(xué)習(xí)和決策為目的的信息搜尋模式。這樣的搜索模式結(jié)合了大量的數(shù)據(jù)分析與人機交互過程，適合于人們從數(shù)據(jù)中發(fā)現(xiàn)和學(xué)習(xí)更多的內(nèi)容和價值。

對于數(shù)據(jù)探索，用戶可以在微觀層面(數(shù)據(jù)搜索)和宏觀層面(數(shù)據(jù)分析)之間進行自由切換，用交互式的方式探索并發(fā)現(xiàn)數(shù)據(jù)的價值。

目前，隨著大數(shù)據(jù)研究的興起，探索式搜索這種交互式分析和探索數(shù)據(jù)價值的方式，逐漸引起人們的重視，還有很多問題等待研究者們進行深入的研究。

數(shù)據(jù)服務(wù)強調(diào)從微觀層面獲取滿足用戶需求的精準(zhǔn)信息，數(shù)據(jù)分析強調(diào)從宏觀層面為用戶提供數(shù)據(jù)洞察，進而提供決策支持，而數(shù)據(jù)探索則需要在宏觀和微觀兩個層面進行自由切換。大數(shù)據(jù)蘊含大價值，數(shù)據(jù)服務(wù)、數(shù)據(jù)分析和數(shù)據(jù)探索是3個層次的數(shù)據(jù)價值發(fā)現(xiàn)方法。在很多應(yīng)用下，這3類方法需要混合使用，才能更好地發(fā)現(xiàn)大數(shù)據(jù)的價值。