大數(shù)據(jù)的來源、采集與使用

日前，中國大數(shù)據(jù)與經(jīng)濟預測論壇在北京召開。在經(jīng)濟預測領域運用大數(shù)據(jù)，如何利用大數(shù)據(jù)技術和方法，達到我們進行經(jīng)濟預測的目的，是非常值得思考的。所以，本次會議來自明略數(shù)據(jù)的金融大數(shù)據(jù)行業(yè)專家楊昀結合充分的企業(yè)實踐和行業(yè)洞察，從微觀層面，就大數(shù)據(jù)來源、采集與使用進行了“干貨”分享。

以下為內容實錄：

2011年麥肯錫企業(yè)競爭力和生產力報告顯示，未來三分之二的金融業(yè)生產力增長來自數(shù)據(jù)系統(tǒng)。這個數(shù)字告訴我們，大數(shù)據(jù)在現(xiàn)代企業(yè)發(fā)展中，占據(jù)了非常重要的地位。所以，大數(shù)據(jù)在近幾年能夠得到企業(yè)的高度關注。

那么通常，數(shù)據(jù)處理的流程是什么樣的呢？

其實，通用的數(shù)據(jù)處理工業(yè)流程已經(jīng)存在幾十年，不管是宏觀預測還是企業(yè)大數(shù)據(jù)實踐，都需要這個流程。數(shù)據(jù)處理的流程通常包括，數(shù)據(jù)的采集、分析、輸出。通過這樣的流程和一定的數(shù)據(jù)技術，可以幫助國家、企業(yè)做出更好的預測、決策以便采取更快的行動。

那么，為什么我們還要在大數(shù)據(jù)時代進行優(yōu)化呢？因為大數(shù)據(jù)相對于傳統(tǒng)數(shù)據(jù)處理，有非常大的變化，需要我們用更好的技術手段進行實現(xiàn)。

下面，我們根據(jù)明略數(shù)據(jù)豐富的企業(yè)實踐，針對大數(shù)據(jù)時代的數(shù)據(jù)來源、采集、使用等各方面，談一下自己的想法和大數(shù)據(jù)時代的現(xiàn)狀，挑戰(zhàn)和應對思路。

大數(shù)據(jù)來源

對于大數(shù)據(jù)的來源，沒有非常明確的分類。我們經(jīng)常接觸到的分類比如有結構化、非結構化、半結構化的數(shù)據(jù)；互聯(lián)網(wǎng)公開數(shù)據(jù)、企業(yè)內部數(shù)據(jù)，或者行業(yè)共享數(shù)據(jù)。

我們傾向于將數(shù)據(jù)分為物理世界的數(shù)據(jù)和人類社會的數(shù)據(jù)。物理世界的數(shù)據(jù)，是通過科學實驗得到的數(shù)據(jù)，是直觀的、可以量化的數(shù)據(jù)。而人類社會數(shù)據(jù)則是具有多樣性、時效性等特點，也是我們大數(shù)據(jù)時代主要的數(shù)據(jù)源。但這樣的數(shù)據(jù)有很多噪聲，比如在互聯(lián)網(wǎng)上，當某一個熱點事件發(fā)生的時候，會產生非常多并發(fā)數(shù)據(jù)，數(shù)據(jù)多而雜，會有很多噪音。按照如上分類之后，大數(shù)據(jù)并不是一個純粹的技術，或純數(shù)學維度的學科，我們還需要與社會學、人類學、心理學以及行業(yè)知識進行交叉，才能做好大數(shù)據(jù)的各方面技術。

數(shù)據(jù)的權利確認

在大數(shù)據(jù)的時代，對于企業(yè)和個人來說，數(shù)據(jù)是一種資源，是一種無形的資產。如何確定數(shù)據(jù)的權利，并且保護這些權利，是全世界共同面臨的問題。在美國，民眾對于數(shù)據(jù)使用和隱私權的保護采用比較容忍的態(tài)度，但是歐洲民眾則更注重隱私權。中國還處在制度討論的前期，沒有明確的規(guī)定。這也是我們中國大數(shù)據(jù)行業(yè)需要思考的問題。

大數(shù)據(jù)價值取向

在大數(shù)據(jù)時代，數(shù)據(jù)都是以TB，PB甚至更高的數(shù)量級存在的，但數(shù)據(jù)是不是越多越好呢？當然，如果數(shù)據(jù)價值高，答案是肯定的。但是如果數(shù)據(jù)本身噪聲大，那么在做經(jīng)濟預測、企業(yè)決策時，并不是數(shù)據(jù)越多越好。我們需要選擇數(shù)據(jù)價值密度高的數(shù)據(jù)來源，才能有最終價值。

大數(shù)據(jù)采集

大數(shù)據(jù)采集，主要會分為獲取和清理兩部分。數(shù)據(jù)獲取的途徑非常多樣，主要有公開數(shù)據(jù)和內部數(shù)據(jù)，像是企業(yè)生產數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、第三方生態(tài)系統(tǒng)數(shù)據(jù)等等。但是，在獲取這些數(shù)據(jù)后，大多數(shù)據(jù)都存在冗余、噪聲等問題，這都需要我們通過數(shù)據(jù)清洗才能去除數(shù)據(jù)中的冗余、噪聲，提高數(shù)據(jù)質量。

在大數(shù)據(jù)采集中，我們依舊面臨很多問題。

數(shù)據(jù)壁壘問題

數(shù)據(jù)作為核心競爭力，國家和企業(yè)都傾向于保護自己的數(shù)據(jù)，而不會無償公開數(shù)據(jù)。企業(yè)內部也有數(shù)據(jù)邊界，跨部門之間的數(shù)據(jù)，也存在不容易交換的問題。這就形成了數(shù)據(jù)壁壘。雖然在業(yè)內現(xiàn)在已經(jīng)有了一些平臺，國內也有一些大數(shù)據(jù)交易所成立，但是制度不是很完善。“數(shù)據(jù)貿易保護”當中，每家企業(yè)都想獲得別人的數(shù)據(jù)，但是都想減少對外共享的數(shù)據(jù)。

數(shù)據(jù)精煉問題

如同上文所說，我們在采集數(shù)據(jù)時，會存在大量的數(shù)據(jù)冗余和噪聲。所以，在使用這些數(shù)據(jù)前，會需要大量的人力、物力和時間成本去對數(shù)據(jù)進行精煉和處理，以提高其價值。

大數(shù)據(jù)使用

大數(shù)據(jù)的使用，本身是一個非常完整的體系。我們認為，主要有發(fā)現(xiàn)和發(fā)掘兩個部分?！鞍l(fā)現(xiàn)”，主要是數(shù)據(jù)之間的顯性關系，通過傳統(tǒng)的統(tǒng)計分析可以得到結果。但在數(shù)據(jù)量大、種類多、關聯(lián)關系復雜的大數(shù)據(jù)時代，我們除了傳統(tǒng)的“發(fā)現(xiàn)”數(shù)據(jù)，還需要在大量的數(shù)據(jù)中，“發(fā)掘”數(shù)據(jù)之間的隱性關聯(lián)，從而達到挖掘數(shù)據(jù)背后的價值，幫助經(jīng)濟預測和企業(yè)決策。

大數(shù)據(jù)時代，我們如何使用數(shù)據(jù)呢？

大數(shù)據(jù)時代的應用場景和以前有著非常大的變化，以前我們只關注樣本數(shù)據(jù)，現(xiàn)在可以處理全量數(shù)據(jù)，并利用模型把以前不能關聯(lián)的數(shù)據(jù)關聯(lián)起來，并應用到更多場景中。

同時，在大數(shù)據(jù)應用中，我們也會考慮因果和相關關系的取舍問題。傳統(tǒng)的數(shù)據(jù)統(tǒng)計，都是對樣本進行研究，并發(fā)掘因果關系。但是在大數(shù)據(jù)時代，我們會更多地關注相關關系而不是因果關系。那么在經(jīng)濟預測中，我們還需要考慮，是不是對于宏觀經(jīng)濟預測，經(jīng)過大數(shù)據(jù)計算得到相關結果，就可以確定結論，不需要背后的因果邏輯?，F(xiàn)今，在企業(yè)的角度，我們通常關注相關性能夠帶來效益，并使用它。

關于大數(shù)據(jù)行業(yè)未來的發(fā)展，明略數(shù)據(jù)也有自己的建議：

建立制度

首先，我們希望國家從法制的層面明確制度建設，只有明確大數(shù)據(jù)相關的制度，才能在大數(shù)據(jù)市場建立許可和信任，明確數(shù)據(jù)資產，并獲得更陽光的市場，保證數(shù)據(jù)合法權益不受侵犯。擁有陽光的市場，我們可以通過更清晰的角度評估數(shù)據(jù)來源和成本。

數(shù)據(jù)開放

在國家和企業(yè)層面能夠更大程度開放大數(shù)據(jù)，破除壁壘，這樣才能讓使用者獲得各種數(shù)據(jù)源間的關聯(lián)關系。并提供更多的大數(shù)據(jù)運用場景，從多方面挖掘數(shù)據(jù)的實用價值。同時進行標準化建設。因為數(shù)據(jù)清洗本身需要耗費非常多的人力、物力，如果能從國家層面建立個人、企業(yè)的數(shù)據(jù)標準，會讓整個大數(shù)據(jù)行業(yè)降低成本、更好發(fā)揮數(shù)據(jù)價值。

嘗試

大數(shù)據(jù)技術現(xiàn)在還處于發(fā)展階段，所以，我們也需要利用大數(shù)據(jù)的技術多去嘗試，去發(fā)現(xiàn)更多大數(shù)據(jù)的思維和方法。通過全量數(shù)據(jù)，發(fā)掘關聯(lián)關系。并且容忍試錯，只有通過不斷的迭代和試錯，大數(shù)據(jù)行業(yè)才能更加健康的發(fā)展，為國家宏觀經(jīng)濟、企業(yè)微觀決策作出更多貢獻。

明略數(shù)據(jù)作為一家注重關聯(lián)關系挖掘的大數(shù)據(jù)解決方案公司，也有豐富的大數(shù)據(jù)實踐案例。在金融行業(yè)，明略數(shù)據(jù)也希望通過大數(shù)據(jù)驅動實現(xiàn)營銷精準化，風控全面化和交互社會化，并能夠幫助企業(yè)真正做到用大數(shù)據(jù)進行“生產”。