大數(shù)據(jù)的來源、采集與使用

日前，中國大數(shù)據(jù)與經(jīng)濟(jì)預(yù)測論壇在北京召開。在經(jīng)濟(jì)預(yù)測領(lǐng)域運(yùn)用大數(shù)據(jù)，如何利用大數(shù)據(jù)技術(shù)和方法，達(dá)到我們進(jìn)行經(jīng)濟(jì)預(yù)測的目的，是非常值得思考的。所以，本次會(huì)議來自明略數(shù)據(jù)的金融大數(shù)據(jù)行業(yè)專家楊昀結(jié)合充分的企業(yè)實(shí)踐和行業(yè)洞察，從微觀層面，就大數(shù)據(jù)來源、采集與使用進(jìn)行了“干貨”分享。

以下為內(nèi)容實(shí)錄：

2011年麥肯錫企業(yè)競爭力和生產(chǎn)力報(bào)告顯示，未來三分之二的金融業(yè)生產(chǎn)力增長來自數(shù)據(jù)系統(tǒng)。這個(gè)數(shù)字告訴我們，大數(shù)據(jù)在現(xiàn)代企業(yè)發(fā)展中，占據(jù)了非常重要的地位。所以，大數(shù)據(jù)在近幾年能夠得到企業(yè)的高度關(guān)注。

那么通常，數(shù)據(jù)處理的流程是什么樣的呢？

其實(shí)，通用的數(shù)據(jù)處理工業(yè)流程已經(jīng)存在幾十年，不管是宏觀預(yù)測還是企業(yè)大數(shù)據(jù)實(shí)踐，都需要這個(gè)流程。數(shù)據(jù)處理的流程通常包括，數(shù)據(jù)的采集、分析、輸出。通過這樣的流程和一定的數(shù)據(jù)技術(shù)，可以幫助國家、企業(yè)做出更好的預(yù)測、決策以便采取更快的行動(dòng)。

那么，為什么我們還要在大數(shù)據(jù)時(shí)代進(jìn)行優(yōu)化呢？因?yàn)榇髷?shù)據(jù)相對于傳統(tǒng)數(shù)據(jù)處理，有非常大的變化，需要我們用更好的技術(shù)手段進(jìn)行實(shí)現(xiàn)。

下面，我們根據(jù)明略數(shù)據(jù)豐富的企業(yè)實(shí)踐，針對大數(shù)據(jù)時(shí)代的數(shù)據(jù)來源、采集、使用等各方面，談一下自己的想法和大數(shù)據(jù)時(shí)代的現(xiàn)狀，挑戰(zhàn)和應(yīng)對思路。

大數(shù)據(jù)來源

對于大數(shù)據(jù)的來源，沒有非常明確的分類。我們經(jīng)常接觸到的分類比如有結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)；互聯(lián)網(wǎng)公開數(shù)據(jù)、企業(yè)內(nèi)部數(shù)據(jù)，或者行業(yè)共享數(shù)據(jù)。

我們傾向于將數(shù)據(jù)分為物理世界的數(shù)據(jù)和人類社會(huì)的數(shù)據(jù)。物理世界的數(shù)據(jù)，是通過科學(xué)實(shí)驗(yàn)得到的數(shù)據(jù)，是直觀的、可以量化的數(shù)據(jù)。而人類社會(huì)數(shù)據(jù)則是具有多樣性、時(shí)效性等特點(diǎn)，也是我們大數(shù)據(jù)時(shí)代主要的數(shù)據(jù)源。但這樣的數(shù)據(jù)有很多噪聲，比如在互聯(lián)網(wǎng)上，當(dāng)某一個(gè)熱點(diǎn)事件發(fā)生的時(shí)候，會(huì)產(chǎn)生非常多并發(fā)數(shù)據(jù)，數(shù)據(jù)多而雜，會(huì)有很多噪音。按照如上分類之后，大數(shù)據(jù)并不是一個(gè)純粹的技術(shù)，或純數(shù)學(xué)維度的學(xué)科，我們還需要與社會(huì)學(xué)、人類學(xué)、心理學(xué)以及行業(yè)知識進(jìn)行交叉，才能做好大數(shù)據(jù)的各方面技術(shù)。

數(shù)據(jù)的權(quán)利確認(rèn)

在大數(shù)據(jù)的時(shí)代，對于企業(yè)和個(gè)人來說，數(shù)據(jù)是一種資源，是一種無形的資產(chǎn)。如何確定數(shù)據(jù)的權(quán)利，并且保護(hù)這些權(quán)利，是全世界共同面臨的問題。在美國，民眾對于數(shù)據(jù)使用和隱私權(quán)的保護(hù)采用比較容忍的態(tài)度，但是歐洲民眾則更注重隱私權(quán)。中國還處在制度討論的前期，沒有明確的規(guī)定。這也是我們中國大數(shù)據(jù)行業(yè)需要思考的問題。

大數(shù)據(jù)價(jià)值取向

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)都是以TB，PB甚至更高的數(shù)量級存在的，但數(shù)據(jù)是不是越多越好呢？當(dāng)然，如果數(shù)據(jù)價(jià)值高，答案是肯定的。但是如果數(shù)據(jù)本身噪聲大，那么在做經(jīng)濟(jì)預(yù)測、企業(yè)決策時(shí)，并不是數(shù)據(jù)越多越好。我們需要選擇數(shù)據(jù)價(jià)值密度高的數(shù)據(jù)來源，才能有最終價(jià)值。

大數(shù)據(jù)采集

大數(shù)據(jù)采集，主要會(huì)分為獲取和清理兩部分。數(shù)據(jù)獲取的途徑非常多樣，主要有公開數(shù)據(jù)和內(nèi)部數(shù)據(jù)，像是企業(yè)生產(chǎn)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、第三方生態(tài)系統(tǒng)數(shù)據(jù)等等。但是，在獲取這些數(shù)據(jù)后，大多數(shù)據(jù)都存在冗余、噪聲等問題，這都需要我們通過數(shù)據(jù)清洗才能去除數(shù)據(jù)中的冗余、噪聲，提高數(shù)據(jù)質(zhì)量。

在大數(shù)據(jù)采集中，我們依舊面臨很多問題。

數(shù)據(jù)壁壘問題

數(shù)據(jù)作為核心競爭力，國家和企業(yè)都傾向于保護(hù)自己的數(shù)據(jù)，而不會(huì)無償公開數(shù)據(jù)。企業(yè)內(nèi)部也有數(shù)據(jù)邊界，跨部門之間的數(shù)據(jù)，也存在不容易交換的問題。這就形成了數(shù)據(jù)壁壘。雖然在業(yè)內(nèi)現(xiàn)在已經(jīng)有了一些平臺(tái)，國內(nèi)也有一些大數(shù)據(jù)交易所成立，但是制度不是很完善?！皵?shù)據(jù)貿(mào)易保護(hù)”當(dāng)中，每家企業(yè)都想獲得別人的數(shù)據(jù)，但是都想減少對外共享的數(shù)據(jù)。

數(shù)據(jù)精煉問題

如同上文所說，我們在采集數(shù)據(jù)時(shí)，會(huì)存在大量的數(shù)據(jù)冗余和噪聲。所以，在使用這些數(shù)據(jù)前，會(huì)需要大量的人力、物力和時(shí)間成本去對數(shù)據(jù)進(jìn)行精煉和處理，以提高其價(jià)值。

大數(shù)據(jù)使用

大數(shù)據(jù)的使用，本身是一個(gè)非常完整的體系。我們認(rèn)為，主要有發(fā)現(xiàn)和發(fā)掘兩個(gè)部分?！鞍l(fā)現(xiàn)”，主要是數(shù)據(jù)之間的顯性關(guān)系，通過傳統(tǒng)的統(tǒng)計(jì)分析可以得到結(jié)果。但在數(shù)據(jù)量大、種類多、關(guān)聯(lián)關(guān)系復(fù)雜的大數(shù)據(jù)時(shí)代，我們除了傳統(tǒng)的“發(fā)現(xiàn)”數(shù)據(jù)，還需要在大量的數(shù)據(jù)中，“發(fā)掘”數(shù)據(jù)之間的隱性關(guān)聯(lián)，從而達(dá)到挖掘數(shù)據(jù)背后的價(jià)值，幫助經(jīng)濟(jì)預(yù)測和企業(yè)決策。

大數(shù)據(jù)時(shí)代，我們?nèi)绾问褂脭?shù)據(jù)呢？

大數(shù)據(jù)時(shí)代的應(yīng)用場景和以前有著非常大的變化，以前我們只關(guān)注樣本數(shù)據(jù)，現(xiàn)在可以處理全量數(shù)據(jù)，并利用模型把以前不能關(guān)聯(lián)的數(shù)據(jù)關(guān)聯(lián)起來，并應(yīng)用到更多場景中。

同時(shí)，在大數(shù)據(jù)應(yīng)用中，我們也會(huì)考慮因果和相關(guān)關(guān)系的取舍問題。傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)，都是對樣本進(jìn)行研究，并發(fā)掘因果關(guān)系。但是在大數(shù)據(jù)時(shí)代，我們會(huì)更多地關(guān)注相關(guān)關(guān)系而不是因果關(guān)系。那么在經(jīng)濟(jì)預(yù)測中，我們還需要考慮，是不是對于宏觀經(jīng)濟(jì)預(yù)測，經(jīng)過大數(shù)據(jù)計(jì)算得到相關(guān)結(jié)果，就可以確定結(jié)論，不需要背后的因果邏輯。現(xiàn)今，在企業(yè)的角度，我們通常關(guān)注相關(guān)性能夠帶來效益，并使用它。

關(guān)于大數(shù)據(jù)行業(yè)未來的發(fā)展，明略數(shù)據(jù)也有自己的建議：

建立制度

首先，我們希望國家從法制的層面明確制度建設(shè)，只有明確大數(shù)據(jù)相關(guān)的制度，才能在大數(shù)據(jù)市場建立許可和信任，明確數(shù)據(jù)資產(chǎn)，并獲得更陽光的市場，保證數(shù)據(jù)合法權(quán)益不受侵犯。擁有陽光的市場，我們可以通過更清晰的角度評估數(shù)據(jù)來源和成本。

數(shù)據(jù)開放

在國家和企業(yè)層面能夠更大程度開放大數(shù)據(jù)，破除壁壘，這樣才能讓使用者獲得各種數(shù)據(jù)源間的關(guān)聯(lián)關(guān)系。并提供更多的大數(shù)據(jù)運(yùn)用場景，從多方面挖掘數(shù)據(jù)的實(shí)用價(jià)值。同時(shí)進(jìn)行標(biāo)準(zhǔn)化建設(shè)。因?yàn)?a href='/map/shujuqingxi/' style='color:#000;font-size:inherit;'>數(shù)據(jù)清洗本身需要耗費(fèi)非常多的人力、物力，如果能從國家層面建立個(gè)人、企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)，會(huì)讓整個(gè)大數(shù)據(jù)行業(yè)降低成本、更好發(fā)揮數(shù)據(jù)價(jià)值。

嘗試

大數(shù)據(jù)技術(shù)現(xiàn)在還處于發(fā)展階段，所以，我們也需要利用大數(shù)據(jù)的技術(shù)多去嘗試，去發(fā)現(xiàn)更多大數(shù)據(jù)的思維和方法。通過全量數(shù)據(jù)，發(fā)掘關(guān)聯(lián)關(guān)系。并且容忍試錯(cuò)，只有通過不斷的迭代和試錯(cuò)，大數(shù)據(jù)行業(yè)才能更加健康的發(fā)展，為國家宏觀經(jīng)濟(jì)、企業(yè)微觀決策作出更多貢獻(xiàn)。

明略數(shù)據(jù)作為一家注重關(guān)聯(lián)關(guān)系挖掘的大數(shù)據(jù)解決方案公司，也有豐富的大數(shù)據(jù)實(shí)踐案例。在金融行業(yè)，明略數(shù)據(jù)也希望通過大數(shù)據(jù)驅(qū)動(dòng)實(shí)現(xiàn)營銷精準(zhǔn)化，風(fēng)控全面化和交互社會(huì)化，并能夠幫助企業(yè)真正做到用大數(shù)據(jù)進(jìn)行“生產(chǎn)”。