異質(zhì)性和共性是大數(shù)據(jù)兩大挑戰(zhàn)_數(shù)據(jù)時分析師考試

什么是大數(shù)據(jù)？大數(shù)據(jù)究竟能做什么？大數(shù)據(jù)時代的機(jī)會與挑戰(zhàn)分別是什么？

　　如今面對無處不在的大數(shù)據(jù)，卻很少有人可以清楚地回答出以上這三個問題。

　　日前，以“大數(shù)據(jù)時代，統(tǒng)計無處不在”為主題的問學(xué)講堂在復(fù)旦大學(xué)管理學(xué)院舉行。在此期間，《國際金融報》記者遇見了美國普林斯頓大學(xué)運籌與金融工程系系主任范劍青。由于對統(tǒng)計學(xué)重要而廣泛的貢獻(xiàn)，范劍青教授榮獲2000年度的COPSS總統(tǒng)獎，該獎為國際統(tǒng)計學(xué)領(lǐng)域的最高獎，于2008年當(dāng)選國際數(shù)理統(tǒng)計學(xué)會(IMS)主席，是該會創(chuàng)會以來70多位主席中惟一的中國人。

　　在這位統(tǒng)計學(xué)大師級的教授眼中，大數(shù)據(jù)不僅大，而且很復(fù)雜，既有結(jié)構(gòu)性的數(shù)據(jù)，也有非結(jié)構(gòu)性的數(shù)據(jù)，與生物、工程、自然科學(xué)、社會科學(xué)等息息相關(guān)。

　　在接受《國際金融報》記者的采訪中，范劍青指出，大數(shù)據(jù)有兩方面富有挑戰(zhàn)的問題，異質(zhì)性和共性。異質(zhì)性能提供個性化的產(chǎn)品、服務(wù)等，共性則存在于不斷的變化之中?！把芯看髷?shù)據(jù)，不僅能夠預(yù)測未來，更重要的是探索其中的因果聯(lián)系。”

　　大數(shù)據(jù)沒那么美好

　　大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多；發(fā)出的社區(qū)帖子達(dá)200萬個；賣出的手機(jī)為37.8萬臺，高于全球每天出生的嬰兒數(shù)量37.1萬…… 

　　更重要的是，數(shù)據(jù)已經(jīng)不僅僅是數(shù)據(jù)本身了，這儼然是一場革命。

　　“大數(shù)據(jù)的影響包括數(shù)據(jù)獲得、 數(shù)據(jù)管理、計算基礎(chǔ)建設(shè)、計算優(yōu)化等方面。大數(shù)據(jù)對統(tǒng)計分析的影響則包括噪聲疊加、假相關(guān)、內(nèi)生性、誤差、異質(zhì)性等?！狈秳η喔嬖V記者，在大數(shù)據(jù)時代，機(jī)會與挑戰(zhàn)并存。

　　大規(guī)模的數(shù)據(jù)集很有誘惑力，能促使人們展開積極的分析，而且分析者希望能夠從中獲取有獲獎可能性的科學(xué)發(fā)現(xiàn)。但有時，利用大數(shù)據(jù)意味著最終得到的是糟糕數(shù)據(jù)。要從大數(shù)據(jù)中得出高見，給計算機(jī)科學(xué)、統(tǒng)計推斷方法甚至科學(xué)方法本身帶來了巨大的挑戰(zhàn)。

　　“當(dāng)然，計算機(jī)領(lǐng)域的科學(xué)家通過開發(fā)出卓越的計算能力和信息存儲技術(shù)，讓大數(shù)據(jù)的積累成為可能。但是收集數(shù)據(jù)及存儲信息與理解這些內(nèi)容并不是一回事。”范劍青指出，了解大數(shù)據(jù)的真正意義并不等同于對小數(shù)據(jù)進(jìn)行解讀，就像明白鳥群的行為特征并不能解釋一只孤獨的海鷗所發(fā)出的叫聲一樣。

　　范劍青指出，標(biāo)準(zhǔn)的統(tǒng)計檢驗和計算程序原本是要分析從大的群體中提取的小樣本，從而得出科學(xué)推斷。但是大數(shù)據(jù)提供的樣本極大，有時甚至包括整個群體或者群體的大部分。任務(wù)之艱巨會給實施計算過程從而完成統(tǒng)計檢驗帶來問題。

　　“統(tǒng)計學(xué)的夢想，在于找到有效的統(tǒng)計方法，運用合適的計算手段，預(yù)測未來?！狈秳η嘞蛴浾弑磉_(dá)出了他的統(tǒng)計學(xué)夢想。

　　無法取代傳統(tǒng)收集法

　　目前，阿里、騰訊、京東由于坐擁電商的交易數(shù)據(jù)、社交信息數(shù)據(jù)等，都在“試水”利用大數(shù)據(jù)來搭建信用評價體系。但事實上，基于社交網(wǎng)絡(luò)上的數(shù)據(jù)來進(jìn)行信用評分、描繪一個人的畫像，在國際上也沒有成功的先例。那么，互聯(lián)網(wǎng)社交數(shù)據(jù)究竟靠譜嗎？

　　在范劍青在采訪時候表示，“大數(shù)據(jù)肯定對于信用評估非常有幫助，比如在網(wǎng)上購買了什么東西、社交網(wǎng)絡(luò)上有哪些朋友、你的朋友的違約程度，把這些相關(guān)數(shù)據(jù)整合在一起，顯然可以勾勒出一個人基本的信用情況。但我認(rèn)為，這也不太可能完全取代傳統(tǒng)的數(shù)據(jù)收集方法，因為人們在網(wǎng)上的行為跟平時在網(wǎng)下的行為不完全是一樣的?！?/span>

　　范劍青指出，針對個人信用的評價，美國至少有3家公司在收集相關(guān)數(shù)據(jù)，還有一個獨立的公司把這些數(shù)據(jù)綜合在一起。其實，非常關(guān)鍵的就是數(shù)據(jù)收集，因為人的行為是很多樣化的?！霸谶@方面，中國可能剛剛開始起步，最重要的還是央行的征信系統(tǒng)。但我相信，線上與線下的結(jié)合可以對于個人信用作出更為合理的評價。”

　　“過去10年至15年來，基于互聯(lián)網(wǎng)的信息技術(shù)革命已給全人類帶來了顛覆性影響，信息科學(xué)從某種程度上說，已成為推動經(jīng)濟(jì)發(fā)展的一個重要引擎?，F(xiàn)在還可以預(yù)見的是：在未來的幾十年時間里，更多與經(jīng)濟(jì)社會發(fā)展相關(guān)的決策，都會被大數(shù)據(jù)推著走?！狈秳η啾硎?，對大數(shù)據(jù)的研究固然涉及眾多學(xué)科、領(lǐng)域，但按照目前美國學(xué)術(shù)界的共同看法，數(shù)學(xué)、統(tǒng)計學(xué)和計算機(jī)科學(xué)的三者結(jié)合是構(gòu)成分析、研究大數(shù)據(jù)的基礎(chǔ)。

　　防范金融系統(tǒng)風(fēng)險

　　金融危機(jī)之后，各國都提高了對金融系統(tǒng)性風(fēng)險的防范意識，其中大數(shù)據(jù)便是一個非常有效的工具。

　　作為大數(shù)據(jù)領(lǐng)域的專家， 范劍青多次受美國證監(jiān)會邀請講授大數(shù)據(jù)金融相關(guān)知識?！敖鹑谖C(jī)之后，美國相繼成立了各種金融研究辦公室，目的就是統(tǒng)籌收集各種公司的信貸數(shù)據(jù)，以及持有的相關(guān)金融產(chǎn)品的數(shù)據(jù)，就像防范恐怖襲擊一樣，給予金融風(fēng)險不同等級的社會警示?！?/span>

　　事實上，大數(shù)據(jù)為金融行業(yè)帶來的變革將首先體現(xiàn)在兩個方面：精準(zhǔn)營銷。大數(shù)據(jù)改變信息結(jié)構(gòu)，金融機(jī)構(gòu)通過對客戶數(shù)據(jù)的收集和分析，推出更有個體針對性的服務(wù)；風(fēng)險管控。大數(shù)據(jù)改變風(fēng)險管理模式，云計算推進(jìn)最精確和最低成本的風(fēng)險測算。這也進(jìn)一步意味著運營效率和績效的提升。

　　2012年，華爾街“德溫特資本市場”公司利用電腦程序分析全球3.4億社交賬戶的留言，進(jìn)而判斷民眾情緒并決定如何處理手中的股票。判斷便是：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。2012年第一季度，公司因此獲得了7%的收益率。

　　然而，對于利用大數(shù)據(jù)預(yù)知市場，范劍青仍然持保留意見。

　　“預(yù)知市場是很困難的，這其中包括兩方面內(nèi)容，一是投資，二是投機(jī)。在投資方面，一些歷史數(shù)據(jù)或許可以有所幫助，比如市盈率、利率、市場信貸情況等，這些數(shù)據(jù)對于市場是否存在泡沫可以有一個大概的指導(dǎo)，但金融市場間的定價體系很多程度上還依賴于投資者行為，而投資者行為中究竟有多少投機(jī)成分，至少目前沒有一個模型可以精確地預(yù)測。”范劍青如此指出。

　　值得注意的是，大數(shù)據(jù)的發(fā)展推動了互聯(lián)網(wǎng)金融、移動金融等各種新業(yè)態(tài)的不斷涌現(xiàn)。不少以技術(shù)為主導(dǎo)的互聯(lián)網(wǎng)新興企業(yè)也將參與到金融行業(yè)中來，一起分享大數(shù)據(jù)帶來的饕餮盛宴。

　　“互聯(lián)網(wǎng)的盛行，使得很多操作和信息披露變得特別快，買賣交易也變得更迅速，許多過去需要用幾年才能完成的事情，在當(dāng)今市場中過程便會縮得特別短?！狈秳η嘀赋觯@也意味著市場的波動性可能會在互聯(lián)網(wǎng)時代的影響下變得比前幾年更大。