從預(yù)測(cè)到“現(xiàn)測(cè)”：大數(shù)據(jù)商業(yè)建模的新發(fā)展

大數(shù)據(jù)商業(yè)建模的新發(fā)展方向在哪里？怎么樣預(yù)測(cè)才能真正發(fā)揮大數(shù)據(jù)的特有優(yōu)勢(shì)？從預(yù)測(cè)到“現(xiàn)測(cè)”是如何實(shí)現(xiàn)的？百分點(diǎn)首席模型科學(xué)家陳宇新教授為我們做了更深一層的闡述，從預(yù)測(cè)到“現(xiàn)測(cè)”：大數(shù)據(jù)商業(yè)建模的新發(fā)展。

以下是陳宇新教授在2015百分點(diǎn)大數(shù)據(jù)操作系統(tǒng)（BD-OS）暨D輪融資發(fā)布會(huì)上的演講摘錄：

謝謝大家，謝謝各位來(lái)賓！非常榮幸在今天這個(gè)場(chǎng)合給大家分享關(guān)于大數(shù)據(jù)商業(yè)建模新發(fā)展的一些思考，這也是現(xiàn)在百分點(diǎn)研發(fā)的一個(gè)前沿。

大家都知道預(yù)測(cè)是大數(shù)據(jù)商業(yè)應(yīng)用的一個(gè)核心，大數(shù)據(jù)預(yù)測(cè)需要大量的高質(zhì)量數(shù)據(jù)加上非常先進(jìn)的模型，在當(dāng)前的情況下什么是預(yù)測(cè)領(lǐng)域新的熱點(diǎn)或者一個(gè)新的發(fā)展方向？怎么樣預(yù)測(cè)才能真正發(fā)揮大數(shù)據(jù)特有的優(yōu)勢(shì)？這是我想分享的，在這之前給大家先介紹兩條最近媒體報(bào)道的新聞，從新聞上大家或許能夠看出一些新的發(fā)展趨勢(shì)。這兩條新聞都是8月份華爾街日?qǐng)?bào)刊登的。

第一條，蘋果和谷歌正在開(kāi)發(fā)在用戶想要之前就知道用戶想要什么的技術(shù)，在你不知道想要什么之前就告訴你想要什么，這兩款產(chǎn)品大家也聽(tīng)說(shuō)過(guò)，對(duì)蘋果來(lái)說(shuō)叫“主動(dòng)助手”，對(duì)谷歌來(lái)說(shuō)這個(gè)產(chǎn)品叫“谷歌現(xiàn)代”。這兩家公司通過(guò)對(duì)你未來(lái)肯定要做的事情的一個(gè)探知反過(guò)來(lái)推測(cè)你最近的將來(lái)想干什么。谷歌通過(guò)郵件可以知道你今天下午六點(diǎn)有班飛機(jī)，下午三點(diǎn)的時(shí)候根據(jù)你現(xiàn)在的位置，根據(jù)北京的交通流量告訴你現(xiàn)在該走了，如果走的話該打什么車，滴滴或者Uber，這是它預(yù)測(cè)的思路，通過(guò)對(duì)一些已知的未來(lái)的事件的掌握來(lái)推測(cè)即將發(fā)生的未來(lái)應(yīng)該干什么的一個(gè)預(yù)測(cè)。

跟這個(gè)看起來(lái)沒(méi)有特別關(guān)系，但是有共通之處的另一條新聞，宏觀經(jīng)濟(jì)指標(biāo)預(yù)測(cè)，這家公司名字叫“現(xiàn)測(cè)”，創(chuàng)始人是哥倫比亞大學(xué)諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主的博士生，大數(shù)據(jù)預(yù)測(cè)宏觀經(jīng)濟(jì)指標(biāo)，比如物價(jià)指數(shù)。為什么叫“現(xiàn)測(cè)”？不是預(yù)測(cè)，而是很快的把剛剛發(fā)生的整個(gè)美國(guó)各種物價(jià)變化歸納出來(lái)呈現(xiàn)給用戶，描述剛剛發(fā)生的事件，而不是真正預(yù)測(cè)未來(lái)的物價(jià)怎么樣。為什么這件事有意義？因?yàn)橥ǔＵC布的指標(biāo)是一個(gè)月或者一個(gè)季度以前的，它能做到一分鐘之前。

這兩條新聞?dòng)幸粋€(gè)共同的關(guān)鍵詞就是“現(xiàn)”，NOW，這是目前對(duì)于大數(shù)據(jù)應(yīng)用的一個(gè)非常重要的趨勢(shì)，那就是從預(yù)測(cè)到現(xiàn)測(cè)，預(yù)測(cè)是大數(shù)據(jù)建模技術(shù)的一個(gè)核心，但同時(shí)也是大數(shù)據(jù)建模的一個(gè)最大的難點(diǎn)，大家都說(shuō)大數(shù)據(jù)很厲害，能預(yù)測(cè)很多東西，你能不能告訴我明天中國(guó)的股票是漲100點(diǎn)還是跌50點(diǎn)，沒(méi)有人可以做到。但是大數(shù)據(jù)的優(yōu)勢(shì)在于很多時(shí)候我們真正需要的并不是預(yù)測(cè)，而是所謂的現(xiàn)測(cè)，是對(duì)極近過(guò)去的描述和極近將來(lái)的預(yù)測(cè)。

什么叫極近？一天以前或者一小時(shí)以前？這實(shí)際上是取決于我們現(xiàn)在數(shù)據(jù)量的多少和技術(shù)的發(fā)展，趨勢(shì)是這個(gè)極越來(lái)越短，本來(lái)一個(gè)月前的經(jīng)濟(jì)數(shù)據(jù)，現(xiàn)在可以知道一分鐘之前的，高頻交易之前的我們需要知道一秒鐘之前的數(shù)據(jù)。這是我們想到的現(xiàn)測(cè)的定義，現(xiàn)是一個(gè)動(dòng)態(tài)過(guò)程，現(xiàn)測(cè)是指我們目前狀況之前一點(diǎn)時(shí)間和之后一點(diǎn)時(shí)間情況的描述或者預(yù)測(cè)，這實(shí)際上是大量的大數(shù)據(jù)應(yīng)用所真正用到的預(yù)測(cè)模型，比如高頻交易，實(shí)際上已經(jīng)知道市場(chǎng)的情況，但是在別人反應(yīng)之前我們就知道了極近的過(guò)去發(fā)生的。

推薦引擎，這是大數(shù)據(jù)應(yīng)用非常重要的，也是百分點(diǎn)最原始的DNA，根據(jù)消費(fèi)者在這個(gè)頁(yè)面上當(dāng)前的狀態(tài)，馬上給他一個(gè)現(xiàn)時(shí)的推薦，這個(gè)推薦可能只是在一秒甚至半秒之內(nèi)，實(shí)時(shí)投放的RTB廣告，還有打車軟件，大家用過(guò)滴滴專車，他們背后的原理是現(xiàn)測(cè)的原理，我知道車在什么地方，你在什么地方，交通狀況，我就可以推測(cè)下一分鐘車開(kāi)到哪兒，知道前一秒車在什么地方?，F(xiàn)測(cè)剛剛發(fā)生的事情，即將發(fā)生的事情，背后有一個(gè)非常重要的科學(xué)原理。自然也好，給了我們一個(gè)非常重要的預(yù)測(cè)手段，萬(wàn)世萬(wàn)物都有一個(gè)所謂的慣性，這個(gè)慣性效率發(fā)生的時(shí)候就使得我們預(yù)測(cè)能夠比較準(zhǔn)確。一個(gè)物體從斜面上往下滑，下一秒這個(gè)木塊在什么地方可以預(yù)測(cè)的非常準(zhǔn)確，現(xiàn)測(cè)為什么有它的準(zhǔn)確性，來(lái)源于萬(wàn)世萬(wàn)物背后的慣性。

放在社會(huì)領(lǐng)域，慣性是由場(chǎng)景驅(qū)動(dòng)的，比如明天我的太太過(guò)生日，生日要買生日禮物，有了這個(gè)目標(biāo)，根據(jù)慣性原理，預(yù)測(cè)就變成一個(gè)現(xiàn)測(cè)。

現(xiàn)測(cè)的優(yōu)勢(shì)一個(gè)是利用所謂的慣性原理，另外利用了時(shí)間差，這是大數(shù)據(jù)的特點(diǎn)，因?yàn)榇髷?shù)據(jù)往往是實(shí)時(shí)的數(shù)據(jù)，海量高頻的數(shù)據(jù)，這張圖大家可以看到如果我每十分鐘照一個(gè)這樣的照片，可能就錯(cuò)過(guò)這個(gè)鏡頭，如果每一個(gè)微秒或者每半秒拍一個(gè)照片可能就看到這個(gè)鏡頭，看到這個(gè)鏡頭就有一個(gè)慣性的應(yīng)用，這個(gè)女士拿起這個(gè)橘子，如果沒(méi)有時(shí)間差，比如5分鐘拍一次照這個(gè)鏡頭就錯(cuò)過(guò)了，但是如果頻率高的話，我們知道她拿這個(gè)橘子看一下，雖然孩子拉走了，但她對(duì)這個(gè)橘子有興趣，這個(gè)情況下我們可以有一些營(yíng)銷手段。

說(shuō)起來(lái)跟預(yù)測(cè)一樣，實(shí)際上這是一個(gè)描述問(wèn)題，高頻的描述效果跟預(yù)測(cè)是非常像的，我們并不在預(yù)測(cè)她到底喜歡蘋果還是橘子，只不過(guò)我們描述從預(yù)測(cè)變成了實(shí)測(cè)，描述非常有優(yōu)勢(shì)，這樣我們把一個(gè)非常艱難的預(yù)測(cè)問(wèn)題變成一個(gè)描述問(wèn)題。這是我講的為什么對(duì)大數(shù)據(jù)來(lái)說(shuō)我們具有現(xiàn)測(cè)的優(yōu)勢(shì)。

我有一些博士生在做模型的建立和模型的測(cè)試，根據(jù)現(xiàn)測(cè)的概念，我們可以發(fā)展出一系列的技術(shù)模型，這些模型有一系列商業(yè)的應(yīng)用。一個(gè)是協(xié)同過(guò)濾和時(shí)間序列的分析，通常在計(jì)算機(jī)科學(xué)領(lǐng)域，大家都知道協(xié)同過(guò)濾的算法，如果放在現(xiàn)測(cè)的考量中，就像計(jì)量經(jīng)濟(jì)學(xué)的時(shí)間序列分析，在高頻交易中大量用的是時(shí)間序列分析，現(xiàn)在做的把協(xié)同過(guò)濾和時(shí)間序列分析結(jié)合起來(lái)，大家可以做出一個(gè)相應(yīng)的應(yīng)用。

第二是用戶畫(huà)像，結(jié)合快速迭代的貝葉斯學(xué)習(xí)，我們知道用戶大概是一個(gè)什么樣的人，什么樣的人會(huì)做什么樣的事情，但是這個(gè)慣性趨勢(shì)放在一個(gè)特定的場(chǎng)景中我們可以看以前的需要，到一個(gè)修正，這個(gè)修正必須在實(shí)時(shí)中完成，很快的迭代。

第三，百分點(diǎn)開(kāi)發(fā)了一些數(shù)據(jù)動(dòng)態(tài)可視化和人機(jī)互動(dòng)的產(chǎn)品。人腦的優(yōu)勢(shì)在于對(duì)一個(gè)場(chǎng)景的綜合把握能得到一個(gè)比計(jì)算機(jī)更好的預(yù)測(cè)，但是大數(shù)據(jù)能快速實(shí)時(shí)的截取這樣的信息，如果我們動(dòng)態(tài)的展現(xiàn)出一些數(shù)據(jù)來(lái)，通過(guò)人機(jī)互動(dòng)就可以判斷，有超市人員在的條件下，判斷這位女士喜歡橘子，讓電腦直接判斷的話不一定很準(zhǔn)確，但是我們通過(guò)動(dòng)態(tài)數(shù)據(jù)可視化使得人對(duì)一些全景的預(yù)測(cè)和電腦對(duì)數(shù)據(jù)的抓取有機(jī)的結(jié)合。

現(xiàn)在一些學(xué)者重點(diǎn)研究的就是基于運(yùn)籌優(yōu)化和行為科學(xué)的反時(shí)序預(yù)測(cè)，換句話說(shuō)用未來(lái)來(lái)預(yù)測(cè)當(dāng)下，聽(tīng)上去有點(diǎn)兒懸乎，很多時(shí)候我們遠(yuǎn)處的未來(lái)，你可能飛機(jī)票買好了明天要飛這是確切的未來(lái)，我們有了確切的未來(lái)用它來(lái)幫助預(yù)測(cè)當(dāng)下，比如你在一家百貨商店，王府井百貨，我起碼知道你肯定是要出去的，你不可能一輩子呆在里面，你要出這家百貨店就這幾條路徑，根據(jù)這一條就可以通過(guò)運(yùn)籌優(yōu)化的方法告訴你大約幾條選擇，每條選擇經(jīng)過(guò)哪幾個(gè)貨架，有幾個(gè)可能的商品推薦，把幾個(gè)非常難以把握的預(yù)測(cè)問(wèn)題變成已知終點(diǎn)反推回來(lái)的運(yùn)籌優(yōu)化問(wèn)題，有相當(dāng)多的應(yīng)用，這也是百分點(diǎn)以前做和現(xiàn)在做的非常緊密的結(jié)合點(diǎn)，百分點(diǎn)的DNA本來(lái)就有實(shí)時(shí)推薦，和現(xiàn)測(cè)是不謀而合的理念。

百分點(diǎn)在建模方面做的非常多的就是用戶畫(huà)像和細(xì)化場(chǎng)景，仔細(xì)推敲，細(xì)化場(chǎng)景更往前走一步不光研究用戶場(chǎng)景，而是研究用戶在這個(gè)場(chǎng)景里的目標(biāo)是什么，在這個(gè)會(huì)場(chǎng)上我的目標(biāo)是跟大家交流，任何用戶在任何商業(yè)環(huán)境或者任何場(chǎng)景當(dāng)中，它實(shí)際上都有一個(gè)目的所在，到一個(gè)飯店的目的是吃飯，到學(xué)校的目的是讀書(shū)，我們把這個(gè)目的找到，剛才我講的技術(shù)，通過(guò)目的知道未來(lái)你想要的東西，反推回來(lái)當(dāng)下想干什么。已知用戶畫(huà)像推他當(dāng)下的想法行為，目前建立的這套數(shù)據(jù)體系和場(chǎng)景細(xì)分，包括用戶畫(huà)像，為什么在現(xiàn)測(cè)的范圍里有很多的應(yīng)用。所以，積累大量的數(shù)據(jù)，有非常好的前景。

像大數(shù)據(jù)預(yù)測(cè)公司一樣，很多金融相關(guān)的信息及實(shí)時(shí)經(jīng)濟(jì)指數(shù)，對(duì)過(guò)去的描述來(lái)預(yù)測(cè)未來(lái)。還有一個(gè)跟金融信息相關(guān)的領(lǐng)域，個(gè)人征信。從現(xiàn)測(cè)角度，以前所謂的人口學(xué)指標(biāo)，過(guò)去行為的指標(biāo)，現(xiàn)在有更多的做法，一個(gè)人購(gòu)買大件的商品，買一輛車，這個(gè)信息馬上反饋到你個(gè)人的征信系統(tǒng)，你的現(xiàn)金流水平發(fā)生變化，這樣一種實(shí)時(shí)監(jiān)控的做法，類似的有在做個(gè)性化的企業(yè)營(yíng)銷。

同樣剛才舉的例子，個(gè)人的金融，信用卡根據(jù)你實(shí)時(shí)消費(fèi)情況的變化可以計(jì)算出你這個(gè)月大概還能用多少錢，每個(gè)月開(kāi)銷錢的總數(shù)，銀行存款多少，根據(jù)這個(gè)反推回來(lái)，反推你買什么東西，否則你推薦的用戶可能沒(méi)有財(cái)力消費(fèi)。

第三個(gè)應(yīng)用，旅游出行管理。你的航班，比如我知道明天天氣要變化，可以通過(guò)這個(gè)反推回來(lái)知道你在北京要開(kāi)會(huì)，明天天氣不好，可以實(shí)時(shí)提醒你是不是把機(jī)票換成火車票，這是現(xiàn)測(cè)的概念，知道未來(lái)的一些確定性反過(guò)來(lái)幫助你解決不確定性。

個(gè)人健康管理，目標(biāo)三個(gè)月減重五斤，根據(jù)這個(gè)可以反推回來(lái)每天該減多少，吃多少，實(shí)時(shí)調(diào)整你的健康管理計(jì)劃。

最后把一些東西放在一起，就可以打造所謂的數(shù)字生活的助理，把你整個(gè)生活各個(gè)方面管理起來(lái)，給你提供最佳的體驗(yàn)。

為什么剛才反復(fù)強(qiáng)調(diào)現(xiàn)測(cè)的重要性，而且大數(shù)據(jù)應(yīng)用有極大的優(yōu)勢(shì)，以前大數(shù)據(jù)經(jīng)常提到這一點(diǎn)，所謂的三個(gè)V或者四個(gè)V，但是通常大家對(duì)大數(shù)據(jù)的探討，這個(gè)V往往是Velocity，能夠很快的把海量的數(shù)據(jù)進(jìn)行處理，當(dāng)你知道剛剛過(guò)去的事情和即將到來(lái)的未來(lái)。另外，大數(shù)據(jù)的相對(duì)優(yōu)勢(shì)，對(duì)短尺度的應(yīng)用性具有特別的優(yōu)勢(shì)，但是對(duì)長(zhǎng)尺度的應(yīng)用性反而不具有明顯的優(yōu)勢(shì)。

在長(zhǎng)尺度上我可以說(shuō)我也不需要大數(shù)據(jù)，用小數(shù)據(jù)就能獲得成功。但是短尺度的預(yù)測(cè)，我說(shuō)不出來(lái)今天晚上大家晚飯吃什么，大數(shù)據(jù)往往知道這一點(diǎn)，因?yàn)樗滥阒形绯粤耸裁?，是哪里人，?ài)吃什么，現(xiàn)在在什么位置，周圍有什么飯店，往往通過(guò)這個(gè)能推出來(lái)你要吃什么，而且通過(guò)你什么時(shí)候吃的中飯，身高體重，推出你什么時(shí)候一定餓得不行了，我們可以反推回來(lái)做一系列的介紹。這是大數(shù)據(jù)非常大的優(yōu)勢(shì)，在商業(yè)中應(yīng)該特別重視這一點(diǎn)。通過(guò)大數(shù)據(jù)用戶畫(huà)像和細(xì)化場(chǎng)景建模發(fā)掘和利用行為慣性。這就是大數(shù)據(jù)價(jià)值提升和揚(yáng)長(zhǎng)避短的一個(gè)新的發(fā)展趨勢(shì)，希望大家多多指正和交流。謝謝！