如何用人工智能從新型數(shù)據(jù)中來尋找Alpha

隨著移動互聯(lián)網(wǎng)，小型衛(wèi)星普及等，資產(chǎn)管理公司，尤其對沖基金公司開始利用人工智能從新型數(shù)據(jù)中來尋找Alpha。

本期精編版嘉賓演講為合一創(chuàng)投首席數(shù)據(jù)科學(xué)家吳海山博士帶來的分享，看了他講的內(nèi)容你會發(fā)現(xiàn)，原來數(shù)據(jù)分析還可以有這樣一種不一樣的形式……

關(guān)注公眾號CDA數(shù)據(jù)分析師（ID：cdacdacda）并回復(fù)“吳海山”領(lǐng)取吳海山博士現(xiàn)場演講視頻和PPT。

現(xiàn)場紀實

首先非常感謝CDAS主辦方CDA數(shù)據(jù)分析師的邀請，能夠在今天和大家分享一下我之前做的一些與數(shù)據(jù)分析相關(guān)的工作。先簡單跟大家分享一下我來合一的很重要的動機。之前在中國高校演講和交流中，我發(fā)現(xiàn)數(shù)據(jù)科學(xué)和大數(shù)據(jù)已經(jīng)成為很多中國學(xué)校的課程，有些學(xué)校已經(jīng)開設(shè)大數(shù)據(jù)專業(yè)，甚至成立了數(shù)據(jù)科學(xué)研究院或者數(shù)據(jù)科學(xué)這個專業(yè)。但是一直沒有很好的教材和線下組織，能夠讓學(xué)生接受到更多的業(yè)界里和數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)的進展。有一次我碰到人大的趙總，發(fā)現(xiàn)CDAS是一個很好的組織，我認為它對數(shù)據(jù)挖掘能起很大的作用。所以我義不容辭很愿意來這里跟大家分享一下。

我介紹一下自己，我現(xiàn)在合一創(chuàng)投工作，創(chuàng)始人是優(yōu)酷的創(chuàng)始人。加入合一之前我在百度研究院大數(shù)據(jù)實驗室做人工智能和數(shù)據(jù)相關(guān)的研究。我今天和大家分享的課題是，用人工智能和新型數(shù)據(jù)在金融投資里如何尋找新的Alpha？當時我選擇這個課題的方向也是有原因的，剛才拉鉤網(wǎng)張總介紹到，現(xiàn)在能夠促使大家學(xué)習(xí)數(shù)據(jù)分析的很重要的動機：我學(xué)習(xí)這個，我的工資可能會高一些，這個是很直接的數(shù)據(jù)。還有人說，如果我學(xué)會了數(shù)據(jù)分析，我能夠用數(shù)據(jù)幫我來賺錢，也是一個很重要的動機。所以我今天分享如何用新型的數(shù)據(jù)幫我們做投資，幫助我們從數(shù)據(jù)里找到屬于我們的財富。

首先說一下什么叫新型數(shù)據(jù)？大家做投資，做股票、債券也好，或者其他的投資收益也好，一個很重要的信息是怎么看市場的變化，去分析市場的趨勢。大家可以回想一下，從歷史上來看人類是如何在金融市場上分析信息的變化，來做決策的。大家如果看《人類簡史》的話能夠想起來，17世紀-18世紀英國女皇投資了東印度公司，東印度公司去全世界殖民地也好，或者販賣煙草、茶葉也好，整個公司業(yè)績的表現(xiàn)很大程度上取決于有沒有海盜，而該信息的傳播直接影響這家公司財富的表現(xiàn)。當時市場信息的傳達沒有這種變化，完全是靠著口頭傳播或書信傳播，效率是非常非常低的。所以最先獲取信息的人，在市場上就會有信息優(yōu)勢。上個世紀隨著電話、報紙的發(fā)展，其實市場的信息已經(jīng)開始通過報紙、電話，甚至電報傳播。

20世紀70年代我們有了新型的資訊終端和軟件，我們可以在終端上快速了解市場上發(fā)生的變化，幫助我們做決策。但是這個平臺有一個弊端，如上面發(fā)布的信息是公開的，像CPI反映通貨膨脹，政府一個月（每個月）公布一次，如七月份今天剛剛結(jié)束，到八月中旬公開CPI指數(shù)，在市場上有半個月延遲，這對決策的價值已經(jīng)很小。還有其他指數(shù)，像GDP是每個月甚至每年更新一次，頻率很低。另外，我們分析某公司和某企業(yè)時，證券公司的分析員，會如何分析一個公司呢？實地去考察。如投資水泥公司，礦產(chǎn)公司的股票，我們是在考察，去看看這個礦產(chǎn)變化怎么樣的，工人數(shù)量有沒有增多。這個效率也是很低的，比如我下面有一千家水泥公司，我不可能一年，我就是一天去一個的話，一年也就去360個，所以這個不具有可擴展性。現(xiàn)在隨著手機互聯(lián)網(wǎng)的發(fā)展和物聯(lián)網(wǎng)的發(fā)展，我們有了新型的數(shù)據(jù)，能夠幫助我們自動的去分析，去實時的監(jiān)測市場的變化來幫助我們做市場的決策。比如說我們現(xiàn)在有各種各樣的傳感器，比如手機，我每天在手機上都留下了大家上了什么網(wǎng)站，買過什么地方，所有信息都可以聚合起來分析市場的變化。所以我們可以通過這種方式來去對金融市場的信號來做一個實時的分析。

這些新型的數(shù)據(jù)包括哪些呢？第一個，我剛才講的手機傳感器數(shù)據(jù)，它能獲取哪些數(shù)據(jù)？如定位、WIFI連接，這些數(shù)據(jù)能夠?qū)崟r看到這個市場消費的變化，比如把所有去過某個酒店用戶的聚合起來，我就知道酒店消費、餐飲行業(yè)等一系列就業(yè)的變化。另外就是微型衛(wèi)星，以前發(fā)射一個衛(wèi)星，這個衛(wèi)星特別大，發(fā)射成本也特別高，一個衛(wèi)星可能要幾億美元?，F(xiàn)在互聯(lián)網(wǎng)的發(fā)展也在改變太空行業(yè)，像美國有一家公司，它是已經(jīng)發(fā)射了大概150顆微型衛(wèi)星。這個衛(wèi)星大概也就這么大。這個衛(wèi)星的好處是基本上可以每天實時的最地球進行觀測。我們以前觀測一個東西的時候要先打電話或者進行預(yù)約，說能不能看中國大飯店的一個區(qū)域，如果那天正好下雨還看不到。但是這個可以對全球?qū)崿F(xiàn)7×24小時的變化，這個數(shù)據(jù)對我們做金融分析價值非常大的。尤其像農(nóng)作物、房地產(chǎn)、港口貿(mào)易。我分享幾個案例，是怎么用衛(wèi)星圖像來做金融市場分局分析的。

還有物聯(lián)網(wǎng)數(shù)據(jù)，大家知道現(xiàn)在基本上很多傳感器上，很多設(shè)備上都已經(jīng)裝了傳感器，我們可能機器人身上有些傳感器，我們家庭用的智能家居身上有傳感器。這些傳感器可以記錄，比如物流車上的流動，可以記錄工業(yè)機器人運行的數(shù)據(jù)，還可以看智能家居的變化。通過這些傳感器的數(shù)據(jù)，我們可以實時分析物流上的變化，可以看到用電量的變化等等。還有一個是大家可能無時無刻看到的攝像頭的數(shù)據(jù)，這個數(shù)據(jù)有哪些作用呢？比如大家去停車場停車的時候有一個設(shè)備，是計費的。這樣可以看今天來中國大飯店開會的，或者去某個商場消費的客流量和車流量的變化，可以具體識別某個車型的型號。通過這種方式可以大概的估算一下，豐田汽車銷售是什么樣子的。所以這些來分析線下商場的商品消費，像汽車消費。

還有像日常生活中每天能接觸到的就是支付終端的信息，像去某些地方消費，POS機信息也可以記錄消費者刷卡數(shù)據(jù)，甚至購房、購車數(shù)據(jù)，都可以分析整體線下消費的趨勢。

另外，現(xiàn)在越來越普及的，比如像大疆的無人機，這個無人機能實時拍攝，像農(nóng)業(yè)的圖像，像房產(chǎn)現(xiàn)在正在建筑的一些工程施工的圖像。通過這些數(shù)據(jù)我們能來分析一些農(nóng)業(yè)、地產(chǎn)，或者建設(shè)工程實地進展的變化。

這里顯示的圖是說哪些公司正在搜集和分析這些數(shù)據(jù)。我舉個例子，左邊這個是全部用來分析衛(wèi)星圖像的，就是剛才講的美國的那家公司，這是Google投的一家公司，這個主要是為對沖基金公司來做服務(wù)的。還有像可以通過簽到的數(shù)據(jù)發(fā)現(xiàn)線索下某個餐飲店銷量的變化，他們用這個變化分析某個公司的財務(wù)的表現(xiàn)，結(jié)果是非常的準。還一個比較有意思的，這個公司是用來搜集用戶信用卡刷卡數(shù)據(jù)，通過這個數(shù)據(jù)聚合來具體分析，比如說沃爾瑪每天的銷量，來通過這個看線下實時銷售變化。會發(fā)現(xiàn)很多創(chuàng)業(yè)公司去來分析相關(guān)的數(shù)據(jù)，或者說叫一些新型的數(shù)據(jù)。我覺得這個趨勢在美國已經(jīng)發(fā)生，我覺得它在中國也正在發(fā)生，我認為接下來一段時間中國越來越多的公司通過新型數(shù)據(jù)分析為金融投資市場做決策。

這是金融市場信息擴散的一個表，左邊的是任何人都能看到的金融市場的一些數(shù)據(jù)，比如像每個公司發(fā)布財報的信息，每個公司股價的歷史信息，這個信息是每個人都能獲取，每個人都能來分析，它能在市場產(chǎn)生Alpha的價格就很小了；但是新型的數(shù)據(jù)，像我提到的衛(wèi)星圖像的，甚至像微博等等數(shù)據(jù)都能用來分析做投資。還有一些數(shù)據(jù)是剛興起的，就是我剛才講的，像物聯(lián)網(wǎng)數(shù)據(jù)，包括無人機的數(shù)據(jù)，還有小型衛(wèi)星Google地圖的數(shù)據(jù)，這些信息我認為在接下來的市場能夠產(chǎn)生Alpha的價值是非常大的。在座的各位如果想從事金融行業(yè)和數(shù)據(jù)行業(yè)，我覺得這塊大家可以重點來關(guān)注的。

我現(xiàn)在分享一下我之前做過的用新型數(shù)據(jù)來做投資的案例。第一個，我們用定位的數(shù)據(jù)。這個是我們展示了手機定位數(shù)據(jù)一天的在除夕這一天全國用定位的可視化結(jié)果。大家看定位數(shù)據(jù)的本身，我們下面是沒有放任何地圖，這個可視化的定位數(shù)據(jù)本身已經(jīng)能展示整個中國的輪廓，如果我們再放大一下，還能夠看到具體的空間上的構(gòu)造，比如看到黃河的輪廓，還有海河輪廓。發(fā)現(xiàn)人的定位數(shù)據(jù)的足跡可以非常好的刻畫空間上的信息。這個對金融投資價值是非常大的。這是靜態(tài)的。

還有一個展示北京一天二十四小時的動態(tài)變化。

還有一個沒有提到的，就是用人工智能的數(shù)據(jù)分析線下消費的數(shù)據(jù)。我剛才提到一個指數(shù)，叫CPI指數(shù)來衡量通貨膨脹的，這個數(shù)據(jù)一般是政府，像國家統(tǒng)計局每個月都會有調(diào)查員實地的調(diào)查考察和分析。美國有一家公司，它用圖像分析的方式來去看市場上價格變化，怎么做呢？比如大家每天去超市買東西，買完東西以后如果用手機拍下小票的照片，或者能夠在超市看到價格的圖片，拍上去后后面會用人工智能的方式分析這個圖片，它后面會找到價格的信息。它通過這種方式可以實時看任何一個國家線下消費數(shù)據(jù)，這樣可以看到每天的通貨膨脹的變化。這個數(shù)據(jù)已經(jīng)被世界銀行和很多組織來應(yīng)用這個數(shù)據(jù)。

還有用衛(wèi)星圖像分析，大家看這是用衛(wèi)星圖像捕捉到地球上某個國家，某個區(qū)域儲存石油的儲油罐的圖片。他們會有一些算法，能夠根據(jù)圖片識別出儲油罐陰影面積的大小來算高度，進而通過這種方式算五可能的儲油量的變化。通過這種方式可以每天掃一遍全球儲油量的變化，這對全球石油交易非常有用的。還有用衛(wèi)星圖像看區(qū)域經(jīng)濟發(fā)展的，像我剛才講的世界銀行，世界銀行想去為非洲不發(fā)達國家貸款，它面臨的問題是到底貸多少款給他們，像有些國家長期處于戰(zhàn)亂無法獲取這個信息。但是可以通過衛(wèi)星圖像，像這個地方樓型建筑比較好，可以認為比較發(fā)達，還有些房屋是破破爛爛的，所以斯坦福大學(xué)建立了一套方法，根據(jù)衛(wèi)星圖像來進行分析來為世界銀行提供服務(wù)。

還可以看一個零售商的變化，以美國為例，美國超市都建在郊區(qū)，大家買東西都把車停在商場的旁邊。如果通過衛(wèi)星圖像和機器學(xué)習(xí)的方式，識別每天商場旁邊停多少車，就可以測算出來每天有多少人來超市。

我們做的工作是用衛(wèi)星圖像和結(jié)合其他的數(shù)據(jù)去識別空間區(qū)域的功能。第一，我們左邊是衛(wèi)星圖像，然后又結(jié)合路網(wǎng)的信息，比如我們這個區(qū)域是一個路，然后再結(jié)合剛才說的手機移動數(shù)據(jù)定位，然后我們自動識別這個區(qū)域是工行，這個區(qū)域是寫字樓。這是我們叫全卷積神經(jīng)網(wǎng)絡(luò)的一個算法，我就不展開說了，大家可以在我們網(wǎng)站上看到這個算法。這個是我們識別出來的幾個案例，這兩個案例都是我們識別出來的功能上的區(qū)域，這個邊界是通過算法識別出來的功能邊界。這個是通過深度學(xué)習(xí)再結(jié)合衛(wèi)星圖像去識別空間區(qū)域功能。還有一個移動手機定位的數(shù)據(jù)，我把這兩個數(shù)據(jù)結(jié)合起來，比如左邊的圖是上海的一個地圖，右邊兩個：藍色的區(qū)域代表了我們用剛才的算法去識別的工廠，下面的區(qū)域是我們用這個算法來識別的商場寫字樓。我們有了這兩個區(qū)域之后，我們再結(jié)合用戶的定位數(shù)據(jù)，比如這是一個用戶的線下移動的規(guī)矩，用有機算法來算出用戶去什么地方消費，在什么地方驅(qū)逐。把這些信息聚合起來可以實時看某個區(qū)域的勞動力的變化。尤其是對證券和投行的分析師，他們調(diào)研的時候工廠必須去考察，但是現(xiàn)在有了衛(wèi)星圖像可以識別這個區(qū)域，和有多少人在這兒工作，就可以識別出來這個區(qū)域的勞動力觀察，就不用去現(xiàn)場考察了。

這個圖可以看到勞動力在第六年有明顯的下滑，這個倒閉的其中一個是蘇州的工廠。下面兩個是反過來的，有很多人搬到這里工作，或者說這個公司融資完之后開始大規(guī)模的擴張，會發(fā)現(xiàn)勞動力也有大幅度提升。通過這種方式我就可以實時來看全國的各個工業(yè)園區(qū)勞動力的變化。如果說把勞動力數(shù)量聚合起來，就可以來看基本上整個中國范圍內(nèi)宏觀的就業(yè)趨勢的變化。大家知道衡量宏觀經(jīng)濟還有一個指標，叫失業(yè)率。失業(yè)率在中國每年政府工作公布的數(shù)字都是在4%。我們的數(shù)據(jù)其實發(fā)現(xiàn)，可能結(jié)果不一定是這個樣子的，我們這個給出來是一個，我們發(fā)現(xiàn)就業(yè)園區(qū)就業(yè)的趨勢其實整體來講是有一定的下滑的。但是正如剛才拉鉤網(wǎng)展示的數(shù)據(jù)發(fā)現(xiàn)，其實我們發(fā)現(xiàn)新興工業(yè)園區(qū)，尤其像高科技園區(qū)，或者像生物制藥園區(qū)，它的就業(yè)趨勢是上升的。所以說新興工業(yè)園區(qū)就業(yè)趨勢我們認為是比較好的。

這是我們給出了全國非常大的四千個商業(yè)中心的數(shù)據(jù)，我們剛才講通過衛(wèi)星數(shù)據(jù)可以識別商場的邊界，可以通過定位數(shù)據(jù)識別到每天有多少人來這里消費。把兩個聚合起來可以看到全國范圍宏觀的線下整體消費趨勢。這里其實包括了很多像銀泰或者萬達很多商超聚合的結(jié)果。我們也可以看具體的某個公司的趨勢來做分析的。

剛才講到通過衛(wèi)星圖像來獲取一個區(qū)域邊界，再通過定位的方式聚合，來去看這個區(qū)域的消費和就業(yè)。還一個方式，比如銀泰商場有一個海底撈，如何看海底撈里具體的消費呢？我們有一個深度學(xué)習(xí)的算法，能夠自動識別預(yù)測用戶是不是到訪這樣一個具體地點的概率。大體就是我們會用很多種數(shù)據(jù)，像定位數(shù)據(jù)、簽到等數(shù)據(jù)，然后結(jié)合貝音絲深度學(xué)習(xí)的算法來預(yù)測客戶到訪海底撈的概率。有了這個到訪概率我們算法的準確度非常高。所以如果能預(yù)測某個客戶具體到訪每個地方的話，就可以看用戶到某個地點的客流量的變化，這是我們預(yù)測的用戶到訪大中華區(qū)中國大陸的30個蘋果旗艦店的客流量的變化。通過客流的變化預(yù)測蘋果公司在大中華區(qū)財務(wù)營收的變化。前兩次我們模型的誤差都非常低，在2015年Q4預(yù)測的結(jié)果可能要上升15%，它們財報結(jié)果是14%。另外一次我們認為它2016年結(jié)果要下滑25%，它們財報是26%。這個其實從另外一個側(cè)面證明了，通過簽到的數(shù)據(jù)，WIFI定位的數(shù)據(jù)去預(yù)測一個公司的營收結(jié)果是靠譜的。

還有預(yù)測電影院的票房收入，我們可以通過歷史的時間序列建一個模型去預(yù)測。我們現(xiàn)在是把用戶去到訪電影院或者搜索電影院，或者簽到電影院數(shù)量作為一個特征去預(yù)測電影票收入，我們發(fā)現(xiàn)這個模型準確度提升的非常高。紅色的結(jié)果是我們使用了新型數(shù)據(jù)預(yù)測結(jié)果，藍色的結(jié)果是我們只用時間序列預(yù)測，發(fā)現(xiàn)誤差降低非常多。如果我們預(yù)測比較準，可以預(yù)測電影院營收的狀況。這個B，我們預(yù)測了保利的電影院，我們預(yù)測的誤差非常小。我們對新型數(shù)據(jù)預(yù)測這家連鎖電影院票房結(jié)果是非常準的。但是用同樣的方法預(yù)測另外一家電影院，發(fā)現(xiàn)曾經(jīng)有一段時間預(yù)測的誤差特別高，像8-9月份。我們模型預(yù)測的票房收入可能會比較少，但是它報出來的電影票房非常高。后來我們調(diào)查，因為這個電影院上映了《捉妖記》，進行了電影票房的作弊。

我們看一下具體行業(yè)的，這個是汽車的，這個是我們用新型數(shù)據(jù)到訪4S店的數(shù)據(jù)，這樣可以看出來汽車銷量變化。為了證明我們結(jié)果是靠譜的，我們把我們數(shù)據(jù)，藍色的線和汽車工業(yè)協(xié)會的線做了對比，我們發(fā)現(xiàn)我們的趨勢跟它們非常吻合的。但是我們的結(jié)果好處是，新型數(shù)據(jù)可以實時分析這個市場的變化。所以我們結(jié)果對分析市場變化是有很大的優(yōu)勢的。

第二個產(chǎn)業(yè)，是線下餐飲行業(yè)的變化，我們把所有的到訪，像麥當勞、全聚德等店的到訪，我們做了中國線下餐飲消費指數(shù)。為了證明我們這個比較靠譜，我們和另外一家公司的指數(shù)對比，是銀聯(lián)，大家在POS機上刷卡的指數(shù)，我們發(fā)現(xiàn)在2016年之前整體是非常吻合的，但是我們的結(jié)果在2016年之后線下餐飲行業(yè)的趨勢下滑非常嚴重的。后來我們調(diào)研分析我們認為我們結(jié)果更靠譜，因為尤其是像外賣行業(yè)，其實在很大程度上影響了線下很多餐飲行業(yè)的變化，很多人可能就直接叫外賣，不用去餐飲店吃了。

還有一個應(yīng)用就是對房地產(chǎn)投資的。大家知道這種情況在中國是非常常見的，就是中國有很多空的樓盤沒有人住。很多媒體開始報道哪些地方是鬼城。但是沒有一家用數(shù)據(jù)的方式幫助我們分析這個城市是否空的很厲害，到底空的多厲害？我們剛才講過我們可以用用戶手機定位的數(shù)據(jù)和手機圖像的數(shù)據(jù)，我們可以通過機器學(xué)習(xí)和人工智能算法去識別，從而我們發(fā)現(xiàn)中國很多的空置率，這是我們給出九個空城特別多的區(qū)域。這個是鄂爾多斯，這個城市非常有意思，之前大家說鄂爾多斯是空城，這個空在什么地方呢，其實大家沒有概念的。我們發(fā)現(xiàn)一個非常有意思的現(xiàn)象，是鄂爾多斯的新城區(qū)空的很厲害，就是左下角這個，跟媒體報道是比較一致的。還有右上角發(fā)現(xiàn)主城區(qū)的郊區(qū)空置的樓盤也很多。這個城市很有意思，就是很多由于原來逐漸衰敗的城市除了新城區(qū)衰落，其實郊區(qū)的一些房子入住率也是比較低的，很重要的原因就是這個地方的就業(yè)率開始下降，很多真開始搬到其他地方去居住和工作了。但是我們也發(fā)現(xiàn)一個比較意思的現(xiàn)象，是之前媒體報道特別多的城市是鄭州的新區(qū)，但是我們數(shù)據(jù)發(fā)現(xiàn)現(xiàn)在越來越多的年輕人愿意去新區(qū)工作。我們認為鄭州新區(qū)不能再是傳說中的空城。這是我們用數(shù)據(jù)發(fā)現(xiàn)中國房地產(chǎn)的變化。

我們的研究也獲得了很多國內(nèi)外知名媒體的報道，這是一些報道我們相關(guān)研究的媒體。

非常感謝大家在周末時間來到CDAS現(xiàn)場，非常高興能與大家分享之前做的研究。謝謝。

CDA堅持打造高端數(shù)據(jù)分析學(xué)習(xí)社區(qū)和數(shù)據(jù)分析認證

CDA 數(shù)據(jù)分析師，作為國內(nèi)領(lǐng)先的數(shù)據(jù)分析師人才教育品牌，一直致力于打造中國最棒的數(shù)據(jù)分析學(xué)習(xí)社區(qū)。旨在加強國內(nèi)外乃至全球范圍內(nèi)正規(guī)化、科學(xué)化、專業(yè)化的數(shù)據(jù)分析人才隊伍建設(shè)，進一步提升數(shù)據(jù)分析師的職業(yè)素養(yǎng)與能力水平，促進數(shù)據(jù)分析行業(yè)的高質(zhì)量持續(xù)快速發(fā)展。