華爾街如何玩轉(zhuǎn)社交網(wǎng)絡(luò)大數(shù)據(jù)_數(shù)據(jù)分析師考試

5月28日，當(dāng)上證指數(shù)以重挫6.5%結(jié)束一天行情時，網(wǎng)絡(luò)上到處彌漫著恐慌與迷茫的情緒。就在投資者在堅守和撤離之間難做抉擇之時，有一種軟件已在后臺搜集這些情緒數(shù)據(jù)，并進(jìn)行量化分析，形成具體的投資意見。這就是美國華爾街投行、對沖基金、甚至紐約證券交易所都在使用的社交網(wǎng)絡(luò)股市情緒量化分析法。

我國的股市情緒量化分析，也隨著股票雷達(dá)、投資脈搏以及百度股市通等應(yīng)用的出現(xiàn)，進(jìn)入了起步階段。在大市走向震蕩加劇的當(dāng)下，將感性的情緒量化為理性數(shù)據(jù)，不失為投資者縱觀全局的參考指標(biāo)。

2015年4月，總部位于波士頓的對沖基金Tashtego宣布，將依靠數(shù)據(jù)算法，利用社交網(wǎng)絡(luò)分析客戶情緒和投資者行為進(jìn)行交易。這則消息，向大眾揭開了華爾街使用的情緒量化分析法的神秘面紗。

實際上，從2013年美國證監(jiān)會（SEC）允許上市公司在社交網(wǎng)絡(luò)披露公司信息起，美國股市情緒分析應(yīng)用如雨后春筍般冒出，華爾街投行、對沖基金等紛紛加入到這股互聯(lián)網(wǎng)金融浪潮中。

社交數(shù)據(jù)分析公司受追捧

2013年3月8日，紐約數(shù)據(jù)分析公司Dataminr（數(shù)據(jù)礦工）的客戶收到一條緊急推送，稱一艘皇家加勒比海游輪抵達(dá)佛羅里達(dá)的埃弗格萊茲港，船上的105名乘客和3名船員全部感染諾如病毒（常見伴隨癥狀是食物中毒和腹瀉）。這則經(jīng)確認(rèn)的新聞剛公布，皇家加勒比海游輪公司的股價旋即急跌2.9%。Dataminr的客戶在新聞公布前48分鐘即得知此事件。

引起Dataminr員工警覺的，是南佛羅里達(dá)新聞電臺WSVN于當(dāng)天下午1點發(fā)布的一條推文?！拔覀冃闹芯徱徽稹?，Dataminr公司創(chuàng)始人彼得·貝利說，后臺語義算法系統(tǒng)發(fā)現(xiàn)這條推文與曾經(jīng)產(chǎn)生過類似價值的信息行文類同。當(dāng)天下午1點02分，即該推文發(fā)布兩分鐘后，Dataminr公司的相關(guān)客戶就收到一封警示郵件。

上述Dataminr提供的服務(wù)，不過是美國近幾年社交網(wǎng)絡(luò)股市情緒分析浪潮中的一例。

諸如Social Market Analytics（社交市場分析公司SMA）和Hedge chatter等公司都以Twitter、Facebook等社交網(wǎng)絡(luò)大數(shù)據(jù)為基礎(chǔ)，收集并分析網(wǎng)絡(luò)上對上市公司或某一事件的看法評論，并作出與股價有關(guān)的預(yù)測分析。

全球最大社交數(shù)據(jù)提供商GNIP2014年發(fā)布白皮書指出，社交網(wǎng)絡(luò)股市情緒分析最早始于2010年，用途還只限于企業(yè)分析客戶感受。2013年，美國證監(jiān)會（SEC）允許上市公司在社交網(wǎng)絡(luò)披露公司信息后，包括湯森·路透、彭博社在內(nèi)的全球著名數(shù)據(jù)提供商也開始提供社交網(wǎng)絡(luò)數(shù)據(jù)分析服務(wù)。

面向機(jī)構(gòu)和個人的相關(guān)應(yīng)用如雨后春筍般冒出。Dataminr創(chuàng)始人彼得·貝利透露，他們的客戶就包括華爾街前5大超級投資銀行中的3家，和一家估值150億美元的股權(quán)避險基金公司。

SMA與全球領(lǐng)先的數(shù)據(jù)分析商Markit合作，向超3000家機(jī)構(gòu)投資者提供信息，里面就包括中央銀行、華爾街投行、對沖基金、政府機(jī)構(gòu)和保險公司等。值得注意的是，SMA甚至打入了交易所內(nèi)部，向美國紐約交易所用戶訂閱欄目提供實時數(shù)據(jù)分析結(jié)果。

理論基礎(chǔ)和數(shù)據(jù)池更成熟

對市場情緒的分析早有理論基礎(chǔ)。2002年，心理學(xué)家丹尼爾·卡納曼和經(jīng)濟(jì)學(xué)家弗農(nóng)·史密斯因?qū)Y(jié)合了心理學(xué)和經(jīng)濟(jì)分析的行為經(jīng)濟(jì)學(xué)的研究，分享了這一年的諾貝爾經(jīng)濟(jì)學(xué)獎，讓這一細(xì)分學(xué)科在沉寂了幾十年后真正走進(jìn)了公眾視野。

2010年，美國印第安納大學(xué)和英國曼徹斯特大學(xué)的三位學(xué)者合作發(fā)表了一篇題為《Twitter情緒預(yù)測股市》的論文，指出基于大量推文而分析出的公眾情緒與道瓊斯工業(yè)指數(shù)相關(guān)聯(lián)，甚至具有預(yù)測性。

他們選取2008年2月28日至12月19日近1000萬條推文作為樣本，采用兩種情緒追蹤工具將其分類。一種是開源工具OpinionFinder，將推文二分為積極和消極情緒；另一種是以臨床醫(yī)學(xué)使用的情緒狀態(tài)量表（POMS）基礎(chǔ)而新開發(fā)的情緒測試工具GPOMS，能將公眾的情緒分為冷靜、警惕、確信、活力、友善和幸福這六個類別。

研究者發(fā)現(xiàn)，將“冷靜”情緒指數(shù)后移3天，竟然與道瓊斯工業(yè)平均指數(shù)驚人一致，也就是說，Twitter反映出的情緒能在一定程度上預(yù)測3～4天后的股市變化。另外，研究者還測試了一個稱為SOFNN的股市預(yù)測模型。當(dāng)僅輸入股市數(shù)據(jù)時，模型已經(jīng)有73.3%的準(zhǔn)確率；加入“冷靜”的情感信息后，準(zhǔn)確率更升至86.7%。

分析軟件如何在全球每天數(shù)百億推文中篩選有效信息，成為量化市場情緒的關(guān)鍵，專業(yè)的算法成為篩選有效信息的利器。

對相對成熟的美國公司來說，其能利用的數(shù)據(jù)池非常廣泛。《每日經(jīng)濟(jì)新聞》記者注意到，Dataminr、SMA和Hedge chatter三家業(yè)界主力的信息來源分為兩種。

一種是依托全球最大專業(yè)數(shù)據(jù)提供公司英國DataSift（數(shù)據(jù)雨燕）和美國GNIP。DataSift數(shù)據(jù)池共有超過21家網(wǎng)站，擁有強(qiáng)大的信息過濾算法，每秒能挖掘12萬條推文，數(shù)據(jù)池除了主要的Twitter、Facebook、Wordpress和Tumblr外，還有圖片社交網(wǎng)站Instagram、視頻分享網(wǎng)站Youtube和Dailymotion等，其中Datasift還取得了新浪微博、騰訊微博的資源授權(quán)。

二是公司用自己的語義分析法對數(shù)據(jù)進(jìn)行細(xì)分。例如SMA鎖定超過30萬的專業(yè)投資者，這部分人密切關(guān)注資本市場動向，有規(guī)定地發(fā)布股市推文。因此成為SMA數(shù)據(jù)庫的基礎(chǔ)來源，并每月自動篩選替換。

國內(nèi)篇

A股情緒量化分析剛起步 深度待提高

在國內(nèi)，首款情緒分析軟件股票雷達(dá)已面世三年多；基于印第安納大學(xué)研究成立的投資脈搏網(wǎng)站推出心情指數(shù)，直觀感受股市情緒與大盤變化走勢；基于百度搜集大數(shù)據(jù)的百度股市通也公布了不俗的成績，我國的股市情緒量化分析已在起步。

作為2012年就利用社交情緒預(yù)測股市的公司，股票雷達(dá)創(chuàng)始人馮月在接受《每日經(jīng)濟(jì)新聞》記者采訪時表示，股票雷達(dá)中的雷達(dá)關(guān)注功能是一款針對A股的個股資訊聚合分析工具，它通過捕捉全網(wǎng)各類股票資訊，統(tǒng)計網(wǎng)絡(luò)中所有人的看漲看跌觀點，再利用自身大數(shù)據(jù)技術(shù)分析出目前市場整體看好的股票是哪些。

與美國此類軟件數(shù)據(jù)來源不同的是，馮月向記者介紹，股票雷達(dá)后臺數(shù)據(jù)來源于全網(wǎng)，只要與股票有關(guān)的網(wǎng)站，包括微博在內(nèi)，都是股票雷達(dá)分析來源。這主要是因為A股客戶相對分散?！睹咳战?jīng)濟(jì)新聞》記者注意到，投資脈搏網(wǎng)站的股市心情指數(shù)，數(shù)據(jù)來源于股吧、新浪財經(jīng)、搜狐財經(jīng)等，并利用自家的算法程序在社交數(shù)據(jù)中提取最核心關(guān)鍵內(nèi)容，辨別“漲跌、買賣”等關(guān)鍵指標(biāo)，得出大多數(shù)股民對大市的心理預(yù)測值，且用戶也能在投資脈搏網(wǎng)站上對當(dāng)天股票的整體行情評分，取值范圍是從-100～100之間，代表看空或看多情緒的強(qiáng)烈程度。

相較于分析股市情緒的上述兩款應(yīng)用，除了分析全網(wǎng)股市情緒外，百度在今年2月推出的百度股市通APP還利用了百度的大數(shù)據(jù)引擎技術(shù)，智能分析股市行情熱點，根據(jù)百度股市通5月13日公布的數(shù)據(jù)顯示，百度股市通所有熱點事件股票的上漲概率達(dá)78%，股票日均漲幅達(dá)1.7%。

馮月向?qū)τ浾弑硎?，從國?nèi)應(yīng)用提供的服務(wù)看，我國的社交網(wǎng)絡(luò)情緒分析還處于起步階段，也暫時缺乏健全的市場監(jiān)管和指導(dǎo)。記者注意到，相較于美國社交網(wǎng)絡(luò)情緒分析已深入華爾街，我國的股市情緒分析還有很大提升空間。

美國軟件公司對市場情緒的量化已進(jìn)入可視化階段，能將一只股票的實時情緒變化走勢形象地表現(xiàn)出來，甚至能將這些數(shù)據(jù)通過Excel下載并自行統(tǒng)計，其所能達(dá)到的直觀效果與分析深度不言而喻。

我國的相關(guān)軟件多是一攬子聚合信息服務(wù)中的一項，且只涉及后臺分析，向投資者提供市場情緒看漲或看跌的個股，目前還不能像東方財富、同花順等交易軟件一樣，向投資者提供具象數(shù)據(jù)。

爭議篇

情緒指數(shù)非萬能 但有助于理性投資

情緒跟股市之間的聯(lián)系似乎得到了理論的論證，那么在“真刀實槍”的投資行為里，情緒指數(shù)是只能做提供分析參考的“助攻者”，還是可以直接指導(dǎo)投資的“得分手”，其預(yù)測個股的可靠程度又有多少，國內(nèi)外對此的爭議從未間斷。

判斷大市優(yōu)于個股預(yù)測

對于個股預(yù)測，美國印第安納大學(xué)信息科學(xué)及計算技術(shù)副教授約翰·博倫認(rèn)為情緒預(yù)測大市趨勢比預(yù)測個股更有用。

約翰·博倫質(zhì)疑道，僅僅監(jiān)測Twitter上的一個子集（如金融板塊），到底有多大價值：“從表面的角度來看，這是一個顯而易見的事情。但你必須問問：為什么有人要針對一只股票發(fā)推文，為什么推文比其他指標(biāo)更有價值？”他補(bǔ)充說，如果你了解一點市場內(nèi)幕，肯定不會和別人分享。

但博倫也認(rèn)為，整體的互聯(lián)網(wǎng)情緒分析能產(chǎn)生重大收獲。他建立了一家趨勢分析企業(yè)，試圖發(fā)現(xiàn)“金礦”。他說：“我們在尋找隱藏的社會潛流。”

同校的休伯曼教授呼應(yīng)了這一觀點：用社交媒體衡量公共情緒，只在整體意義上有用，“除非喬治·索羅斯和沃倫·巴菲特在發(fā)微博，否則Twitter用戶并不是那些能夠影響市場走向的人?！?/span>

但股票雷達(dá)創(chuàng)始人馮月并不認(rèn)為情緒分析個股有失準(zhǔn)確。他說，股票雷達(dá)從2012年1月13日開始，每天開盤前都會在新浪微博貼出策略帖，堅持了9個月，最終收益超過40%，而同期大盤大跌。當(dāng)然，馮月也表示，股票雷達(dá)不是股神，也有跌的時候，比如2013年3月它的收益就是-11%。

專業(yè)判斷仍不可或缺

美國圣母大學(xué)的研究者則質(zhì)疑社交網(wǎng)絡(luò)對突發(fā)事件的預(yù)測。他們在研究中發(fā)現(xiàn)，2008年10月13日，美國聯(lián)邦儲備委員會突然啟動一項銀行紓困計劃，令道瓊斯指數(shù)反彈，而3天前的Twitter冷靜指數(shù)毫無征兆。而且，研究者自己也意識到，Twitter用戶與股市投資者并不完全重合，這樣的樣本代表性有待商榷。

美國特許金融分析師（CFA）協(xié)會創(chuàng)新與新興媒體主管萊恩·科斯塔也不贊成Twitter情緒指數(shù)的濫用：“對于嚴(yán)肅的專業(yè)投資者來說，在作出投資決定時，沒有什么可以替代合理的審慎、獨立的專業(yè)判斷和由適當(dāng)?shù)难芯颗c調(diào)查支持的基礎(chǔ)。”

在A股市場震蕩加劇的當(dāng)下，馮月希望股民在做投資決定的時候能越來越理性。他說，股票是一個眾人博弈的游戲，再“精準(zhǔn)”的推薦也是有風(fēng)險的?；诖?，他們不是簡單地給出推薦股票，而是會將該只股票的所有相關(guān)信息全部呈現(xiàn)給用戶，包括所有看好和不看好這支股票的言論內(nèi)容，以及這些言論發(fā)表者的身份、背景和歷史言論。當(dāng)用戶了解完所有這些信息之后，他的決定則會趨于理性。