當(dāng)證券行業(yè)遇到大數(shù)據(jù)：一站式方案或受歡迎

有人說(shuō)從網(wǎng)格計(jì)算、云計(jì)算到大數(shù)據(jù)，猶如一場(chǎng)IT價(jià)值實(shí)現(xiàn)的進(jìn)化論。在IT發(fā)展史中，如果某種技術(shù)不能夠很好地商業(yè)化和市場(chǎng)化，那么該項(xiàng)技術(shù)再出色 也不能獲得很大的市場(chǎng)認(rèn)可和成功。今天，大數(shù)據(jù)比以往任何一項(xiàng)IT技術(shù)都獲得了廣泛的市場(chǎng)認(rèn)可，并且逐漸走向商業(yè)化之路。大數(shù)據(jù)現(xiàn)在不僅僅是IT行業(yè)的一個(gè)炒作概念，更像是一場(chǎng)探尋和挖掘數(shù)據(jù)價(jià)值的運(yùn)動(dòng)，與各行各業(yè)有著越來(lái)越緊密的聯(lián)系。 在美國(guó)，奧巴馬政府已經(jīng)開(kāi)始重視大數(shù)據(jù)及其相關(guān)價(jià)值，將大數(shù)據(jù)上升為國(guó)家意志，政府投資2億美金啟動(dòng)了“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，希望增強(qiáng)收集海量 數(shù)據(jù)、分析萃取信息的能力。

在政府層面的支持和帶頭，能夠促使各種不同行業(yè)對(duì)于大數(shù)據(jù)的認(rèn)識(shí)和加快行動(dòng)。我國(guó)的經(jīng)濟(jì)總量位居世界前列，GDP全球第二，且 具有世界上最多的人口，隨著信息化日漸融入我國(guó)國(guó)民的日常生活，大數(shù)據(jù)和挖掘數(shù)據(jù)價(jià)值也已經(jīng)成為一項(xiàng)非常值得探索的領(lǐng)域。目前，國(guó)內(nèi)除了互聯(lián)網(wǎng)、電信等行 業(yè)在大數(shù)據(jù)領(lǐng)域被看好之外，證券行業(yè)同樣被認(rèn)為在大數(shù)據(jù)應(yīng)用前景廣闊，且國(guó)內(nèi)已經(jīng)有一些券商開(kāi)始試水大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)對(duì)于用戶IT環(huán)境頗有“牽一發(fā)而動(dòng) 全身”的味道，在基礎(chǔ)架構(gòu)、數(shù)據(jù)安全、數(shù)據(jù)分析等多個(gè)方面都需要全方位的準(zhǔn)備。對(duì)于證券行業(yè)來(lái)說(shuō)，又該在基礎(chǔ)架構(gòu)、數(shù)據(jù)安全、數(shù)據(jù)分析、業(yè)務(wù)模式等方面如 何做好充分準(zhǔn)備？ 

前景廣闊、意義非凡 

對(duì)于當(dāng)今的企業(yè)而言，數(shù)據(jù)就是一種重要的戰(zhàn)略資產(chǎn)，它就像新時(shí)代的石油一樣，極富開(kāi)采價(jià)值。如果能夠看清大數(shù)據(jù)的價(jià)值并且迅速行動(dòng)起來(lái)，那么在未來(lái) 的商業(yè)競(jìng)爭(zhēng)中占據(jù)會(huì)占得先機(jī)。大數(shù)據(jù)一個(gè)顯著特點(diǎn)就是打破了企業(yè)傳統(tǒng)數(shù)據(jù)的邊界，改變了過(guò)去商業(yè)智能僅僅依靠企業(yè)內(nèi)部業(yè)務(wù)數(shù)據(jù)的局面，其背后蘊(yùn)含的商業(yè)價(jià) 值不可低估。 過(guò)去傳統(tǒng)的商業(yè)智能局限在分析企業(yè)信息系統(tǒng)自身產(chǎn)生出來(lái)業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)大部分為數(shù)據(jù)庫(kù)等結(jié)構(gòu)化數(shù)據(jù)，而隨著非結(jié)構(gòu)化數(shù)據(jù)成為企業(yè)數(shù)據(jù)的主力軍， 傳統(tǒng)商業(yè)智能的方式方法顯然已經(jīng)落伍。

大數(shù)據(jù)分析是基于構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的總和，在數(shù)據(jù)分析的全面性上是傳統(tǒng)商業(yè)智能所不能比擬的，這意味著通過(guò)分析結(jié) 構(gòu)能夠提供給企業(yè)更加全面和準(zhǔn)確的商業(yè)洞察力。 在過(guò)去幾年，我們也發(fā)現(xiàn)證券行業(yè)正在發(fā)生著劇烈的變化。互聯(lián)網(wǎng)的廣泛普及、社交網(wǎng)絡(luò)化的深入人心、移動(dòng)互聯(lián)網(wǎng)的快速崛起，使得證券行業(yè)在大數(shù)據(jù)時(shí)代 充滿了挑戰(zhàn)的同時(shí)，也看到一個(gè)前景廣闊的未來(lái)。

此時(shí)，誰(shuí)敢勇于擁抱大數(shù)據(jù)，誰(shuí)就將在未來(lái)的競(jìng)爭(zhēng)中占據(jù)有利位置。IDC就在其大數(shù)據(jù)相關(guān)報(bào)告中著重闡述了大 數(shù)據(jù)的商業(yè)價(jià)值：行業(yè)領(lǐng)導(dǎo)企業(yè)與其他企業(yè)有著本質(zhì)的區(qū)別，行業(yè)領(lǐng)導(dǎo)企業(yè)會(huì)積極將新的數(shù)據(jù)類型引入到數(shù)據(jù)分析之中，為商業(yè)決策做出更加準(zhǔn)確的判斷，那些沒(méi)引 入新的分析技術(shù)和新的數(shù)據(jù)類型的企業(yè)在未來(lái)是不可能成為行業(yè)領(lǐng)導(dǎo)者。 

目前，國(guó)外已經(jīng)有一些金融機(jī)構(gòu)將數(shù)據(jù)分析與社交網(wǎng)絡(luò)進(jìn)行結(jié)合，通過(guò)大數(shù)據(jù)分析來(lái)預(yù)測(cè)未來(lái)某些金融現(xiàn)象。2011年，英國(guó)對(duì)沖基金Derwent Capital Markets建立了規(guī)模為4000萬(wàn)美金的對(duì)沖基金，該基金是首家基于社交網(wǎng)絡(luò)的對(duì)沖基金，該基金通過(guò)對(duì)Twitter的數(shù)據(jù)內(nèi)容來(lái)感知市場(chǎng)情緒，從而 進(jìn)行投資。無(wú)獨(dú)有偶，通過(guò)分析Twitter用戶對(duì)股票的敏感度以及市場(chǎng)情緒也成為科學(xué)機(jī)構(gòu)的研究對(duì)象，2012年年初，美國(guó)加州大學(xué)河濱分校公布了一項(xiàng) 通過(guò)對(duì)Twitter消息進(jìn)行分析從而預(yù)測(cè)股票漲跌的研究報(bào)告。

圖一：英國(guó)對(duì)沖基金Derwent Capital Markets通過(guò)分析Twitter數(shù)據(jù)來(lái)預(yù)測(cè)股市的波動(dòng)，該應(yīng)用為典型的大數(shù)據(jù)應(yīng)用，通過(guò)實(shí)時(shí)分析數(shù)據(jù)來(lái)獲得更為準(zhǔn)確的投資趨勢(shì)。圖中紅線代表 Tweets中“平靜”數(shù)值；藍(lán)線表示3天后的道指變化。在這兩條線段重合的部分，“平靜”指數(shù)預(yù)測(cè)了3天后道指收盤(pán)指數(shù)，從圖中我們可以發(fā)現(xiàn)紅、藍(lán)兩線 經(jīng)常走勢(shì)相近。 證券行業(yè)資深I(lǐng)T專家顏陽(yáng)博士就表示：“企業(yè)數(shù)據(jù)就是新時(shí)代還未開(kāi)采的石油，具有非常之高的價(jià)值。國(guó)外一些金融機(jī)構(gòu)已經(jīng)開(kāi)始做一些前瞻性的研究，這 種做法是非常值得學(xué)習(xí)和借鑒的。比如國(guó)內(nèi)已經(jīng)有一些券商開(kāi)始研究互聯(lián)網(wǎng)、微博與股市的關(guān)系，通過(guò)輿情分析現(xiàn)有的業(yè)務(wù)與數(shù)據(jù)研究上市公司的走勢(shì)。” 中國(guó)惠普專家也表示：“隨著Facebook、Twitter、Youtube這些Web2.0技術(shù)的飛速發(fā)展，全世界都意識(shí)到大數(shù)據(jù)的重要性?？?以說(shuō)證券行業(yè)是建立在IT系統(tǒng)的基礎(chǔ)之上的，隨著互聯(lián)網(wǎng)的發(fā)展，特別是移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)的快速普及，券商如果僅僅滿足提供網(wǎng)上或手機(jī)炒股這種服務(wù)是遠(yuǎn) 遠(yuǎn)不夠的，作為擁有大量?jī)?yōu)質(zhì)數(shù)據(jù)的券商行業(yè)用戶其實(shí)具有非常好的條件來(lái)?yè)肀Т髷?shù)據(jù)，通過(guò)大數(shù)據(jù)來(lái)挖掘出更多有價(jià)值的信息和提供更加優(yōu)質(zhì)的服務(wù)。” 

基礎(chǔ)架構(gòu)不能忽視

 毫無(wú)疑問(wèn)的是，大數(shù)據(jù)需要有優(yōu)秀的數(shù)據(jù)分析工具和人才，但僅僅擁有諸如Hadoop、NoSQL等方面的軟件或者專業(yè)人士是遠(yuǎn)遠(yuǎn)不夠的。甚至，現(xiàn)在 有些用戶本末倒置，過(guò)分強(qiáng)調(diào)或寄希望于大數(shù)據(jù)分析軟件。追本溯源，如果一套好的大數(shù)據(jù)分析軟件架構(gòu)沒(méi)有一個(gè)強(qiáng)有力的基礎(chǔ)架構(gòu)做支撐，那么用戶也不能夠充分 發(fā)揮出大數(shù)據(jù)挖掘潛力。而且，我們需要面對(duì)的是一個(gè)充滿著結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的復(fù)雜數(shù)據(jù)環(huán)境，這個(gè)全新數(shù)據(jù)環(huán)境正在對(duì)我們的基礎(chǔ)架構(gòu)帶來(lái)深遠(yuǎn) 的變革和影響?！?/span>

圖二：全球知名調(diào)研機(jī)構(gòu)IDC公司 對(duì)全球數(shù)據(jù)增長(zhǎng)以及數(shù)據(jù)類型分布情況的調(diào)研與預(yù)測(cè)。相對(duì)于傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)、內(nèi)容數(shù)據(jù)的增長(zhǎng)迅速，這也使得用戶的數(shù)據(jù)環(huán)境變得日趨復(fù)雜，給用戶的IT基礎(chǔ)架構(gòu)建設(shè)帶來(lái)巨大影響。 

大數(shù)據(jù)具有數(shù)據(jù)量特別龐大、數(shù)據(jù)種類特別復(fù)雜、處理速度要求快等特點(diǎn)，這些特點(diǎn)就決定了用戶需要有著非常健壯的IT基礎(chǔ)架構(gòu)，并且值得關(guān)注的是，大 數(shù)據(jù)帶動(dòng)了企業(yè)將更多IT精力投入到數(shù)據(jù)分析這個(gè)層面，這也從側(cè)面決定了起到支撐作用的IT基礎(chǔ)架構(gòu)需要具備更加出色的性能、更加良好的擴(kuò)展性以及更加出 色靈活性，只有在靈活性、可靠性、高性能等方面有保障，才能夠發(fā)揮出數(shù)據(jù)分析環(huán)境的潛能。從某種程度而言，大數(shù)據(jù)其實(shí)將吸納進(jìn)更多IT新技術(shù)到企業(yè)中，是 企業(yè)IT環(huán)境變得更加復(fù)雜，對(duì)IT基礎(chǔ)架構(gòu)也提出了更高的要求。中國(guó)惠普專家則表示：“大數(shù)據(jù)時(shí)代需要用戶花費(fèi)更多精力和人力去關(guān)注像虛擬化、 Hadoop、并行分析數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)、半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)搜索技術(shù)等。在IT資源有限的情況下，IT基礎(chǔ)架構(gòu)的建設(shè)和維護(hù)必須要可以輕松完成， 這樣才能夠花費(fèi)更多精力和人員到數(shù)據(jù)分析上?！?nbsp;

對(duì)于證券行業(yè)而言，過(guò)去可能僅僅需要處理交易性數(shù)據(jù)，現(xiàn)在則需要快速處理來(lái)自各種社交網(wǎng)絡(luò)的半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)；過(guò)去可能僅僅備份容量較少的結(jié) 構(gòu)化數(shù)據(jù)，現(xiàn)在則需要應(yīng)對(duì)海量數(shù)據(jù)的存儲(chǔ)與移動(dòng)；過(guò)去可能僅僅只需要單一類型IO的處理能力，現(xiàn)在則需要高的混合IO處理能力……這系列的變化使得券商在 服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)等基礎(chǔ)架構(gòu)環(huán)境都需要重新審視自身的基礎(chǔ)建構(gòu)是否合理和是否具有前瞻性。證券行業(yè)資深I(lǐng)T專家顏陽(yáng)博士就表示：“國(guó)內(nèi)有前瞻意識(shí)的券商 已經(jīng)在一些轉(zhuǎn)型，逐漸開(kāi)始涉足一些非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的處理?！?/span>

 另外一個(gè)不容忽視的趨勢(shì)是大數(shù)據(jù)是在云計(jì)算基礎(chǔ)之上的數(shù)據(jù)分析與價(jià)值挖掘，開(kāi)放平臺(tái)是云計(jì)算到大數(shù)據(jù)一直貫穿始終的主旋律，開(kāi)放的軟硬件平臺(tái)成為大 數(shù)據(jù)的不二選擇。像X86基礎(chǔ)架構(gòu)具有天然的開(kāi)放性、良好的擴(kuò)展性、出色的性能以及可靠性，這些特點(diǎn)與大數(shù)據(jù)在基礎(chǔ)架構(gòu)上的需求天然契合。IDC中國(guó)企業(yè) 級(jí)系統(tǒng)與軟件研究部高級(jí)研究經(jīng)理周震剛就表示：“大數(shù)據(jù)會(huì)推動(dòng)基礎(chǔ)架構(gòu)向Scale-Out架構(gòu)發(fā)展。與傳統(tǒng)數(shù)據(jù)處理方式不同，大數(shù)據(jù)由于在數(shù)據(jù)量上非常 龐大、數(shù)據(jù)類型比較復(fù)雜，使得大數(shù)據(jù)處理需要的是多節(jié)點(diǎn)、多CPU處理的方式，這意味著大數(shù)據(jù)時(shí)代發(fā)展方向是從Scale-Up想Scale-Out發(fā) 展?！?/span>

圖三：大數(shù)據(jù)的特點(diǎn)。 中國(guó)惠普專家也表示：“通過(guò)惠普對(duì)證券行業(yè)多年的深入了解，證券行業(yè)用戶在大數(shù)據(jù)時(shí)代需要更加易用的基礎(chǔ)架構(gòu)，以此保證有更多資源放在數(shù)據(jù)分析工 作；建議采用開(kāi)放的架構(gòu)和技術(shù)，比如工業(yè)標(biāo)準(zhǔn)服務(wù)器、虛擬化、Hadoop等技術(shù)，因?yàn)殚_(kāi)放架構(gòu)和技術(shù)在基礎(chǔ)架構(gòu)的靈活性、擴(kuò)展性、管理性以及成本上都有 著長(zhǎng)期優(yōu)勢(shì)；同時(shí)，建議采用軟硬件組合放來(lái)來(lái)縮短系統(tǒng)建設(shè)周期、降低基礎(chǔ)架構(gòu)維護(hù)時(shí)間和成本。 

行業(yè)用戶：一站式大數(shù)據(jù)方案前景如何？ 

大數(shù)據(jù)處理技術(shù)層面上具有數(shù)據(jù)量特別龐大、數(shù)據(jù)種類特別復(fù)雜、處理速度要求快等鮮明特點(diǎn)之外，其實(shí)也帶有著濃厚的行業(yè)背景。每個(gè)行業(yè)在自身的數(shù)據(jù)類 型特點(diǎn)、業(yè)務(wù)處理模式、應(yīng)用類型特點(diǎn)等都千差萬(wàn)別，這是由自身行業(yè)背景所決定的，基于石油行業(yè)的大數(shù)據(jù)解決方案定然不會(huì)適合金融證券行業(yè)領(lǐng)域。

圖四：全球知名咨詢機(jī)構(gòu)麥肯錫對(duì)美國(guó)不同行業(yè)的大數(shù)據(jù)相關(guān)業(yè)務(wù)特性做出的統(tǒng)計(jì)，每個(gè)行業(yè)在整體價(jià)值潛 力、數(shù)據(jù)量、波動(dòng)性、供銷伙伴數(shù)量、交易密度、行業(yè)波動(dòng)性都有著區(qū)別，金融證券行業(yè)在整體價(jià)值潛力、數(shù)量量、績(jī)效波動(dòng)性、交易密度上都名列前茅，這意味著 金融證券行業(yè)的大數(shù)據(jù)解決方案需要更加關(guān)注這些方面。 我們會(huì)發(fā)現(xiàn)當(dāng)前在大數(shù)據(jù)領(lǐng)域有著較為深入應(yīng)用的都是互聯(lián)網(wǎng)或者電信行業(yè)，這些行業(yè)用戶對(duì)自身業(yè)務(wù)了解較深、且具有強(qiáng)大的IT團(tuán)隊(duì)和IT開(kāi)發(fā)能力，使 得自身的大數(shù)據(jù)方案上有著更多靈活的選擇。

事實(shí)上，很多行業(yè)在IT團(tuán)隊(duì)和IT能力上并不能像互聯(lián)網(wǎng)或電信行業(yè)那樣，很多大數(shù)據(jù)所有工作都由自身團(tuán)隊(duì)來(lái)完 成。正是出于這種現(xiàn)實(shí)情況，目前很多廠商包括惠普、EMC、IBM、Oracle也相應(yīng)推出了針對(duì)不同行業(yè)的一站式打包整體解決方案，來(lái)滿足很多沒(méi)有較強(qiáng) IT能力的行業(yè)用戶在大數(shù)據(jù)方面的需求。 從本質(zhì)上來(lái)看，企業(yè)用戶在商業(yè)決策中需要的是一個(gè)包含了靈活可靠的基礎(chǔ)架構(gòu)、功能強(qiáng)大的數(shù)據(jù)分析能力與經(jīng)驗(yàn)豐富的行業(yè)分析能力的大數(shù)據(jù)綜合性解決方 案，僅僅依靠幾套開(kāi)源軟件和設(shè)備是不能滿足企業(yè)在商業(yè)決策上的長(zhǎng)久需求。

IDC中國(guó)企業(yè)級(jí)系統(tǒng)與軟件研究部高級(jí)研究經(jīng)理周震剛就表示：“從傳統(tǒng)概念來(lái)講， 大數(shù)據(jù)非常復(fù)雜，無(wú)法形成打包好的分析應(yīng)用解決方案。不過(guò)在未來(lái)幾年中，某個(gè)行業(yè)的應(yīng)用會(huì)形成一個(gè)共性，廠商們會(huì)基于這個(gè)共性打包出一些大數(shù)據(jù)的解決方案 推向這些行業(yè)用戶?！?惠普中國(guó)專家也表示：“一個(gè)開(kāi)放、靈活、強(qiáng)大、即買即用的大數(shù)據(jù)解決方案是行業(yè)用戶所需要的。一站式或者說(shuō)打包的大數(shù)據(jù)解決方案一定會(huì)是未來(lái)的趨 勢(shì)，打包性的方案會(huì)讓行業(yè)用戶將更多精力放在數(shù)據(jù)分析以及數(shù)據(jù)價(jià)值挖掘上，從而真正讓IT部門從一個(gè)附屬部門變成價(jià)值生產(chǎn)部門?；萜盏拇髷?shù)據(jù)打包方案包含 了最優(yōu)秀的軟硬件產(chǎn)品、開(kāi)放式架構(gòu)以及惠普在大數(shù)據(jù)領(lǐng)域的經(jīng)驗(yàn)和實(shí)踐?！?/span>

 對(duì)于證券行業(yè)用戶而言，受到市場(chǎng)周期、交易波動(dòng)影響較大，經(jīng)過(guò)長(zhǎng)期的IT建設(shè)，有著一定規(guī)模的IT團(tuán)隊(duì)和IT能力，但受制于各種因素，在大數(shù)據(jù)解決 方案方面，不可能完全依靠自身的IT團(tuán)隊(duì)就能夠有效構(gòu)建出符合自身公司的方案。一站式或者打包的大數(shù)據(jù)解決方案如果能夠具有性能出色、擴(kuò)展靈活的硬件架 構(gòu)、廠商能夠在打包方案中對(duì)軟硬件進(jìn)行底層優(yōu)化之外，保持整個(gè)方案的開(kāi)放性和易維護(hù)性，使得證券行業(yè)用戶能夠自主后續(xù)開(kāi)發(fā)，那對(duì)于證券行業(yè)的用戶而言不失 為一種最佳選擇。