大數(shù)據(jù)技術(shù)論壇（下）：大數(shù)據(jù)時代的掘金術(shù)

2014年12月12-14日，由中國計算機學(xué)會（CCF）主辦，CCF大數(shù)據(jù)專家委員會承辦，中科院計算所與CSDN共同協(xié)辦，以推進大數(shù)據(jù)科研、應(yīng)用與產(chǎn)業(yè)發(fā)展為主旨的2014中國大數(shù)據(jù)技術(shù)大會（Big Data Technology Conference 2014，BDTC 2014）暨第二屆CCF大數(shù)據(jù)學(xué)術(shù)會議在北京新云南皇冠假日酒店盛大開幕。

用友軟件高級工程師 白小勇

2014中國大數(shù)據(jù)技術(shù)大會第二日上午的大數(shù)據(jù)技術(shù)論壇，用友軟件高級工程師白小勇主持了下午的論壇。前通聯(lián)數(shù)據(jù)首席戰(zhàn)略官龍白滔、VMware高級產(chǎn)品線經(jīng)理董波、亞信科技大數(shù)據(jù)事業(yè)部數(shù)據(jù)資產(chǎn)管理部門產(chǎn)品總監(jiān)高偉、阿里巴巴數(shù)據(jù)平臺事業(yè)部ODPS技術(shù)專家徐冬、攜程資深軟件工程師廖曉格、品友互動數(shù)據(jù)架構(gòu)師廖海仁六位專家主要就大數(shù)據(jù)技術(shù)的相關(guān)問題展開了演講。

前通聯(lián)數(shù)據(jù)首席戰(zhàn)略官 龍白滔

前通聯(lián)數(shù)據(jù)首席戰(zhàn)略官龍白滔，帶來了名為“金融投資大數(shù)據(jù)實踐分享”的主題演講。龍白滔從金融大數(shù)據(jù)和傳統(tǒng)大數(shù)據(jù)的區(qū)別；金融數(shù)據(jù)的生產(chǎn)過程；金融大數(shù)據(jù)的存儲；金融大數(shù)據(jù)的分析和挖掘；分析在線交互式金融編程分析研究平臺五個方面對金融大數(shù)據(jù)實踐進行分享。

金融大數(shù)據(jù)和消費互聯(lián)網(wǎng)大數(shù)據(jù)的區(qū)別體現(xiàn)在以下幾個方面：

• 研究對象：消費互聯(lián)網(wǎng)大數(shù)據(jù)比較偏重研究個體的行為體征，而金融大數(shù)據(jù)大數(shù)據(jù)比較偏重研究群體行為和趨勢；
• 數(shù)據(jù)相關(guān)性：消費互聯(lián)網(wǎng)大數(shù)據(jù)與個體強相關(guān)的數(shù)據(jù)比較容易獲得（例如瀏覽器cookie），數(shù)據(jù)噪音小，金融大數(shù)據(jù)與群體行為強相關(guān)的數(shù)據(jù)比較難獲得，數(shù)據(jù)噪音大；
• 算法復(fù)雜度：消費互聯(lián)網(wǎng)大數(shù)據(jù)因為數(shù)據(jù)質(zhì)量高，所以算法可以相對較簡單，而金融大數(shù)據(jù)因為數(shù)據(jù)噪音大，因此對算法要求很高；
• 數(shù)據(jù)容量：相比消費互聯(lián)網(wǎng)大數(shù)據(jù)，金融大數(shù)據(jù)的數(shù)據(jù)量更大，互聯(lián)網(wǎng)大數(shù)據(jù)+ 金融專門的大數(shù)據(jù)（例如行情數(shù)據(jù)、行業(yè)數(shù)據(jù)、分析師報告等）；
• 數(shù)據(jù)類型：消費互聯(lián)網(wǎng)大數(shù)據(jù)有多種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，而金融大數(shù)據(jù)的數(shù)據(jù)類型更多，互聯(lián)網(wǎng)的數(shù)據(jù)類型+ 金融特別的數(shù)據(jù)類型，例如時間序列數(shù)據(jù)；
• 數(shù)據(jù)速度：消費互聯(lián)網(wǎng)大數(shù)據(jù)一般數(shù)據(jù)處理速度要求不高，而金融大數(shù)據(jù)對數(shù)據(jù)處理速度要求比較高，例如量化交易、動態(tài)風(fēng)險定價、反信用卡欺詐、實時新聞分析和處理等；

其中，他表示時間序列數(shù)據(jù)是未來最重要的數(shù)據(jù)類型，所以掌握時間序列數(shù)據(jù)的存儲、處理以及關(guān)鍵算法是十分重要的。比如KDB是傳統(tǒng)金融機構(gòu)的標(biāo)配，Cassandra在國外的物聯(lián)網(wǎng)和能源領(lǐng)域已經(jīng)得到了比較成功的應(yīng)用。隨后，龍白滔還介紹了如何把結(jié)構(gòu)化、標(biāo)準(zhǔn)化數(shù)據(jù)形成有意義的金融行業(yè)數(shù)據(jù)。龍白滔還提到相比國外，國內(nèi)對前言技術(shù)的掌握和應(yīng)用還差得比較遠。

VMware高級產(chǎn)品線經(jīng)理 董波

VMware高級產(chǎn)品線經(jīng)理董波，向大家分享了“VMware為大數(shù)據(jù)應(yīng)用鋪平道路 ”主題演講。企業(yè)對大數(shù)據(jù)的應(yīng)用通常要經(jīng)歷三個階段：概念驗證階段，快速低成本的驗證大數(shù)據(jù)技術(shù)帶來的價值；生產(chǎn)應(yīng)用階段，滿足應(yīng)用SLA，滿足系統(tǒng)擴容需求；以及Hadoop即服務(wù)階段，快速敏捷高效的滿足各個業(yè)務(wù)的差異化需求。

vSphere Big Data Extension能夠幫你快速簡便部署，讓你全力關(guān)注業(yè)務(wù)，并且BDE可與第三方管理工具無縫集成。vRealize Operations Manager，能夠實現(xiàn)系統(tǒng)全面監(jiān)控，智能自動分析管理，基于預(yù)測主動運維。vSpherevMotion能夠消除計劃或非計劃宕機時間，檢測失效自動恢復(fù)。

董波在演講中還提到，運用Hadoop集群管理平臺，可平衡處理企業(yè)中各部門集群使用需求。他說，當(dāng)多個部門需求Hadoop集群服務(wù)，并且需求各不相同時，需要建設(shè)自助服務(wù)平臺來解決此類問題。VMware推出的VCAC產(chǎn)品，可彈性伸縮處理各部門的集群使用需求，并且減少IT管理人員處理壓力。

亞信科技大數(shù)據(jù)事業(yè)部數(shù)據(jù)資產(chǎn)管理部門產(chǎn)品總監(jiān) 高偉

亞信科技大數(shù)據(jù)事業(yè)部數(shù)據(jù)資產(chǎn)管理部門產(chǎn)品總監(jiān)高偉，與現(xiàn)場參會者分享了主題為“數(shù)據(jù)資產(chǎn)管理——大數(shù)據(jù)時代的掘金術(shù) ”。數(shù)據(jù)資產(chǎn)管理是企業(yè)或組織采取的各種管理活動，用以保證數(shù)據(jù)資產(chǎn)的安全完整，合理配置和有效利用，從而提高帶來的經(jīng)濟效益，保障和促進各項事業(yè)發(fā)展。高偉表示盡管“數(shù)據(jù)是資產(chǎn)”概念已經(jīng)廣為人知，但“如何管理數(shù)據(jù)資產(chǎn)”仍然缺少成熟理論以及工具手段，存在市場空白。

傳統(tǒng)數(shù)據(jù)管理方式不適合數(shù)據(jù)資產(chǎn)管理要求，亞信提倡建立一體化全流程的數(shù)據(jù)資產(chǎn)管理體系，具有以下關(guān)鍵特性：完善的數(shù)據(jù)治理與管控，高效的數(shù)據(jù)資產(chǎn)應(yīng)用，以及創(chuàng)新的數(shù)據(jù)資產(chǎn)運營。最后，高偉總結(jié)道，數(shù)據(jù)資產(chǎn)管理已達到與CRM相同的高度，并呼吁數(shù)據(jù)資產(chǎn)管理技術(shù)人員，要考慮如何將技術(shù)與業(yè)務(wù)及商業(yè)相結(jié)合。

阿里巴巴數(shù)據(jù)平臺事業(yè)部ODPS技術(shù)專家 徐冬

阿里巴巴數(shù)據(jù)平臺事業(yè)部ODPS技術(shù)專家徐冬，分享了主題為“ODPS MapReduce 對外開放實踐 ”。演講中，徐冬主要談到ODPS（Open Data Process System）在阿里云巴巴的使用情況；在ODPS上搭建LOT模型；MapReduce實現(xiàn)過程；MapReduce API介紹以及MapReduce API開放用戶實踐。ODPS作為阿里大規(guī)模數(shù)據(jù)處理的底層平臺，每日提交數(shù)十萬計任務(wù)，底層是跨數(shù)據(jù)中心的超大規(guī)模集群，支持多種編程模型、范式。

其中，徐冬提到MapReduce API在兩個方面進行了調(diào)整，包括：取消對MapReduce自定義類型支持、希望將MapReduce API做成類似Hadoop。最后，他表示MapReduce作為開放服務(wù)，明年年初將會對用戶開放。

攜程資深軟件工程師 廖曉格

攜程資深軟件工程師廖曉格，分享了主題為“讓大數(shù)據(jù)更實時和可視化”。廖曉格主要介紹了攜程大數(shù)據(jù)平臺架構(gòu)，HBase在攜程的應(yīng)用，攜程產(chǎn)品的生態(tài)介紹，以及未來的挑戰(zhàn)。

攜程每天的日志量40T，總條數(shù)上千億條，每天用戶行為數(shù)據(jù)30T，并且業(yè)務(wù)數(shù)據(jù)飛速增長，所有數(shù)據(jù)都需要及時反饋給用戶，應(yīng)用或監(jiān)控。攜程大數(shù)據(jù)平臺架構(gòu)與Hadoop生態(tài)環(huán)境類似，底層使用HDFS，上面是調(diào)度系統(tǒng)，并且通過MapReduce、Spark做離線數(shù)據(jù)分析，Storm和HBase做在線數(shù)據(jù)分析。其中HBase是按業(yè)務(wù)劃分，底層構(gòu)建HBase門禁系統(tǒng)。攜程還構(gòu)建了一套Mobile監(jiān)控系統(tǒng)和UBT（User Behavior Tracking）系統(tǒng)，用來跟蹤用戶行為和用戶流量，并形成直觀的可視化圖像。

品友互動數(shù)據(jù)架構(gòu)師 廖海仁

品友互動數(shù)據(jù)架構(gòu)師廖海仁，帶來了名為“DSP 基于數(shù)據(jù)的實時競價優(yōu)化”的主題演講。首先，他首先介紹DSP優(yōu)化中的五個特征：

• DSP跟其他AdNetwork/Serach大不相同，它作為封閉系統(tǒng)，永遠與其他DSP去競爭；
• 對于DSP而言，廣告主可能有非常多樣化的KPI，結(jié)算方式也是多樣化，廣告主KPI可能是CTR、CPC、CPA、ROL/CPNC等；
• 在投放的過程中，對Budget consumption的預(yù)估更嚴(yán)格；
• 要準(zhǔn)確預(yù)估CTR/CVR；
• 點擊和曝光不平衡；

隨后，廖海仁重點介紹DSP優(yōu)化過程中重要問題：第一，Ranking，搜索廣告，每個廣告有不同的KPI；第二，sample Selection bias，解決問題前需要進行CTR預(yù)估；第三，mobile optimization，mobile優(yōu)化與PC有很大的差別，需要單獨解決。