大數(shù)據(jù)開啟了人類數(shù)據(jù)管理史的一段嶄新旅程。人類想要測量、記錄和分析世界的渴望是驅(qū)動(dòng)大數(shù)據(jù)技術(shù)不斷向前的動(dòng)力。但如同此前的電子商務(wù)、云計(jì)算等創(chuàng)新構(gòu)想一樣，大數(shù)據(jù)也不得不懷抱變革理想在現(xiàn)實(shí)中披荊斬棘。

　　我們該如何定義我們所身處的信息技術(shù)時(shí)代？是云計(jì)算、社交、移動(dòng)，還是大數(shù)據(jù)？相信每位從業(yè)者和客戶都會有自己的認(rèn)知與解讀。一千個(gè)人眼中就有一千個(gè)哈姆雷特，很多時(shí)候是一個(gè)放之四海皆準(zhǔn)的道理，更何況我們正在經(jīng)歷一段創(chuàng)新趨勢疊加、創(chuàng)新領(lǐng)域融合的獨(dú)特時(shí)期。而對于那些想要體會技術(shù)創(chuàng)新真正內(nèi)涵的人士，有一個(gè)話題永遠(yuǎn)不可回避，這就是技術(shù)創(chuàng)新到底會給其受眾帶來怎樣的真實(shí)價(jià)值？這種價(jià)值是否能夠在其被發(fā)掘后長期、持續(xù)地給予？

　　本文重點(diǎn)關(guān)注大數(shù)據(jù)技術(shù)這一重大技術(shù)創(chuàng)新趨勢在企業(yè)環(huán)境中價(jià)值實(shí)現(xiàn)的過程。在全民熱議的氛圍中，或許我們可以暫時(shí)遠(yuǎn)離那些對大數(shù)據(jù)的定義、技術(shù)特征、未來走向的種種爭論，潛心聆聽喧囂中實(shí)地探索的腳步。我們希望與您共同探討大數(shù)據(jù)所能夠開辟的數(shù)據(jù)價(jià)值轉(zhuǎn)換與兌現(xiàn)路徑，從而為企業(yè)高效、合理利用快速增長的業(yè)務(wù)數(shù)據(jù)帶來啟發(fā)。也希望這些來自中國企業(yè)的真實(shí)應(yīng)用案例能夠證明，大數(shù)據(jù)并不僅僅是一個(gè)催生布道師的舞臺，它正在真切地影響著我們的工作與生活。

　　腳踏實(shí)地的大數(shù)據(jù)

　　人類的想象力有多豐富，大數(shù)據(jù)的未來世界就會有多廣博。要讓海量數(shù)據(jù)資源變成寶貴的商業(yè)資產(chǎn)，企業(yè)的大數(shù)據(jù)技術(shù)實(shí)踐者們需要從現(xiàn)實(shí)中起步。

　　如今，大數(shù)據(jù)總會與變革作為聯(lián)動(dòng)的詞匯出現(xiàn)。牛津大學(xué)網(wǎng)絡(luò)學(xué)院互聯(lián)網(wǎng)研究所治理與監(jiān)管專業(yè)教授維克托?邁爾-舍恩伯格在其著作《大數(shù)據(jù)時(shí)代》一書中，將大數(shù)據(jù)定義為一次重大時(shí)代轉(zhuǎn)型的開啟者，稱其將會引發(fā)一場生活、工作與思維的大變革。

　　他認(rèn)為，在大數(shù)據(jù)時(shí)代，人類處理數(shù)據(jù)的方法和思維模式將被徹底改變，它會呈現(xiàn)出一些前所未有的現(xiàn)象。比方說，人們將會分析更多的數(shù)據(jù)，而不再依賴于隨機(jī)采樣；人們將不再沉迷于對數(shù)據(jù)分析精確度的追求，轉(zhuǎn)而關(guān)注對趨勢的把握；人們不會再習(xí)慣性地追問事情的因果，而是尋找事物之間的相關(guān)關(guān)系。

　　無論這些數(shù)據(jù)處理的未來趨勢最終是否能夠成真，我們都可以從日常的工作和生活中窺探到一些變化的端倪。首先，企業(yè)的數(shù)據(jù)管理范疇正在不斷擴(kuò)大，在線交易、Web日志、點(diǎn)擊流、傳感器信息、社交媒體數(shù)據(jù)等都被納入企業(yè)的業(yè)務(wù)數(shù)據(jù)集。另一方面，我們在生活中會遇到越來越多與數(shù)據(jù)分析相關(guān)的商業(yè)創(chuàng)意。例如，各個(gè)電子商務(wù)、視頻網(wǎng)站中花樣繁多的推薦系統(tǒng)，還有超市中零食與手電筒這樣不明所以、卻能帶來實(shí)際銷售增長的擺放組合。

　　大數(shù)據(jù)對企業(yè)究竟意味著什么？舍恩伯格在《大數(shù)據(jù)時(shí)代》一書中做出了這樣的描述：在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的價(jià)值從它最基本的用途轉(zhuǎn)變?yōu)槲磥淼臐撛谟猛?。這一轉(zhuǎn)變意義重大，它影響了企業(yè)評估其擁有的數(shù)據(jù)及訪問者的方式，促使甚至是迫使公司改變他們的商業(yè)模式，同時(shí)也改變了組織看待和使用數(shù)據(jù)的方式。

　　轉(zhuǎn)變并不會在一夜之間發(fā)生。從多來源的數(shù)據(jù)采集，到通過深度分析獲取洞察力，之間會是一段并不平坦的征程。毫無疑問，Hadoop等技術(shù)的日趨成熟，讓企業(yè)用戶可以更方便地、在更大的范圍內(nèi)收集業(yè)務(wù)的相關(guān)數(shù)據(jù)，但同時(shí)真正的挑戰(zhàn)也會接踵而至。這就是如何高效地處理多來源的海量數(shù)據(jù)，并且為其找到適合的商業(yè)用途。

　　在過去的一個(gè)月里，我們實(shí)地探訪了三家正在實(shí)際部署大數(shù)據(jù)應(yīng)用的企業(yè)。它們分別是京東（JD.com）、人人游戲和PPTV聚力。這三家互聯(lián)網(wǎng)企業(yè)正在用業(yè)界前沿的數(shù)據(jù)管理思維，展開大數(shù)據(jù)技術(shù)的早期實(shí)踐。同時(shí)，在它們身上也折射出全球互聯(lián)網(wǎng)企業(yè)利用大數(shù)據(jù)的實(shí)際趨勢。全球范圍內(nèi)與之業(yè)務(wù)相類似的在線零售巨頭亞馬遜（Amazon.com）、社交游戲先鋒Zynga、全球最大的在線影片租賃服務(wù)商N(yùn)etflix，同樣處在大數(shù)據(jù)商業(yè)應(yīng)用的最前沿。相關(guān)信息：http://cda.pinggu.org/

　　另外，我們還特別加入了一個(gè)寓技術(shù)于體育競技的輕松案例。網(wǎng)球賽場上細(xì)致入微的數(shù)據(jù)統(tǒng)計(jì)和分析背后，正是大數(shù)據(jù)技術(shù)的鼎力支持。

　　遠(yuǎn)觀不如近臨。大數(shù)據(jù)的價(jià)值實(shí)現(xiàn)之旅已經(jīng)啟程，改變就在我們的身邊發(fā)生！

　　【導(dǎo)讀】

　　京東：PB級數(shù)據(jù)價(jià)值發(fā)現(xiàn)

　　擁有一億用戶、營業(yè)規(guī)模達(dá)數(shù)百億元的大型網(wǎng)絡(luò)零售企業(yè)京東（JD.com），在大數(shù)據(jù)應(yīng)用領(lǐng)域?qū)崿F(xiàn)了分布式架構(gòu)與傳統(tǒng)BI工具的有機(jī)融合。

　　人人游戲：360°客戶視圖很重要

　　作為國內(nèi)最大的網(wǎng)頁游戲和智能手機(jī)游戲的研發(fā)、運(yùn)營和發(fā)行商之一，人人游戲的大數(shù)據(jù)價(jià)值發(fā)現(xiàn)從結(jié)構(gòu)化數(shù)據(jù)集起步，逐步向非結(jié)構(gòu)化數(shù)據(jù)集延伸。

　　PPTV聚力：看得見的大數(shù)據(jù)

　　在全球擁有超3億活躍用戶群體的網(wǎng)絡(luò)電視技術(shù)平臺提供商PPTV聚力，正在使用Hadoop、HBase、Hive、Storm等大數(shù)據(jù)技術(shù)打造個(gè)性化視頻推薦體驗(yàn)，優(yōu)化視頻播放體驗(yàn)，實(shí)現(xiàn)在線廣告的精準(zhǔn)投放。

　　大數(shù)據(jù)助威網(wǎng)球賽

　　從舉世矚目的四大滿貫，到已經(jīng)躋身超級賽事行列的中國網(wǎng)球公開賽，新一代數(shù)據(jù)分析技術(shù)為球迷、球員和教練營造出隨身而行、洞察入微的高科技賽事體驗(yàn)。

　　大數(shù)據(jù)時(shí)代企業(yè)怎么贏？

　　如果你的企業(yè)希望投身大數(shù)據(jù)時(shí)代，現(xiàn)階段最大的挑戰(zhàn)是為海量業(yè)務(wù)數(shù)據(jù)找到商業(yè)用途。

　　京東：PB級數(shù)據(jù)價(jià)值發(fā)現(xiàn)

　　擁有一億用戶、營業(yè)規(guī)模達(dá)數(shù)百億元的大型網(wǎng)絡(luò)零售企業(yè)京東（JD.com），在大數(shù)據(jù)應(yīng)用領(lǐng)域?qū)崿F(xiàn)了分布式架構(gòu)與傳統(tǒng)BI工具的有機(jī)融合。

　　成立于2004年的京東商城（以下簡稱為京東）在2012年的交易金額突破600億元，相當(dāng)于每秒就會產(chǎn)生2000元的交易額。在網(wǎng)絡(luò)零售市場深耕近十年之后，京東也正式邁入了PB級數(shù)據(jù)管理的新時(shí)代。對企業(yè)而言，PB級（1PB=1024TB）的數(shù)據(jù)管理算得上是衡量其數(shù)據(jù)規(guī)模和管理能力的一個(gè)重要標(biāo)尺。目前，全球PB級數(shù)據(jù)管理俱樂部已經(jīng)擁有Facebook、淘寶等重要成員，能夠躋身其中對京東而言是榮譽(yù)，也意味著挑戰(zhàn)。

　　京東副總裁 李曦

　　針對業(yè)務(wù)數(shù)據(jù)快速增長的情況，我們在2012年正式啟動(dòng)了大數(shù)據(jù)平臺的搭建。這個(gè)自主開發(fā)的平臺基于分布式的技術(shù)，支持異構(gòu)數(shù)據(jù)集市，同時(shí)也很好地利用了傳統(tǒng)BI的展現(xiàn)層技術(shù)。京東副總裁李曦說。目前，李曦正帶領(lǐng)著300人的技術(shù)團(tuán)隊(duì)不斷地改進(jìn)和完善京東從數(shù)據(jù)的獲取、平臺搭建、分析到應(yīng)用的電商全流程業(yè)務(wù)數(shù)據(jù)管理工作。在2012年加入京東之前，李曦在美國硅谷工作多年，相繼服務(wù)于Siebel、甲骨文、谷歌等公司。

　　全流程大數(shù)據(jù)管理

　　在數(shù)據(jù)獲取方面，京東對各個(gè)購物頻道的交易數(shù)據(jù)、出入貨數(shù)據(jù)、逆向物流、用戶瀏覽日志等數(shù)據(jù)進(jìn)行了全面的收集，同時(shí)也會從互聯(lián)網(wǎng)上抓取一些商品價(jià)格等業(yè)務(wù)相關(guān)信息。這些數(shù)據(jù)會被匯總和存儲在京東自主研發(fā)的大數(shù)據(jù)平臺之上。這個(gè)平臺支持不同的數(shù)據(jù)集市，例如分布式的數(shù)據(jù)集市，或者是甲骨文、MySQL、微軟SQL Server等關(guān)系型數(shù)據(jù)集市。平臺底層的數(shù)據(jù)存儲和離線批量數(shù)據(jù)運(yùn)算由Hadoop實(shí)現(xiàn)，流式計(jì)算方面則采用的是開源實(shí)時(shí)數(shù)據(jù)處理框架Storm。

　　在承載匯總、存儲和查詢?nèi)蝿?wù)的大數(shù)據(jù)平臺之上是大數(shù)據(jù)分析層，這一層級主要涉及到一些建模的工作。例如針對用戶、商品、商家、促銷、反作弊、風(fēng)險(xiǎn)控制、精準(zhǔn)營銷、運(yùn)營優(yōu)化的數(shù)據(jù)建模等。而這些數(shù)據(jù)模型最終的分析結(jié)果會在應(yīng)用層得以展現(xiàn)。目前，京東已經(jīng)能夠向內(nèi)部和外部用戶提供BI（商業(yè)智能）服務(wù)。

　　其中，內(nèi)部BI系統(tǒng)向從業(yè)務(wù)員到高級管理者的不同層級數(shù)據(jù)消費(fèi)者提供各種門類的業(yè)務(wù)報(bào)表和歷史報(bào)表。而對于在京東售賣貨品的商家，京東數(shù)據(jù)羅盤則可以向他們展現(xiàn)店鋪流量、訂單數(shù)量、實(shí)時(shí)客流等關(guān)鍵業(yè)務(wù)指標(biāo)，以及節(jié)日促銷指數(shù)、價(jià)格彈性、用戶喜好等分析功能。

　　談到傳統(tǒng)BI技術(shù)在大數(shù)據(jù)時(shí)代所扮演的角色，李曦表示，傳統(tǒng)BI手段在大數(shù)據(jù)應(yīng)用環(huán)境中仍然有其價(jià)值，尤其是在呈現(xiàn)能力方面。他說：京東早期的數(shù)據(jù)分析建立在傳統(tǒng)BI之上，它所采用的中央集中式模式會在主機(jī)應(yīng)用層面造成瓶頸，但傳統(tǒng)BI數(shù)據(jù)集中的理念并沒有過時(shí)，特別是其功能強(qiáng)大的呈現(xiàn)工具同樣適用于互聯(lián)網(wǎng)行業(yè)。目前，京東在大數(shù)據(jù)處理的展現(xiàn)層仍在使用甲骨文BIEE等傳統(tǒng)BI工具。

　　作為一家電商企業(yè)，京東的零售業(yè)務(wù)數(shù)據(jù)基本上是結(jié)構(gòu)化的，而用戶訪問行為數(shù)據(jù)又是非結(jié)構(gòu)化的，因此京東全流程數(shù)據(jù)匯總實(shí)際上是把結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)融合起來的過程。李曦說。他表示，這樣的數(shù)據(jù)組成結(jié)構(gòu)實(shí)際影響了京東的大數(shù)據(jù)技術(shù)選擇。在數(shù)據(jù)倉庫層面，京東選擇了可擴(kuò)展性強(qiáng)的分布式架構(gòu)，而在應(yīng)用層將相對發(fā)達(dá)的BI工具加以有效利用，實(shí)現(xiàn)了傳統(tǒng)與創(chuàng)新的融合。

　　大數(shù)據(jù)價(jià)值就在身邊

　　京東對大數(shù)據(jù)的利用不僅體現(xiàn)在內(nèi)部管理和服務(wù)商家方面，如果你是一位顧客，只要訪問JD.com就能感受到大數(shù)據(jù)技術(shù)為您營造出的購物體驗(yàn)。在這里，商品的搜索、推薦都是基于京東大數(shù)據(jù)平臺的實(shí)時(shí)匯總和結(jié)果推送。比方說搜索的排序就可以基于用戶的點(diǎn)擊習(xí)慣、用戶好評度等指標(biāo)進(jìn)行個(gè)性化定制。站內(nèi)廣告和聯(lián)盟廣告的推送也可以根據(jù)相關(guān)的指標(biāo)進(jìn)行定向發(fā)布。

　　李曦表示，經(jīng)過近三年的探索，大數(shù)據(jù)技術(shù)的價(jià)值正在京東業(yè)務(wù)運(yùn)營的不同領(lǐng)域得到逐步的體現(xiàn)?；诖髷?shù)據(jù)的匯總與分析，京東正在不斷完善包含電子郵件、短信、廣告等在內(nèi)的精準(zhǔn)營銷體系。站在業(yè)務(wù)運(yùn)營優(yōu)化角度，大數(shù)據(jù)技術(shù)能夠切實(shí)提升工作效率，為京東帶來直接的成本節(jié)約，并營造出更優(yōu)的客戶體驗(yàn)。

　　人人游戲：360°客戶視圖很重要

　　作為國內(nèi)最大的網(wǎng)頁游戲和智能手機(jī)游戲的研發(fā)、運(yùn)營和發(fā)行商之一，人人游戲的大數(shù)據(jù)價(jià)值發(fā)現(xiàn)從結(jié)構(gòu)化數(shù)據(jù)集起步，逐步向非結(jié)構(gòu)化數(shù)據(jù)集延伸。

　　在驕陽似火的七月，人人游戲的詞云應(yīng)用火熱上線了。所謂詞云，就是先對人人游戲玩家的在線聊天記錄進(jìn)行分詞，匯總之后對玩家行為進(jìn)行分析和展現(xiàn)。目前，詞云已經(jīng)在人人游戲的四款重點(diǎn)游戲中安家落戶，隨后有關(guān)玩家情緒的分析功能（通過關(guān)鍵詞對應(yīng)玩家的情緒指數(shù)）也將上線。人人游戲運(yùn)營平臺總監(jiān)、數(shù)據(jù)中心負(fù)責(zé)人王坤表示，詞云應(yīng)用的上線是人人游戲?qū)Υ髷?shù)據(jù)的利用從結(jié)構(gòu)化數(shù)據(jù)集向非結(jié)構(gòu)化數(shù)據(jù)集延展的重要一步。

　　人人游戲運(yùn)營平臺總監(jiān)、數(shù)據(jù)中心負(fù)責(zé)人 王坤

　　成立于2006年的人人游戲正在努力轉(zhuǎn)型為一家跨PC、平板電腦和手機(jī)終端的多平臺游戲研發(fā)、運(yùn)營和發(fā)行商。從2007年推出第一款網(wǎng)頁游戲《貓游記》至今，人人游戲一步步向著這一目標(biāo)靠近。在此過程中，人人游戲堅(jiān)持在跨屏技術(shù)創(chuàng)新領(lǐng)域的研發(fā)投入，同時(shí)也積極利用大數(shù)據(jù)技術(shù)優(yōu)化整體業(yè)務(wù)運(yùn)營。

　　目前，王坤所領(lǐng)導(dǎo)的30余人的技術(shù)團(tuán)隊(duì)正致力于從包括游戲日志、玩家行為數(shù)據(jù)、日常經(jīng)營數(shù)據(jù)等在內(nèi)的大數(shù)據(jù)集中尋找更好的數(shù)據(jù)利用和展現(xiàn)途經(jīng)，同時(shí)他們還是大數(shù)據(jù)應(yīng)用在企業(yè)內(nèi)部營銷推廣的主力軍。我們要做每個(gè)員工的大數(shù)據(jù)分析，而不僅僅是數(shù)據(jù)中心的大數(shù)據(jù)分析。要做好游戲行業(yè)的大數(shù)據(jù)分析，構(gòu)建360°的用戶視圖非常重要。她說。

　　從0°到360°

　　2009年，人人游戲?qū)τ跇I(yè)務(wù)數(shù)據(jù)的利用還停留在匯總游戲日志數(shù)據(jù)，僅用于簡單分析的階段。而在2013年，人人游戲已經(jīng)基本上完成了基于IBM Cognos的BI系統(tǒng)整體建設(shè)。同時(shí)，其基于Greenplum社區(qū)版的分布式數(shù)據(jù)倉庫也已初具規(guī)模。對人人游戲而言，這些都是獲得360°用戶視圖的必要工作。而360°用戶視圖為其業(yè)務(wù)運(yùn)營和決策所帶來的價(jià)值則是實(shí)實(shí)在在的。

　　BI系統(tǒng)主要是管理結(jié)構(gòu)化的大數(shù)據(jù)，我們搭建了報(bào)表、行動(dòng)和洞察三位一體的閉環(huán)系統(tǒng)，而不僅僅是一個(gè)報(bào)表系統(tǒng)。王坤說。新的BI系統(tǒng)將人人游戲的業(yè)務(wù)模型更加清晰地呈現(xiàn)出來，對游戲業(yè)務(wù)覆蓋用戶獲取、客戶存留、客戶付費(fèi)的核心流程進(jìn)行了優(yōu)化，能夠更準(zhǔn)確地為業(yè)務(wù)決策提供參考。在報(bào)表設(shè)計(jì)方面，王坤所帶領(lǐng)的技術(shù)團(tuán)隊(duì)堅(jiān)持遵循MECE（mutually-exclusive and collectively exhaustive，即相互排斥而又集體窮盡）的分析原則，確保每張報(bào)表都有清楚的存在意義。同時(shí)，BI系統(tǒng)上線后，企業(yè)在開發(fā)和運(yùn)維方面的投入也有所降低。

　　從結(jié)構(gòu)化大數(shù)據(jù)到非結(jié)構(gòu)化大數(shù)據(jù)，數(shù)據(jù)分析范圍和深度的擴(kuò)展，讓我們能夠更準(zhǔn)確地把握玩家的行為和需求。王坤說。以詞云應(yīng)用為例，炸金礦是人人游戲旗下亂世天下這款游戲中玩家參與度很高的一個(gè)玩法，玩家需要邀請一定數(shù)量的友人幫忙炸礦來贏取金幣。但在節(jié)假日期間，這款游戲的參與度通常都會下降。通過‘詞云’分析后發(fā)現(xiàn)，節(jié)假日期間‘求炸’成為玩家的聊天熱詞。我們也因此得知，并不是玩家不愛玩這個(gè)游戲，而是玩家在節(jié)假日邀請不到足夠數(shù)量的友人幫忙炸礦?；谶@樣的分析，我們可以在節(jié)假日期間對游戲規(guī)則進(jìn)行調(diào)整。王坤說。

　　大數(shù)據(jù)的行業(yè)價(jià)值

　　每個(gè)行業(yè)都會有自己的大數(shù)據(jù)故事。在游戲行業(yè)，大數(shù)據(jù)分析可能不會直接帶來電商網(wǎng)站那樣真金白銀的收入，但其價(jià)值同樣會體現(xiàn)在精準(zhǔn)營銷、客戶體驗(yàn)優(yōu)化等多個(gè)層面。王坤說。她指出，全面的大數(shù)據(jù)分析能夠有效提升玩家的留存率和轉(zhuǎn)化指標(biāo)，并且為游戲產(chǎn)品的研發(fā)提供指引。而個(gè)性化的精準(zhǔn)營銷同樣與大數(shù)據(jù)分析緊密相關(guān)，像是針對不同性別、不同年齡、不同地域人群的廣告精準(zhǔn)投放，背后都要依靠基于360°用戶視圖的玩家特征分析。

　　王坤坦言，對人人游戲乃至整個(gè)游戲行業(yè)來說，大數(shù)據(jù)的管理與分析仍然是一件體力活。大數(shù)據(jù)團(tuán)隊(duì)所面臨的最大挑戰(zhàn)是數(shù)據(jù)的整合，把多來源的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)整合在一起，很多企業(yè)還沒有做到。另外，在企業(yè)內(nèi)部和外部找到大數(shù)據(jù)的消費(fèi)者，向他們營銷大數(shù)據(jù)技術(shù)，同樣是一件艱苦的工作。她說。

　　PPTV聚力：看得見的大數(shù)據(jù)

　　在全球擁有超3億活躍用戶群體的網(wǎng)絡(luò)電視技術(shù)平臺提供商PPTV聚力，正在使用Hadoop、HBase、Hive、Storm等大數(shù)據(jù)技術(shù)打造個(gè)性化視頻推薦體驗(yàn)，優(yōu)化視頻播放體驗(yàn)，實(shí)現(xiàn)在線廣告的精準(zhǔn)投放。

　　2012年，根據(jù)有關(guān)統(tǒng)計(jì)顯示，在線視頻已經(jīng)超越社區(qū)交友和搜索服務(wù)躍升為互聯(lián)網(wǎng)第一大應(yīng)用。PPTV聚力目前全平臺月度活躍用戶達(dá)3.4億，每天的活躍用戶超5000萬。這一在線視頻平臺目前每天會產(chǎn)生數(shù)10TB包含用戶行為數(shù)據(jù)、訪問體驗(yàn)數(shù)據(jù)等在內(nèi)的業(yè)務(wù)數(shù)據(jù)，針對在線視頻業(yè)務(wù)運(yùn)營的實(shí)際需要，這些大數(shù)據(jù)每天會被采集、匯總到一個(gè)分布式的技術(shù)平臺上，再被應(yīng)用到不同的業(yè)務(wù)領(lǐng)域之中。

　　PPTV聚力技術(shù)部總經(jīng)理 金昀

　　目前，PPTV聚力已經(jīng)建成的數(shù)百臺服務(wù)器規(guī)模的Hadoop集群是其大數(shù)據(jù)技術(shù)平臺的核心。在其上運(yùn)行著Hive開源數(shù)據(jù)倉庫，基于Storm的分布式實(shí)時(shí)數(shù)據(jù)處理框架也已經(jīng)開始部署。我們每天會從PPTV聚力數(shù)億個(gè)客戶端和分散在各地幾百個(gè)機(jī)房的服務(wù)器端采集日志數(shù)據(jù)，匯總到大數(shù)據(jù)平臺開展數(shù)據(jù)分析。PPTV聚力技術(shù)部總經(jīng)理金昀說。

　　金昀所領(lǐng)導(dǎo)的技術(shù)部中目前有一個(gè)20余人的團(tuán)隊(duì)專門負(fù)責(zé)開放式大數(shù)據(jù)平臺的開發(fā)和運(yùn)維，而PPTV聚力全公司的數(shù)百名技術(shù)人員、產(chǎn)品人員、運(yùn)營人員、數(shù)據(jù)分析師都可以從不同的業(yè)務(wù)角度利用這個(gè)開放平臺做業(yè)務(wù)數(shù)據(jù)分析以及各種數(shù)據(jù)密集性的計(jì)算任務(wù)。畢業(yè)于清華大學(xué)的金昀曾經(jīng)參與永新視博（數(shù)字電視領(lǐng)域創(chuàng)業(yè)企業(yè)）的創(chuàng)立，留美后在美國微軟公司服務(wù)7年，回國后曾服務(wù)于阿里云，2011年加入PPTV聚力。

　　大數(shù)據(jù)優(yōu)化觀看體驗(yàn)

　　對PPTV聚力來說，大數(shù)據(jù)的來源主要包括用戶行為數(shù)據(jù)、工程技術(shù)數(shù)據(jù)，以及后端的業(yè)務(wù)運(yùn)營數(shù)據(jù)。用戶行為數(shù)據(jù)主要來自從客戶端和服務(wù)器端采集的日志數(shù)據(jù)，例如哪個(gè)訪問者看了哪個(gè)視頻、拖動(dòng)次數(shù)等；工程技術(shù)數(shù)據(jù)指的是不同地域用戶觀看視頻的啟動(dòng)時(shí)間、卡頓次數(shù)、卡頓等待時(shí)長等；后端業(yè)務(wù)運(yùn)營數(shù)據(jù)則包含廣告投放的相關(guān)數(shù)據(jù)信息等。

　　這些數(shù)據(jù)組成了PPTV聚力豐富的大數(shù)據(jù)來源，而大數(shù)據(jù)的分析結(jié)果可以直接應(yīng)用于商業(yè)運(yùn)營的調(diào)優(yōu)。比如，我們購買了一部影視劇后，可以精確、實(shí)時(shí)地了解它在不同地區(qū)、不同時(shí)間段被觀看的次數(shù)，以此優(yōu)化我們后端的運(yùn)營策略。另外，通過從不同的客戶端所獲取的訪問連接數(shù)據(jù)，我們可以根據(jù)不同地區(qū)、不同時(shí)段的網(wǎng)絡(luò)連接狀況，用最低的成本向用戶交付流暢的觀看體驗(yàn)。金昀說。

　　像美國同行Netflix一樣，PPTV聚力也在深入研究個(gè)性化的視頻推薦算法。PPTV聚力視頻頁面中的猜你喜歡欄目就是后臺大數(shù)據(jù)分析的成果。視頻網(wǎng)站的用戶通常不會提供詳細(xì)準(zhǔn)確的注冊信息，而且用戶登錄率低，我們無法由此直接獲取用戶特征。因此，我們完全要從用戶的歷史訪問行為進(jìn)行分析和判斷，對其習(xí)慣、喜好進(jìn)行分類和標(biāo)記，最終實(shí)現(xiàn)個(gè)性化的視頻推薦。他說。除了頁面內(nèi)的相關(guān)視頻推薦，PPTV聚力還計(jì)劃基于大數(shù)據(jù)技術(shù)開發(fā)全界面的用戶訪問個(gè)性化定制系統(tǒng)。金昀強(qiáng)調(diào)，視頻與電商、社交等網(wǎng)絡(luò)服務(wù)不同，其客戶行為的分析與預(yù)測具有獨(dú)特的復(fù)雜性。用戶觀看行為的頭部效應(yīng)明顯、長尾效應(yīng)不足，視頻總數(shù)對比用戶數(shù)較低，品類多樣性低，而消費(fèi)成本高，這些都對視頻自動(dòng)推薦的效果產(chǎn)生了很大的挑戰(zhàn)。""""金昀說。同時(shí)他認(rèn)為移動(dòng)端視頻和OTT的高速發(fā)展將會是個(gè)性化視頻推薦的一個(gè)重大發(fā)展機(jī)遇，只有吃透大數(shù)據(jù)的企業(yè)才能真正跟上移動(dòng)視頻發(fā)展的浪潮。

　　滿足廣告主的奇怪需求

　　一段廣告，要求讓某一地域的動(dòng)作片用戶至少觀看三次，但又不能超過5次，否則就不付錢。還有的廣告有三個(gè)版本，用戶在觀看的時(shí)候不能重復(fù)，要遞進(jìn)推送。這樣嚴(yán)苛的要求在傳統(tǒng)的電視廣告平臺上是不可能實(shí)現(xiàn)的。金昀說。不過，對于廣告主而言，這些無疑是一種精準(zhǔn)營銷的合理設(shè)計(jì)，大數(shù)據(jù)分析為PPTV聚力所帶來的另一方面的商業(yè)價(jià)值也體現(xiàn)于此。

　　由于無法直接獲取準(zhǔn)確用戶的特征信息，PPTV聚力的技術(shù)團(tuán)隊(duì)通過對用戶歷史訪問行為的分析自動(dòng)為其添加特征標(biāo)簽，并對具體廣告的承接能力進(jìn)行預(yù)測，以滿足不同廣告主的個(gè)性化需求。金昀表示，基于大數(shù)據(jù)技術(shù)平臺，PPTV聚力已經(jīng)在廣告的定向投放、頻次控制等方面建立了相對成熟的策略和流程，并且注重在廣告精準(zhǔn)投放的同時(shí)，確保用戶的觀看體驗(yàn)。

　　大數(shù)據(jù)助威網(wǎng)球賽事

　　從舉世矚目的四大滿貫，到已經(jīng)躋身超級賽事行列的中國網(wǎng)球公開賽，大數(shù)據(jù)分析技術(shù)為球迷、球員和教練營造出隨身而行、洞察入微的高科技賽事體驗(yàn)。

　　金秋送爽的九月，北京的網(wǎng)球迷們將會在家門口迎來一項(xiàng)年度盛大網(wǎng)球賽事中國網(wǎng)球公開賽。這項(xiàng)已躋身超級賽事行列的賽事一直站在科技與體育結(jié)合的前沿。2006年，中網(wǎng)公開賽成為在美國以外首次使用鷹眼系統(tǒng)的巡回賽。而在2013年，關(guān)注此項(xiàng)賽事的網(wǎng)球迷們將可以通過網(wǎng)站和移動(dòng)終端，享受到先進(jìn)的賽事數(shù)據(jù)分析服務(wù)。

　　競賽數(shù)據(jù)實(shí)時(shí)分析

　　一談到網(wǎng)球這項(xiàng)運(yùn)動(dòng)，體育迷們總是會被其細(xì)致入微的各項(xiàng)技術(shù)統(tǒng)計(jì)所折服。運(yùn)動(dòng)員在場上的每一次揮拍、每一次擊打都可以轉(zhuǎn)化為數(shù)字，用于統(tǒng)計(jì)和分析。伴隨著數(shù)據(jù)種類和來源的擴(kuò)充，網(wǎng)球賽事數(shù)據(jù)分析的顆粒度也在不斷細(xì)化。事實(shí)上，基于大數(shù)據(jù)技術(shù)的賽事數(shù)據(jù)實(shí)時(shí)獲取和分析服務(wù)已經(jīng)在四大滿貫賽事中被廣泛采用。

　　2008年，溫布爾頓網(wǎng)球公開賽（以下簡稱為溫網(wǎng)）引入了IBM SlamTracker平臺。這是一個(gè)可以進(jìn)行實(shí)時(shí)比分統(tǒng)計(jì)和分析的可視化平臺。它可以對每一場比賽的相關(guān)統(tǒng)計(jì)信息（包括比分、回合數(shù)、制勝分、發(fā)球速度、發(fā)球成功率、擊球類型、擊球數(shù)量）等多元數(shù)據(jù)內(nèi)容進(jìn)行采集、分析和分發(fā)。球迷、球員和教練均可以通過賽事官方網(wǎng)站，或者手機(jī)客戶端了解比賽數(shù)據(jù)（如附圖所示）。

　　附圖 溫布爾頓網(wǎng)球公開賽IBM SlamTracker數(shù)據(jù)分析界面

　　2012年，SlamTracker還推出了一項(xiàng)名為Keys to the Match的預(yù)測功能。通過對近八年來大滿貫賽事近萬場比賽、近4100萬個(gè)數(shù)據(jù)點(diǎn)進(jìn)行了采集和分析，SlamTracker可以確定球員的制勝模式和風(fēng)格。在每場比賽開始前，Keys to the Match都會分析雙方球員的歷史交鋒數(shù)據(jù)，為球員制定出比賽致勝的關(guān)鍵指標(biāo)。比賽開始后，雙方球員的指標(biāo)會被實(shí)時(shí)量化，并且與之前制定的關(guān)鍵指標(biāo)進(jìn)行對照，即時(shí)更新球員進(jìn)展。

　　如今，SlamTracker早已成為四大滿貫賽事的一項(xiàng)常規(guī)數(shù)據(jù)服務(wù)。借助SlamTracker，您不再是一個(gè)普通的網(wǎng)球迷，而是一個(gè)擁有全面數(shù)據(jù)洞察視角的超級粉絲。即便未能親臨賽場觀戰(zhàn)，您依然可以收獲獨(dú)特而專業(yè)的觀賽體驗(yàn)。而對球員和教練而言，SlamTracker數(shù)據(jù)分析服務(wù)能夠?yàn)槠滟惽搬槍π圆渴鹛峁?shù)據(jù)參考，也便于賽后分析勝負(fù)的原因。

　　社交輿情感知熱度

　　在移動(dòng)互聯(lián)的時(shí)代，四大滿貫賽事已經(jīng)不再僅僅是運(yùn)動(dòng)的盛宴，同時(shí)也演變?yōu)槿蛐缘纳缃还?jié)日。2012年的溫網(wǎng)在社交媒體上火爆異常。比賽期間，從溫網(wǎng)官方網(wǎng)站到Twitter網(wǎng)站的流量較上年增加了2.05倍，而在男子決賽期間，每秒有超過100條與溫網(wǎng)有關(guān)的微博。而在2013年澳網(wǎng)比賽期間，僅包含#ausope標(biāo)簽的微博就超過了100萬條。這些社交輿情數(shù)據(jù)均由IBM Content Analytics系統(tǒng)監(jiān)測所得。

　　在2013年的溫網(wǎng)中，賽事組委會利用IBM Content Analytics等工具建立了一個(gè)全面的社交輿情視圖，來了解人們在Twitter和Facebook上都在談?wù)撃男┖蜏鼐W(wǎng)有關(guān)的話題。借助分析和自然語言處理技術(shù)，系統(tǒng)每秒可分析超過40條微博，并形成社交對話統(tǒng)一視圖。這樣一來，主辦方就可以實(shí)時(shí)了解全球溫網(wǎng)話題討論熱點(diǎn)，也可以對特定球員的社交影響力做出評估。

　　某種程度上說，數(shù)據(jù)分析正在改變網(wǎng)球賽事的組織和互動(dòng)方式，并催生出新的商業(yè)價(jià)值。借助社交輿情的監(jiān)測與分析手段，賽事的主辦者可以從球迷的情感表達(dá)中洞悉其情緒走向，并將其用于賽事組織的改進(jìn)。同時(shí)，通過社交媒體數(shù)據(jù)對公眾輿論的評估，可以幫助賽事贊助商更加全面、準(zhǔn)確地了解消費(fèi)者的喜好、市場趨勢和品牌認(rèn)知，從而展開精準(zhǔn)營銷，使客戶獲得個(gè)性化的消費(fèi)體驗(yàn)。

　　大數(shù)據(jù)時(shí)代企業(yè)怎么贏？

　　如果你的企業(yè)希望投身大數(shù)據(jù)時(shí)代，現(xiàn)階段最大的挑戰(zhàn)是為海量業(yè)務(wù)數(shù)據(jù)找到商業(yè)用途。

　　在Gartner著名的技術(shù)成熟度曲線中，備受追捧的大數(shù)據(jù)技術(shù)或許還未攀上期望膨脹的頂峰。而在可以想見的未來，泡沫的幻滅或許會引發(fā)一連串的質(zhì)疑。但對于企業(yè)而言，最重要的是不在潮起潮落中迷失自己最初的需求和渴望。無論對技術(shù)的追捧與質(zhì)疑如何激烈，企業(yè)的領(lǐng)導(dǎo)者都需要明確業(yè)務(wù)對數(shù)據(jù)的真正需求，并且清晰地向IT部門進(jìn)行表達(dá)，從而為多來源的海量業(yè)務(wù)數(shù)據(jù)找到真正的商業(yè)用途。

　　業(yè)務(wù)與IT合力價(jià)值發(fā)現(xiàn)

　　過去數(shù)年間，私人投資者和風(fēng)險(xiǎn)投資機(jī)構(gòu)都將巨資投入到PB級別結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲、治理和分析等新興技術(shù)領(lǐng)域。新涌現(xiàn)出的工具讓企業(yè)從Web日志、點(diǎn)擊流、社交媒體、視頻和音頻文檔、機(jī)器傳感器和微博中提取數(shù)據(jù)變得前所未有的容易。在技術(shù)日臻完善的情況下，現(xiàn)階段企業(yè)利用大數(shù)據(jù)的最大難點(diǎn)在于，讓業(yè)務(wù)部門與IT部門相互合作，定義到底哪些非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)是對企業(yè)真正有價(jià)值的數(shù)據(jù)，以及如何對其有效地加以利用。

　　因此，真正的挑戰(zhàn)并不在于技術(shù)，而在于大數(shù)據(jù)商業(yè)價(jià)值的發(fā)現(xiàn)。這一艱巨的任務(wù)需要IT和業(yè)務(wù)部門合力完成。現(xiàn)階段，很多企業(yè)尚未開始對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集和整合，主要原因就是企業(yè)的業(yè)務(wù)管理者不能確認(rèn)大數(shù)據(jù)是否能夠?yàn)槠髽I(yè)帶來實(shí)際的商業(yè)價(jià)值，而并非是出于對創(chuàng)新技術(shù)的不信任。

　　互聯(lián)網(wǎng)行業(yè)具備天生的大數(shù)據(jù)應(yīng)用需求，并且擁有強(qiáng)壯的技術(shù)基因，這使得大數(shù)據(jù)技術(shù)的早期實(shí)踐者多誕生于此。而在金融、電信、制造、醫(yī)療等傳統(tǒng)行業(yè)，大數(shù)據(jù)技術(shù)也正在被重點(diǎn)關(guān)注，相關(guān)的需求梳理已經(jīng)展開，并且有部分企業(yè)進(jìn)入了初級實(shí)踐階段。

　　以金融行業(yè)為例，金融行業(yè)解決方案供應(yīng)商北京先進(jìn)數(shù)通信息技術(shù)有限公司研發(fā)部總經(jīng)理完獻(xiàn)忠就表示，國內(nèi)銀行目前的大數(shù)據(jù)應(yīng)用尚處在初級階段，主要集中在歷史數(shù)據(jù)管理、查詢和使用方面，面向業(yè)務(wù)的分析應(yīng)用項(xiàng)目則處于探索和驗(yàn)證階段。他指出，隨著網(wǎng)上銀行和手機(jī)銀行的普及，并且向互聯(lián)網(wǎng)銀行的過渡，銀行業(yè)傳統(tǒng)上缺乏客戶行為數(shù)據(jù)的情況正在發(fā)生根本的轉(zhuǎn)變，銀行業(yè)具備了通過互聯(lián)網(wǎng)數(shù)據(jù)和機(jī)器數(shù)據(jù)開展有效客戶營銷的條件。

　　大數(shù)據(jù)打開大視野

　　從數(shù)據(jù)世界邁向大數(shù)據(jù)世界，技術(shù)的繼承與創(chuàng)新將會并存。當(dāng)Hadoop、MapReduce成為技術(shù)創(chuàng)新的明星，有人或許會問：大數(shù)據(jù)會終結(jié)BI嗎？的確，新一代的分布式數(shù)據(jù)處理技術(shù)為用戶帶來了新的洞察力，但它們目前仍不能完全解決傳統(tǒng)BI（商業(yè)智能）所能夠解決的問題。我們看到，傳統(tǒng)的BI工具仍被京東這樣的大型互聯(lián)網(wǎng)企業(yè)所使用，其成熟的展現(xiàn)層技術(shù)仍然能在滿足企業(yè)大數(shù)據(jù)分析需求時(shí)發(fā)揮作用。

　　PPTV聚力技術(shù)部總經(jīng)理金昀認(rèn)為，大數(shù)據(jù)分析可以理解為BI在數(shù)據(jù)量大規(guī)模爆發(fā)后的演進(jìn)成果。很多人認(rèn)為，傳統(tǒng)的技術(shù)無法解決大數(shù)據(jù)時(shí)代的問題。但無論是小數(shù)據(jù)時(shí)代還是大數(shù)據(jù)時(shí)代，企業(yè)所面臨的數(shù)據(jù)管理問題都是相同的，即發(fā)掘數(shù)據(jù)之間的內(nèi)在聯(lián)系，催生新的商業(yè)價(jià)值。

　　未來或許會有大數(shù)據(jù)時(shí)代的BI。BI的技術(shù)思維仍會存在，雖然數(shù)據(jù)的采集、存儲和分析方法全都改變了。與傳統(tǒng)BI相比，大數(shù)據(jù)時(shí)代的BI數(shù)據(jù)集成的范圍會更廣，像用戶行為數(shù)據(jù)、銷售數(shù)據(jù)、地理位置信息、團(tuán)購信息、天氣信息等，都可以被集成到一起，通過新的分析與展現(xiàn)方法產(chǎn)生新的價(jià)值。它會帶來更廣、更深邃的洞察力。金昀說。

　　企業(yè)用戶數(shù)據(jù)視野的拓展同樣有賴于IT與業(yè)務(wù)之間緊密協(xié)作。從想象力的激蕩，到構(gòu)想在現(xiàn)實(shí)環(huán)境的落地，注定是一段IT與業(yè)務(wù)攜手而行的旅程。（文章來源：CDA數(shù)據(jù)分析師）