八大行業(yè)Hadoop大數(shù)據(jù)應(yīng)用回顧和展望

任何新技術(shù)的發(fā)展都會(huì)經(jīng)歷一個(gè)從被公眾了解到最終普遍應(yīng)用的過(guò)程。大數(shù)據(jù)技術(shù)作為一個(gè)新興的數(shù)據(jù)處理技術(shù)，經(jīng)過(guò)了近十年的發(fā)展，剛剛開(kāi)始在各個(gè)行業(yè)得到應(yīng)用。但從媒體和公眾視野中，大數(shù)據(jù)技術(shù)總是帶有神秘的色彩，似乎有著挖掘財(cái)富和預(yù)測(cè)未來(lái)的神奇力量。廣泛流傳的大數(shù)據(jù)應(yīng)用案例包括Target超市根據(jù)女孩的購(gòu)物歷史判斷是否懷孕，信用卡公司根據(jù)用戶在不同時(shí)空的購(gòu)物行為預(yù)測(cè)客戶的下一個(gè)購(gòu)買行為，等等。大數(shù)據(jù)技術(shù)也為我們描繪了一個(gè)個(gè)如“智慧城市”，“智慧交通”和“智慧醫(yī)療”等等的美好夢(mèng)想。這些描述讓大家對(duì)大數(shù)據(jù)技術(shù)充滿了憧憬和美好預(yù)期。

我從2014年的大數(shù)據(jù)應(yīng)用中總結(jié)了兩個(gè)重要的現(xiàn)象或者說(shuō)應(yīng)用趨勢(shì)。第一個(gè)現(xiàn)象是大數(shù)據(jù)技術(shù)優(yōu)先應(yīng)用在采用SQL進(jìn)行結(jié)構(gòu)化數(shù)據(jù)處理上，來(lái)解決數(shù)據(jù)量增大帶來(lái)的處理能力的挑戰(zhàn);這與很多人宣傳的大數(shù)據(jù)技術(shù)最適合處理非結(jié)構(gòu)化數(shù)據(jù)(而不適合結(jié)構(gòu)化數(shù)據(jù)處理)相反。我們發(fā)現(xiàn)企業(yè)面臨兩方面的挑戰(zhàn)，一方面是累積的數(shù)據(jù)量越來(lái)越大，從GB增長(zhǎng)到了TB(擁有PB級(jí)的企業(yè)客戶也有，但是少數(shù))，另一方面，隨著應(yīng)用的增多和復(fù)雜化，計(jì)算能力越來(lái)越不能滿足要求。大多數(shù)企業(yè)多年來(lái)根據(jù)業(yè)務(wù)需求在傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)如DB2或者Oracle上開(kāi)發(fā)自己的應(yīng)用，數(shù)據(jù)量和應(yīng)用的數(shù)量都在快速增加，傳統(tǒng)數(shù)據(jù)庫(kù)運(yùn)行這些應(yīng)用花的時(shí)間越來(lái)越長(zhǎng)，即使只有1TB的數(shù)據(jù)，由于業(yè)務(wù)邏輯的復(fù)雜性，在傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)上運(yùn)行統(tǒng)計(jì)業(yè)務(wù)，也從以前的日?qǐng)?bào)(每日統(tǒng)計(jì))降低到只能做現(xiàn)在的周報(bào)了。這樣的時(shí)效性已經(jīng)大大限制了企業(yè)的生產(chǎn)力。在IT系統(tǒng)日益成為企業(yè)業(yè)務(wù)本身的大趨勢(shì)下，IT系統(tǒng)效率的低下嚴(yán)重影響了企業(yè)的競(jìng)爭(zhēng)力。這些待處理的數(shù)據(jù)都是企業(yè)的結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)，現(xiàn)有的應(yīng)用也都是基于SQL的。這是分布式的SQL on Hadoop技術(shù)發(fā)展的客觀原因，也是星環(huán)科技致力于提升SQL運(yùn)行性能和SQL支持完整程度的一個(gè)現(xiàn)實(shí)需求。

第二個(gè)現(xiàn)象或者需求是對(duì)實(shí)時(shí)時(shí)序數(shù)據(jù)的處理需求日益強(qiáng)烈，特別是隨著傳感器和監(jiān)控設(shè)備等電子儀器的普及，企業(yè)有越來(lái)越多的實(shí)時(shí)數(shù)據(jù)。傳統(tǒng)處理方法是將電子儀器產(chǎn)生的數(shù)據(jù)存入數(shù)據(jù)庫(kù)后再統(tǒng)一分析。隨著設(shè)備的增多和數(shù)據(jù)的增長(zhǎng)，傳統(tǒng)方案的延時(shí)越來(lái)越高。利用流處理技術(shù)在數(shù)據(jù)產(chǎn)生的時(shí)候就進(jìn)行實(shí)時(shí)處理可以極大地提高企業(yè)的反應(yīng)速度和工作效率。2014年星環(huán)科技部署了較多的流處理集群，來(lái)處理從用戶產(chǎn)生的實(shí)時(shí)數(shù)據(jù)到傳感器產(chǎn)生的數(shù)據(jù)。

這兩個(gè)應(yīng)用趨勢(shì)我認(rèn)為在2015年會(huì)變得更加強(qiáng)烈。下文簡(jiǎn)單總結(jié)了過(guò)去一年中在運(yùn)營(yíng)商、金融、物流、工商、交通、能源、廣電和電商等多個(gè)領(lǐng)域中的大數(shù)據(jù)應(yīng)用。

電信運(yùn)營(yíng)商

移動(dòng)互聯(lián)網(wǎng)時(shí)代的運(yùn)營(yíng)商面臨著許多新挑戰(zhàn)。微信等手機(jī)通訊APP的出現(xiàn)侵蝕了運(yùn)營(yíng)商的語(yǔ)音和短信收入，流量業(yè)務(wù)顯得更加重要。另一方面，無(wú)線網(wǎng)絡(luò)服務(wù)是運(yùn)營(yíng)商的核心競(jìng)爭(zhēng)力。近年來(lái)，運(yùn)營(yíng)商正在投入大量資金建設(shè)網(wǎng)絡(luò)來(lái)大力發(fā)展4G。4G網(wǎng)絡(luò)的覆蓋率不高或者質(zhì)量不高導(dǎo)致的4G回落到3G或者2G會(huì)大大降低客戶滿意度。

經(jīng)過(guò)最近一兩年的探索，運(yùn)營(yíng)商在大數(shù)據(jù)平臺(tái)建設(shè)方面總結(jié)了兩個(gè)方向，一是利用大數(shù)據(jù)技術(shù)來(lái)提升運(yùn)營(yíng)效率，同時(shí)探索新的商業(yè)模式和數(shù)據(jù)運(yùn)營(yíng)方式。在過(guò)去的一年中，大數(shù)據(jù)在運(yùn)營(yíng)效率提升方面得到驗(yàn)證，而新的商業(yè)模式仍然在探索中。我們?cè)趶V東移動(dòng)的經(jīng)營(yíng)數(shù)據(jù)分析中應(yīng)用星環(huán)的內(nèi)存計(jì)算技術(shù)成功地將800多個(gè)指標(biāo)的計(jì)算從原先Oracle的30小時(shí)減少到了4小時(shí)，在上海移動(dòng)成功地將流量經(jīng)營(yíng)系統(tǒng)從DB2完整地遷移到了星環(huán)的TDH上，運(yùn)行效率比原先的集群有5倍左右的提升。我們對(duì)SQL的完整支持使得應(yīng)用系統(tǒng)遷移成為可能，而之前合作伙伴曾經(jīng)嘗試過(guò)將應(yīng)用系統(tǒng)遷移到某知名Hadoop發(fā)行版上但沒(méi)有成功。我們正在參與某省電信和某直轄市移動(dòng)的4G網(wǎng)絡(luò)優(yōu)化項(xiàng)目，在這些項(xiàng)目中，我們的合作伙伴在用更高性能的星環(huán)TDH代替?zhèn)鹘y(tǒng)MPP數(shù)據(jù)庫(kù)進(jìn)行網(wǎng)絡(luò)優(yōu)化模型的建立和高速的模型運(yùn)算，一方面發(fā)現(xiàn)網(wǎng)絡(luò)中存在的問(wèn)題，例如信號(hào)回落的問(wèn)題，幫助運(yùn)營(yíng)商快速找出有問(wèn)題的區(qū)域。另一方面通過(guò)TDH提供的完整SQL結(jié)合統(tǒng)計(jì)和機(jī)器學(xué)習(xí)算法，找到最佳的優(yōu)化模型和參數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行細(xì)粒度的精確調(diào)整，以提高網(wǎng)絡(luò)的覆蓋度以及信號(hào)的質(zhì)量。

金融

在2013年到2014年間，國(guó)有銀行以及部分股份制銀行或多或少地進(jìn)行了大數(shù)據(jù)技術(shù)應(yīng)用方面的探索，但是早期的應(yīng)用局限在簡(jiǎn)單的歷史交易查詢以及非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和檢索上，并沒(méi)有對(duì)銀行的關(guān)鍵業(yè)務(wù)產(chǎn)生影響。而大數(shù)據(jù)技術(shù)在銀行的應(yīng)用前景被廣泛傳播，通過(guò)綜合處理銀行自有結(jié)構(gòu)化交易數(shù)據(jù)以及外部互聯(lián)網(wǎng)/政府?dāng)?shù)據(jù)，可以提升精細(xì)化客戶管理水平以及進(jìn)行大數(shù)據(jù)征信降低風(fēng)險(xiǎn)等。這些遠(yuǎn)景在2014年沒(méi)有成為現(xiàn)實(shí)，2015年預(yù)計(jì)將是應(yīng)用探索的一年。但我們?cè)?014年在銀行中實(shí)踐了一些務(wù)實(shí)的應(yīng)用。在這些應(yīng)用中，TDH作為數(shù)據(jù)倉(cāng)庫(kù)的補(bǔ)充，用于提升數(shù)據(jù)分析的效率。同樣受益于我們對(duì)SQL的完整支持，某股份制銀行開(kāi)始把一些復(fù)雜的貸款風(fēng)險(xiǎn)控制邏輯遷移到TDH Hadoop平臺(tái)上進(jìn)行運(yùn)算。這些風(fēng)控模型客戶此前在多個(gè)MPP數(shù)據(jù)庫(kù)和Hadoop發(fā)行版上進(jìn)行過(guò)嘗試，性能或者功能都沒(méi)能滿足他們的要求。從技術(shù)角度來(lái)看，這些分析涉及的數(shù)據(jù)量只有幾個(gè)TB，但是分析業(yè)務(wù)極其復(fù)雜，涉及到近百?gòu)?a href='/map/shishibiao/' style='color:#000;font-size:inherit;'>事實(shí)表和維度表，有些表的寬度甚至超過(guò)了幾萬(wàn)字節(jié)。這個(gè)案例說(shuō)明傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)或者M(jìn)PP數(shù)據(jù)庫(kù)對(duì)于大數(shù)據(jù)場(chǎng)景下的復(fù)雜計(jì)算變得越來(lái)越捉襟見(jiàn)肘，銀行需要一個(gè)更高效的數(shù)據(jù)處理工具。

快遞

快遞行業(yè)IT系統(tǒng)產(chǎn)生的數(shù)據(jù)量和承載的壓力過(guò)去一直沒(méi)有得到大家的關(guān)注。近年來(lái)，快遞行業(yè)的規(guī)模隨著電子商務(wù)的高速發(fā)展出現(xiàn)了快速的擴(kuò)張。巨大的市場(chǎng)需求給快遞公司帶來(lái)了前所未有的挑戰(zhàn)，每年的“雙十一”會(huì)給快遞公司的處理能力施加遠(yuǎn)高于平時(shí)的壓力。因此，怎樣緩解“雙十一”的爆倉(cāng)、避免快件變“慢件”是每個(gè)快遞公司的難題。

如何通過(guò)大數(shù)據(jù)的分析對(duì)快遞流程進(jìn)行改善和優(yōu)化成為一個(gè)值得研究的問(wèn)題，也是快遞業(yè)提高競(jìng)爭(zhēng)力的一個(gè)重要手段。快遞的每一個(gè)生產(chǎn)環(huán)節(jié)都會(huì)產(chǎn)生的大量數(shù)據(jù)，監(jiān)控這些數(shù)據(jù)進(jìn)而對(duì)全國(guó)各處理中心的收寄和運(yùn)載能力、出班投遞計(jì)劃做實(shí)時(shí)優(yōu)化調(diào)整，公司就能降低成本。分析這些數(shù)據(jù)來(lái)對(duì)業(yè)務(wù)發(fā)展的趨勢(shì)做出預(yù)測(cè)，公司就能做好準(zhǔn)備應(yīng)對(duì)暴漲的需求。然而，快遞生產(chǎn)環(huán)節(jié)中的數(shù)據(jù)具有數(shù)據(jù)量大、并發(fā)性高、類型復(fù)雜的特點(diǎn)，上層應(yīng)用對(duì)實(shí)時(shí)性要求很高，傳統(tǒng)數(shù)據(jù)庫(kù)在這樣的情況下捉襟見(jiàn)肘。

我們和華勝天成合作一起為中國(guó)郵政EMS速遞部門部署了大數(shù)據(jù)平臺(tái)，對(duì)它在全國(guó)的攬投部、處理中心和集散中心的數(shù)據(jù)(包括已接收、留存件、已下段、未下段、已投遞、未投遞、攬收員、地址、已封發(fā)、已發(fā)運(yùn)、未發(fā)運(yùn)等等)進(jìn)行處理。大數(shù)據(jù)平臺(tái)將ESB(企業(yè)生產(chǎn)總線)流來(lái)的數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)加載進(jìn)流處理集群以及實(shí)時(shí)數(shù)據(jù)庫(kù)，進(jìn)行實(shí)時(shí)統(tǒng)計(jì)和指標(biāo)監(jiān)測(cè)，并且實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)查詢。這次部署給了客戶簡(jiǎn)單易用的工具來(lái)對(duì)業(yè)務(wù)的每個(gè)環(huán)節(jié)實(shí)時(shí)監(jiān)控，使得他們?cè)诤Ａ康目爝f業(yè)務(wù)中都可以快速精準(zhǔn)地發(fā)現(xiàn)問(wèn)題，如快件的積壓、遺失、破損等，從而提高服務(wù)質(zhì)量。這個(gè)大數(shù)據(jù)平臺(tái)平穩(wěn)支撐了2014年“雙十一”的數(shù)據(jù)處理壓力。未來(lái)該平臺(tái)也可根據(jù)最新的生產(chǎn)數(shù)據(jù)幫助快遞公司調(diào)整和優(yōu)化投遞計(jì)劃，為公司降低成本。

工商

工商部門在建設(shè)國(guó)家的“經(jīng)濟(jì)戶籍庫(kù)”積累了大量的市場(chǎng)主體信息、年檢情況、執(zhí)法數(shù)據(jù)和12315投訴等數(shù)據(jù)。對(duì)這些數(shù)據(jù)的統(tǒng)計(jì)分析可以幫助工商部門理解市場(chǎng)與經(jīng)濟(jì)形勢(shì)。

大數(shù)據(jù)技術(shù)的其中一個(gè)簡(jiǎn)單應(yīng)用是用在數(shù)據(jù)質(zhì)量管理和統(tǒng)計(jì)分析上。由于是人工錄入數(shù)據(jù)，不可避免存在一定出錯(cuò)的概率，雖然概率不大。同時(shí)企業(yè)和個(gè)人的基本信息被分散在幾十張關(guān)系表中，信息存在一定程度的交叉關(guān)聯(lián)。通過(guò)對(duì)數(shù)據(jù)進(jìn)行大規(guī)模交叉比對(duì)和統(tǒng)計(jì)，可以發(fā)現(xiàn)數(shù)據(jù)中隱藏的錯(cuò)誤并及時(shí)得到更正。這個(gè)應(yīng)用使用了星環(huán)的內(nèi)存計(jì)算技術(shù)，全量數(shù)據(jù)的校驗(yàn)和統(tǒng)計(jì)可在十分鐘內(nèi)完成，極大提高了工作效率。

另外，大數(shù)據(jù)技術(shù)也用于市場(chǎng)主體信息的查詢系統(tǒng)中，可以應(yīng)對(duì)上億用戶并發(fā)查詢并在幾百毫秒內(nèi)就返回查詢或搜索結(jié)果。對(duì)企業(yè)歷史快照的查詢可以讓用戶跟蹤企業(yè)變更信息，掌握企業(yè)生命周期的變化規(guī)律。在解決了存儲(chǔ)和查詢問(wèn)題的基礎(chǔ)上，我們還幫助客戶利用圖計(jì)算引擎快速發(fā)現(xiàn)企業(yè)之間和企業(yè)相關(guān)人員之間的關(guān)聯(lián)。通過(guò)對(duì)全庫(kù)數(shù)據(jù)進(jìn)行掃描，確認(rèn)這些企業(yè)基于股權(quán)、任職等方面的關(guān)聯(lián)關(guān)系，建立企業(yè)關(guān)聯(lián)關(guān)系信息庫(kù)。

電力

隨著電力企業(yè)信息化快速建設(shè)和智能電力系統(tǒng)的全面建成，電力數(shù)據(jù)的增長(zhǎng)速度將遠(yuǎn)遠(yuǎn)超出電力企業(yè)的預(yù)期。從發(fā)電側(cè)為例，電力生產(chǎn)自動(dòng)化控制程度的提高，對(duì)諸如壓力、流量和溫度等指標(biāo)的監(jiān)測(cè)精度，頻度和準(zhǔn)確度更高，對(duì)海量數(shù)據(jù)采集處理提出了更高的要求。就用電側(cè)而言，一次采集頻度的提升就會(huì)帶來(lái)數(shù)據(jù)體量的“指數(shù)級(jí)”變化。電力數(shù)據(jù)量的增長(zhǎng)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)某電力部門原先使用的關(guān)系數(shù)據(jù)庫(kù)的處理能力。

我們?cè)?014年主要幫助電力部門處理用電側(cè)的數(shù)據(jù)。我們意外地發(fā)現(xiàn)電力數(shù)據(jù)的統(tǒng)計(jì)分析涉及非常復(fù)雜的SQL運(yùn)算，從技術(shù)角度來(lái)看，大量使用了Oracle的PL/SQL擴(kuò)展語(yǔ)法，包括存儲(chǔ)過(guò)程/控制流/異常處理/增刪查改/事務(wù)處理等。從應(yīng)用角度來(lái)看，這些SQL邏輯主要用于用電量的歷史統(tǒng)計(jì)和用電趨勢(shì)的分析，以及對(duì)線路損耗的計(jì)算。我們協(xié)助客戶通過(guò)機(jī)器學(xué)習(xí)的方法進(jìn)行分析，發(fā)現(xiàn)用電量跟宏觀經(jīng)濟(jì)走勢(shì)以及氣候有一定的相關(guān)性，同時(shí)也跟每個(gè)行業(yè)以及每個(gè)企業(yè)的經(jīng)營(yíng)狀況密切相關(guān)。通過(guò)對(duì)企業(yè)用電量的統(tǒng)計(jì)以及它所處行業(yè)的用電水平的對(duì)比，可以發(fā)現(xiàn)企業(yè)的節(jié)能情況，通過(guò)對(duì)用電歷史數(shù)據(jù)的分析，可以發(fā)現(xiàn)企業(yè)生產(chǎn)活動(dòng)的變化或者節(jié)能措施的效果。某南方供電局采用TDH的平臺(tái)統(tǒng)計(jì)找出節(jié)能環(huán)保的企業(yè)和用電大戶，并對(duì)節(jié)能環(huán)保的企業(yè)給予補(bǔ)貼，目的是對(duì)全社會(huì)節(jié)能減排觀念進(jìn)行引導(dǎo)，推動(dòng)工業(yè)由高耗能的粗放發(fā)展方式向低耗能、高效率的綠色和諧發(fā)展方式轉(zhuǎn)變。

我們還為某電力部門部署了一個(gè)試驗(yàn)性的故障處理系統(tǒng)，我們和合作伙伴建立了統(tǒng)一的配電網(wǎng)供電拓?fù)淠Ｐ?，利用圖數(shù)據(jù)庫(kù)存儲(chǔ)從用戶到變電站的整個(gè)供電拓?fù)渚W(wǎng)絡(luò)數(shù)據(jù)，利用流處理系統(tǒng)進(jìn)行實(shí)時(shí)告警，并實(shí)時(shí)查詢電網(wǎng)拓?fù)鋱D，快速研判停電事故發(fā)生的地點(diǎn)以及影響的范圍。在此基礎(chǔ)上，可以將停電事件通知搶修班組，及時(shí)恢復(fù)供電。同時(shí)可以主動(dòng)告知用戶，加強(qiáng)與用戶互動(dòng)，全面且直觀的掌握全網(wǎng)的停電分布情況。

交通

隨著經(jīng)濟(jì)迅猛發(fā)展，機(jī)動(dòng)車輛不斷增加，全國(guó)性的交通擁堵現(xiàn)象也越來(lái)越嚴(yán)重，如何通過(guò)信息化手段提高交通管理水平和保障道路安全已經(jīng)成為一個(gè)重要的課題。

目前常用的方式是在道路卡口部署數(shù)字監(jiān)控設(shè)備，這些設(shè)備7×24小時(shí)不間斷捕獲圖像和視頻數(shù)據(jù)，并進(jìn)行識(shí)別，一個(gè)省或直轄市每日產(chǎn)生的過(guò)車數(shù)據(jù)有幾千萬(wàn)條記錄。這些數(shù)據(jù)主要用來(lái)為交通管理部門提供實(shí)時(shí)的路況信息，這些信息未來(lái)可以發(fā)布給公眾作為出行的參考信息。同時(shí)協(xié)助管理部門進(jìn)行交通管理，包括對(duì)重點(diǎn)營(yíng)運(yùn)車輛的監(jiān)控，違法車輛的識(shí)別和布控，區(qū)間測(cè)速、套牌分析等實(shí)時(shí)性的分析應(yīng)用。 我們和合作伙伴為某省公安廳交通管理部門部署了全省范圍的交通監(jiān)控系統(tǒng)，采用分布式隊(duì)列實(shí)時(shí)采集全省各個(gè)交通卡口的車輛信息，使用流式計(jì)算集群對(duì)過(guò)車記錄進(jìn)行實(shí)時(shí)統(tǒng)計(jì)和監(jiān)測(cè)，并實(shí)現(xiàn)上述多種實(shí)時(shí)分析應(yīng)用，系統(tǒng)處理信息的端到端延時(shí)在2秒以內(nèi)，較好地提高了交通管理的效率。

當(dāng)然，交通行業(yè)的大數(shù)據(jù)應(yīng)用還處于起步階段，剛剛開(kāi)始或者即將完成大數(shù)據(jù)的集中收集。利用大數(shù)據(jù)技術(shù)的強(qiáng)大分析和挖掘能力，未來(lái)可以顯著提高交通信息的實(shí)時(shí)透明度，提升交通和擁堵管理的水平，降低事故的發(fā)生率，并為城市規(guī)劃提供參考。

廣電

在中國(guó)，廣電系統(tǒng)正經(jīng)歷著數(shù)字化浪潮的沖擊，基于網(wǎng)絡(luò)化的影視播放給傳統(tǒng)廣電運(yùn)營(yíng)商很大挑戰(zhàn)。在此背景下，華數(shù)傳媒敏銳意識(shí)到，要想獲得未來(lái)網(wǎng)絡(luò)化傳媒的生存與競(jìng)爭(zhēng)優(yōu)勢(shì)，現(xiàn)在就必需向用戶傾斜，打造“精準(zhǔn)型”廣電內(nèi)容及傳播運(yùn)營(yíng)商。華數(shù)傳媒需要的數(shù)據(jù)基礎(chǔ)架構(gòu)需要能夠滿足海量、多來(lái)源、多樣性數(shù)據(jù)的存儲(chǔ)、管理要求，支持平臺(tái)硬件的線性擴(kuò)展，并提供快速實(shí)時(shí)的數(shù)據(jù)分析結(jié)果，迅速作用于業(yè)務(wù)。華數(shù)傳媒選擇了我們?yōu)槠洳渴鹆舜髷?shù)據(jù)平臺(tái)，在其之上開(kāi)發(fā)了數(shù)字電視分析系統(tǒng)。該系統(tǒng)可以提供基于全量數(shù)據(jù)的實(shí)時(shí)榜單。以時(shí)間(小時(shí)/天/周)、用戶等維度，對(duì)點(diǎn)播節(jié)目、直播節(jié)目、節(jié)目類別、搜索關(guān)鍵詞等進(jìn)行排名分析、同比環(huán)比分析、趨勢(shì)分析等。系統(tǒng)還可以從時(shí)間、頻道、影片類型、劇集等維度，根據(jù)在看數(shù)量、新增數(shù)量、結(jié)束觀看數(shù)量、完整看完等分析用戶走向。另外，通過(guò)對(duì)用戶行為數(shù)據(jù)的采集分析，華數(shù)傳媒可以對(duì)客戶進(jìn)行精準(zhǔn)畫像，使用智能推薦引擎，系統(tǒng)可以先于觀眾知道他們需求，預(yù)知將受到追捧的電視，為每一個(gè)用戶量身定做推薦節(jié)目，以提高了產(chǎn)品的到達(dá)率，增強(qiáng)用戶忠誠(chéng)度。另外，系統(tǒng)還可通過(guò)觀眾對(duì)演員、情節(jié)、基調(diào)、類型等元數(shù)據(jù)的標(biāo)簽化，來(lái)了解受眾偏好，從而進(jìn)行分析觀測(cè)，為后續(xù)的影視制作等內(nèi)容開(kāi)發(fā)做好準(zhǔn)備。得益于基于大數(shù)據(jù)平臺(tái)的數(shù)字電視分析系統(tǒng)，華數(shù)傳媒正在進(jìn)行從內(nèi)容傳輸?shù)絻?nèi)容制造的“華麗轉(zhuǎn)身”。

電子商務(wù)

在電子商務(wù)領(lǐng)域，大數(shù)據(jù)可以說(shuō)已經(jīng)成為業(yè)務(wù)支撐的關(guān)鍵技術(shù)，在營(yíng)銷推廣、客戶關(guān)懷等眾多環(huán)節(jié)發(fā)揮重要作用。我們和錦江電商合作，利用大數(shù)據(jù)平臺(tái)為該電商打造了產(chǎn)品推薦系統(tǒng)。我們基于大數(shù)據(jù)平臺(tái)建設(shè)了客戶標(biāo)簽體系。依托該電商大量的會(huì)員和訪客，深度學(xué)習(xí)和挖掘客戶的行為數(shù)據(jù)，依據(jù)RFM模型和客戶信息，形成客戶消費(fèi)喜好、客戶年齡、家庭狀況、甚至星座、屬相、消費(fèi)頻次、金額、出行方式等等信息計(jì)入客戶標(biāo)簽。再將客戶標(biāo)簽聚類分析，形成客戶分群。如此，便能精準(zhǔn)獲取客戶群體，實(shí)施精準(zhǔn)營(yíng)銷。同時(shí)，我們還協(xié)助客戶建設(shè)了產(chǎn)品標(biāo)簽體系。依據(jù)酒店與旅游等各類型產(chǎn)品特征，建設(shè)和挖掘產(chǎn)品標(biāo)簽，并經(jīng)過(guò)一定的機(jī)器學(xué)習(xí)挖掘過(guò)程，將客戶標(biāo)簽和產(chǎn)品標(biāo)簽對(duì)接，根據(jù)各類標(biāo)簽分析權(quán)重，建設(shè)智能化推薦系統(tǒng)。

該推薦系統(tǒng)可以智能化推薦產(chǎn)品，正逐步成為針對(duì)電商的會(huì)員關(guān)懷體系和精準(zhǔn)服務(wù)體系中重要的基礎(chǔ)環(huán)節(jié)。

總結(jié)和展望

總結(jié)了一下2014年的Hadoop大數(shù)據(jù)行業(yè)應(yīng)用，有些應(yīng)用可能是大家之前沒(méi)有預(yù)想到的簡(jiǎn)單應(yīng)用，有些則是復(fù)雜的數(shù)據(jù)分析和挖掘類應(yīng)用。大數(shù)據(jù)技術(shù)本身是一個(gè)全新的數(shù)據(jù)處理和分析技術(shù)，擁有超過(guò)現(xiàn)有技術(shù)的強(qiáng)大處理能力和深度挖掘數(shù)據(jù)的能力，然而技術(shù)本身帶來(lái)的價(jià)值需要通過(guò)上層應(yīng)用來(lái)展現(xiàn)，因此如何應(yīng)用這些能力來(lái)解決現(xiàn)實(shí)的問(wèn)題是各個(gè)行業(yè)都在探索的課題。在2015年預(yù)計(jì)會(huì)有大量的基于大數(shù)據(jù)技術(shù)的創(chuàng)新應(yīng)用涌現(xiàn)出來(lái)。

同時(shí)在過(guò)去的一年中，大數(shù)據(jù)技術(shù)已經(jīng)證明可以大幅提升運(yùn)營(yíng)效率，我們預(yù)計(jì)將來(lái)的一年內(nèi)，利用SQL on Hadoop技術(shù)解決企業(yè)面臨的數(shù)據(jù)量大難算的難題會(huì)成為一個(gè)普遍的應(yīng)用趨勢(shì)，隨著SQL支持程度的不斷完善和性能的不斷提升，企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)進(jìn)行結(jié)構(gòu)化數(shù)據(jù)處理，以提升運(yùn)營(yíng)效率和解放生產(chǎn)力，將得到立竿見(jiàn)影的效果。

2014年是大數(shù)據(jù)技術(shù)開(kāi)始落地的一年，我們看到了市場(chǎng)對(duì)大數(shù)據(jù)技術(shù)和產(chǎn)品的巨大需求。我們對(duì)2016年和以后的大數(shù)據(jù)發(fā)展都十分看好。大數(shù)據(jù)快速發(fā)展的趨勢(shì)會(huì)持續(xù)很長(zhǎng)一段時(shí)間，數(shù)據(jù)中還有太多價(jià)值沒(méi)有被挖掘出來(lái)，會(huì)有越來(lái)越多的企業(yè)、政府機(jī)構(gòu)和公益組織需要大數(shù)據(jù)解決方案。普及優(yōu)秀的大數(shù)據(jù)產(chǎn)品幫助大眾解決數(shù)據(jù)處理的難題，讓我們共同努力!