大數(shù)據(jù)平臺(tái)在互聯(lián)網(wǎng)行業(yè)的應(yīng)用

本文是對(duì)大數(shù)據(jù)在互聯(lián)網(wǎng)行業(yè)應(yīng)用的總結(jié)。以實(shí)際經(jīng)驗(yàn)講解了大數(shù)據(jù)從雛形到發(fā)展，以及發(fā)展過(guò)程中傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)到大數(shù)據(jù)平臺(tái)的轉(zhuǎn)化和大數(shù)據(jù)的可視化應(yīng)用。

大數(shù)據(jù)顯雛形——發(fā)展

所有公司在一開(kāi)始時(shí)，數(shù)據(jù)的建設(shè)都是比較落后的，但隨著互聯(lián)網(wǎng)的環(huán)境推動(dòng)，以及公司計(jì)劃2013年在紐約交易所上市，這時(shí)候面臨一個(gè)很大的問(wèn)題。在上市之前，公司的數(shù)據(jù)，無(wú)論是流量數(shù)據(jù)還是財(cái)務(wù)產(chǎn)品數(shù)據(jù)都需要經(jīng)過(guò)非常嚴(yán)格的審計(jì)。為此，我們開(kāi)始整理數(shù)據(jù)，做數(shù)據(jù)報(bào)表，花費(fèi)一年多的時(shí)間做數(shù)據(jù)整理、數(shù)據(jù)規(guī)范，慢慢的大數(shù)據(jù)的平臺(tái)有了雛形。

后來(lái)公司上市之后，數(shù)據(jù)運(yùn)營(yíng)的重點(diǎn)從反映過(guò)去和現(xiàn)在的狀況轉(zhuǎn)變成指導(dǎo)業(yè)務(wù)、管理業(yè)績(jī)、支持銷(xiāo)售。

2015年到2016年這兩年，公司將目標(biāo)投入到數(shù)據(jù)智能上，建立了一個(gè)非常大的系統(tǒng)平臺(tái)，并且讓整個(gè)銷(xiāo)售和產(chǎn)品運(yùn)營(yíng)體系全面實(shí)施數(shù)據(jù)化運(yùn)營(yíng)。在這個(gè)平臺(tái)上，我們不僅僅要進(jìn)行管理銷(xiāo)售，還要構(gòu)建銷(xiāo)售能力模型，預(yù)測(cè)未來(lái)業(yè)績(jī)。因?yàn)樵诿绹?guó)市場(chǎng)的股價(jià)，更多的是依賴公司未來(lái)的發(fā)展，公司未來(lái)預(yù)期決定了公司現(xiàn)在的股價(jià)，因此總共的業(yè)績(jī)預(yù)測(cè)非常重要，能夠非常精確的3   預(yù)測(cè)銷(xiāo)售更加重要。

大數(shù)據(jù)平臺(tái)建設(shè)

公司擁有很多的業(yè)務(wù)數(shù)據(jù)庫(kù)，有訂單、CRM、合同管理、人力資源等數(shù)據(jù)庫(kù)。以往，我們會(huì)把這些數(shù)據(jù)庫(kù)里的數(shù)據(jù)做集成，做一個(gè)簡(jiǎn)單的數(shù)據(jù)倉(cāng)庫(kù)，然后根據(jù)業(yè)務(wù)需求，在數(shù)據(jù)集成的基礎(chǔ)上，通過(guò)帆軟報(bào)表建立一個(gè)決策系統(tǒng)，做數(shù)據(jù)展示，提供服務(wù)。這個(gè)過(guò)程的好處是開(kāi)發(fā)成本低，投入成本低，技術(shù)架構(gòu)簡(jiǎn)單，可以非?？焖俚脑诠緝?nèi)部運(yùn)行起來(lái)。

但是這樣的方式隨著業(yè)務(wù)系統(tǒng)的增多，逐漸開(kāi)始不適用。一是業(yè)務(wù)數(shù)據(jù)多樣化、數(shù)據(jù)未集中管理、有效利用數(shù)據(jù)難度大；數(shù)據(jù)存儲(chǔ)能力受限，無(wú)法追溯較遠(yuǎn)的歷史數(shù)據(jù)。二是很多情況下，不同的產(chǎn)品經(jīng)理和工程師所提的需求是不同的，而且這些不同的需求本身是交織在一起的。因此不同的團(tuán)隊(duì)做出同樣的指標(biāo)，由于數(shù)據(jù)指標(biāo)定義不一致，存在意義相近重復(fù)指標(biāo)的時(shí)候，管理層很難做出決策。三是分析和運(yùn)營(yíng)使用的數(shù)據(jù)渠道完全依賴于自身數(shù)據(jù)的監(jiān)控，這會(huì)導(dǎo)致IT部門(mén)工作壓力較大。

除了以上反映的問(wèn)題，公司在基于未來(lái)發(fā)展情況下又呈現(xiàn)了新一輪的現(xiàn)狀，并提出了以下需求：

l 業(yè)務(wù)的多元化發(fā)展，公司大量的并購(gòu)導(dǎo)致集團(tuán)數(shù)據(jù)量和數(shù)據(jù)需求爆發(fā)式增長(zhǎng)；

l 數(shù)據(jù)網(wǎng)狀流通，基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)指標(biāo)缺少統(tǒng)一的元數(shù)據(jù)管理；

l 為了更好發(fā)掘數(shù)據(jù)價(jià)值，提升數(shù)據(jù)能力、構(gòu)建標(biāo)準(zhǔn)化數(shù)據(jù)體系成為當(dāng)務(wù)之急。

大數(shù)據(jù)平臺(tái)業(yè)務(wù)架構(gòu)

集團(tuán)的業(yè)務(wù)架構(gòu)大體可以分為幾塊內(nèi)容。第一個(gè)是數(shù)據(jù)模型師。主要的工作是做好元數(shù)據(jù)管理，數(shù)據(jù)模型的開(kāi)發(fā)以及建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。第二個(gè)是數(shù)據(jù)開(kāi)發(fā)員，它會(huì)對(duì)接產(chǎn)品，然后去做一些業(yè)務(wù)開(kāi)發(fā)。第三個(gè)是業(yè)務(wù)人員，業(yè)務(wù)人員是運(yùn)營(yíng)、銷(xiāo)售、市場(chǎng)人員，在這個(gè)地方做了很多可視化來(lái)幫助他們做出決策。最后是公司的數(shù)據(jù)分析部門(mén)，他們有很多對(duì)于審計(jì)包括公司一些非常核心的數(shù)據(jù)的分析需求，他們會(huì)通過(guò)獨(dú)立的數(shù)據(jù)查詢系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)多維度分析。

下圖是技術(shù)架構(gòu)，在底層進(jìn)行數(shù)據(jù)存儲(chǔ)，抓取數(shù)據(jù)，并將存儲(chǔ)層的數(shù)據(jù)傳給處理層，在處理層完成業(yè)務(wù)計(jì)算，形成指標(biāo)。然后前端通過(guò)帆軟報(bào)表的應(yīng)用，將數(shù)據(jù)以業(yè)務(wù)報(bào)表的方式進(jìn)行圖形化展示，并在移動(dòng)報(bào)表APP上進(jìn)行展示。

除去這個(gè)，我們還在管理上做了數(shù)據(jù)中心的建設(shè)規(guī)范。然后是數(shù)據(jù)質(zhì)量管理，包括確保數(shù)據(jù)的準(zhǔn)確性，為保證數(shù)據(jù)的及時(shí)性還建立了一個(gè)運(yùn)行和管理規(guī)范。這四塊結(jié)合起來(lái)以保證平臺(tái)的平穩(wěn)運(yùn)行。

大數(shù)據(jù)可視化

數(shù)據(jù)可視化是這個(gè)平臺(tái)最后的一步也是應(yīng)用范圍最廣的一步。這方面，由于我們

1、需求來(lái)源多：團(tuán)隊(duì)需要同時(shí)對(duì)接財(cái)務(wù)部、銷(xiāo)售中心、客服中心、管理層等各級(jí)部門(mén)，且各個(gè)部門(mén)關(guān)注的指標(biāo)千差萬(wàn)別。

2、報(bào)表可視化方式多：需要通過(guò)明細(xì)表、匯總表、鉆取表以及各類圖表來(lái)分別滿足各個(gè)部門(mén)的不同管理職級(jí)的需求，還要給給需求方提供離線報(bào)表、實(shí)時(shí)報(bào)表、郵件&短信推送數(shù)據(jù)等多種渠道。

3、自定義開(kāi)發(fā)多：為了對(duì)接公司內(nèi)部的業(yè)務(wù)系統(tǒng)，需要經(jīng)常自定義開(kāi)發(fā)。

所以，需要一個(gè)滿足這些需求的可視化報(bào)表開(kāi)發(fā)工具。