
大數(shù)據(jù)平臺在互聯(lián)網(wǎng)行業(yè)的應(yīng)用
本文是對大數(shù)據(jù)在互聯(lián)網(wǎng)行業(yè)應(yīng)用的總結(jié)。以實(shí)際經(jīng)驗(yàn)講解了大數(shù)據(jù)從雛形到發(fā)展,以及發(fā)展過程中傳統(tǒng)數(shù)據(jù)倉庫到大數(shù)據(jù)平臺的轉(zhuǎn)化和大數(shù)據(jù)的可視化應(yīng)用。
大數(shù)據(jù)顯雛形——發(fā)展
所有公司在一開始時,數(shù)據(jù)的建設(shè)都是比較落后的,但隨著互聯(lián)網(wǎng)的環(huán)境推動,以及公司計(jì)劃2013年在紐約交易所上市,這時候面臨一個很大的問題。在上市之前,公司的數(shù)據(jù),無論是流量數(shù)據(jù)還是財(cái)務(wù)產(chǎn)品數(shù)據(jù)都需要經(jīng)過非常嚴(yán)格的審計(jì)。為此,我們開始整理數(shù)據(jù),做數(shù)據(jù)報(bào)表,花費(fèi)一年多的時間做數(shù)據(jù)整理、數(shù)據(jù)規(guī)范,慢慢的大數(shù)據(jù)的平臺有了雛形。
后來公司上市之后,數(shù)據(jù)運(yùn)營的重點(diǎn)從反映過去和現(xiàn)在的狀況轉(zhuǎn)變成指導(dǎo)業(yè)務(wù)、管理業(yè)績、支持銷售。
2015年到2016年這兩年,公司將目標(biāo)投入到數(shù)據(jù)智能上,建立了一個非常大的系統(tǒng)平臺,并且讓整個銷售和產(chǎn)品運(yùn)營體系全面實(shí)施數(shù)據(jù)化運(yùn)營。在這個平臺上,我們不僅僅要進(jìn)行管理銷售,還要構(gòu)建銷售能力模型,預(yù)測未來業(yè)績。因?yàn)樵诿绹袌龅墓蓛r(jià),更多的是依賴公司未來的發(fā)展,公司未來預(yù)期決定了公司現(xiàn)在的股價(jià),因此總共的業(yè)績預(yù)測非常重要,能夠非常精確的3 預(yù)測銷售更加重要。
大數(shù)據(jù)平臺建設(shè)
公司擁有很多的業(yè)務(wù)數(shù)據(jù)庫,有訂單、CRM、合同管理、人力資源等數(shù)據(jù)庫。以往,我們會把這些數(shù)據(jù)庫里的數(shù)據(jù)做集成,做一個簡單的數(shù)據(jù)倉庫,然后根據(jù)業(yè)務(wù)需求,在數(shù)據(jù)集成的基礎(chǔ)上,通過帆軟報(bào)表建立一個決策系統(tǒng),做數(shù)據(jù)展示,提供服務(wù)。這個過程的好處是開發(fā)成本低,投入成本低,技術(shù)架構(gòu)簡單,可以非常快速的在公司內(nèi)部運(yùn)行起來。
但是這樣的方式隨著業(yè)務(wù)系統(tǒng)的增多,逐漸開始不適用。一是業(yè)務(wù)數(shù)據(jù)多樣化、數(shù)據(jù)未集中管理、有效利用數(shù)據(jù)難度大;數(shù)據(jù)存儲能力受限,無法追溯較遠(yuǎn)的歷史數(shù)據(jù)。二是很多情況下,不同的產(chǎn)品經(jīng)理和工程師所提的需求是不同的,而且這些不同的需求本身是交織在一起的。因此不同的團(tuán)隊(duì)做出同樣的指標(biāo),由于數(shù)據(jù)指標(biāo)定義不一致,存在意義相近重復(fù)指標(biāo)的時候,管理層很難做出決策。三是分析和運(yùn)營使用的數(shù)據(jù)渠道完全依賴于自身數(shù)據(jù)的監(jiān)控,這會導(dǎo)致IT部門工作壓力較大。
除了以上反映的問題,公司在基于未來發(fā)展情況下又呈現(xiàn)了新一輪的現(xiàn)狀,并提出了以下需求:
l 業(yè)務(wù)的多元化發(fā)展,公司大量的并購導(dǎo)致集團(tuán)數(shù)據(jù)量和數(shù)據(jù)需求爆發(fā)式增長;
l 數(shù)據(jù)網(wǎng)狀流通,基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)指標(biāo)缺少統(tǒng)一的元數(shù)據(jù)管理;
l 為了更好發(fā)掘數(shù)據(jù)價(jià)值,提升數(shù)據(jù)能力、構(gòu)建標(biāo)準(zhǔn)化數(shù)據(jù)體系成為當(dāng)務(wù)之急。
大數(shù)據(jù)平臺業(yè)務(wù)架構(gòu)
集團(tuán)的業(yè)務(wù)架構(gòu)大體可以分為幾塊內(nèi)容。第一個是數(shù)據(jù)模型師。主要的工作是做好元數(shù)據(jù)管理,數(shù)據(jù)模型的開發(fā)以及建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。第二個是數(shù)據(jù)開發(fā)員,它會對接產(chǎn)品,然后去做一些業(yè)務(wù)開發(fā)。第三個是業(yè)務(wù)人員,業(yè)務(wù)人員是運(yùn)營、銷售、市場人員,在這個地方做了很多可視化來幫助他們做出決策。最后是公司的數(shù)據(jù)分析部門,他們有很多對于審計(jì)包括公司一些非常核心的數(shù)據(jù)的分析需求,他們會通過獨(dú)立的數(shù)據(jù)查詢系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)多維度分析。
下圖是技術(shù)架構(gòu),在底層進(jìn)行數(shù)據(jù)存儲,抓取數(shù)據(jù),并將存儲層的數(shù)據(jù)傳給處理層,在處理層完成業(yè)務(wù)計(jì)算,形成指標(biāo)。然后前端通過帆軟報(bào)表的應(yīng)用,將數(shù)據(jù)以業(yè)務(wù)報(bào)表的方式進(jìn)行圖形化展示,并在移動報(bào)表APP上進(jìn)行展示。
除去這個,我們還在管理上做了數(shù)據(jù)中心的建設(shè)規(guī)范。然后是數(shù)據(jù)質(zhì)量管理,包括確保數(shù)據(jù)的準(zhǔn)確性,為保證數(shù)據(jù)的及時性還建立了一個運(yùn)行和管理規(guī)范。這四塊結(jié)合起來以保證平臺的平穩(wěn)運(yùn)行。
大數(shù)據(jù)可視化
數(shù)據(jù)可視化是這個平臺最后的一步也是應(yīng)用范圍最廣的一步。這方面,由于我們
1、需求來源多:團(tuán)隊(duì)需要同時對接財(cái)務(wù)部、銷售中心、客服中心、管理層等各級部門,且各個部門關(guān)注的指標(biāo)千差萬別。
2、報(bào)表可視化方式多:需要通過明細(xì)表、匯總表、鉆取表以及各類圖表來分別滿足各個部門的不同管理職級的需求,還要給給需求方提供離線報(bào)表、實(shí)時報(bào)表、郵件&短信推送數(shù)據(jù)等多種渠道。
3、自定義開發(fā)多:為了對接公司內(nèi)部的業(yè)務(wù)系統(tǒng),需要經(jīng)常自定義開發(fā)。
所以,需要一個滿足這些需求的可視化報(bào)表開發(fā)工具。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03