前言，這個(gè)數(shù)據(jù)平臺(tái)發(fā)展史僅是自己經(jīng)歷過由傳統(tǒng)數(shù)據(jù)平臺(tái)到互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)發(fā)展一些簡單回憶，文章引用了歷史項(xiàng)目&平臺(tái)規(guī)劃架構(gòu)，在這里不做更深入描述。
我是從2000年開始接觸數(shù)據(jù)倉庫，大約08年開始進(jìn)入互聯(lián)網(wǎng)行業(yè)，那時(shí)在互聯(lián)網(wǎng)接觸到數(shù)據(jù)平臺(tái)與傳統(tǒng)第三代數(shù)據(jù)架構(gòu)還是有很大的類似之處，隨著互聯(lián)網(wǎng)的突飛猛進(jìn)，每一次的技術(shù)變革都帶來一場從技術(shù)、架構(gòu)、業(yè)務(wù)的漸進(jìn)式變革，到今天互聯(lián)網(wǎng)、非互聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)架構(gòu)已經(jīng)差異非常大。
回顧早期的企業(yè)環(huán)境，企業(yè)的生產(chǎn)與服務(wù)是一個(gè)很長周期，導(dǎo)致業(yè)務(wù)數(shù)據(jù)呈現(xiàn)一種粗粒度模式。隨著互聯(lián)網(wǎng)的快速滲透從早期的PC終端到“襠下“的 移動(dòng)終端，對用戶的需求與服務(wù)周期將逐漸的縮短，業(yè)務(wù)量級、數(shù)據(jù)類型多樣化與存儲(chǔ)的暴增，對應(yīng)著技術(shù)、架構(gòu)、業(yè)務(wù)呈現(xiàn)出迅猛發(fā)展，相應(yīng)的數(shù)據(jù)沉淀與積累也成指數(shù)暴漲。
從”數(shù)據(jù)倉庫“ 詞開始到現(xiàn)在的“大數(shù)據(jù)”，中間經(jīng)歷了太多的知識、架構(gòu)模式的演進(jìn)與變革，比如說“數(shù)據(jù)倉庫、海量數(shù)據(jù)、大數(shù)據(jù)”等。(備注：數(shù)據(jù)倉庫一般指的是：在相當(dāng)長的時(shí)間內(nèi)堆積數(shù)據(jù)，僅僅需要處理大量數(shù)據(jù)請求中的少部分的系統(tǒng)。數(shù)據(jù)倉庫不等同于“海量數(shù)據(jù)” 。恰恰相反，而是其子集。海量數(shù)據(jù)也包含：通過大量的連接提供每秒百萬次服務(wù)請求的系統(tǒng)。大數(shù)據(jù)是海量數(shù)據(jù)+復(fù)雜類型數(shù)據(jù)基礎(chǔ)上的大分析、高寬帶、大內(nèi)容)。
數(shù)據(jù)倉庫在國外的發(fā)展史多年，大約在98-99年左右進(jìn)入中國，到現(xiàn)在歷了大約十多年發(fā)展。到了今天尤其是在非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)企業(yè)兩個(gè)領(lǐng)域數(shù)據(jù)平臺(tái)有顯著的區(qū)別。本文將以非互聯(lián)網(wǎng)時(shí)代、互聯(lián)網(wǎng)時(shí)代數(shù)據(jù)平臺(tái)發(fā)展角度來講述。
很多從傳統(tǒng)企業(yè)數(shù)據(jù)平臺(tái)轉(zhuǎn)到互聯(lián)網(wǎng)同學(xué)是否有感覺，非互聯(lián)網(wǎng)企業(yè)、互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)平臺(tái)所面向用戶群體是不同的?這兩類的數(shù)據(jù)平臺(tái)的建設(shè)、使用用戶又有變化?數(shù)據(jù)模型設(shè)計(jì)又有什么不同呢?
我們先來看用戶群體的區(qū)別，下邊整理了2個(gè)圖來講述用戶群體相關(guān)區(qū)別。
一、用戶群體
非互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)用戶：

企業(yè)的boss、運(yùn)營的需求主要是依賴于報(bào)表、商業(yè)智能團(tuán)隊(duì)的數(shù)據(jù)分析師去各種分析與挖掘探索;
支撐這些人是ETL開發(fā)工程師、數(shù)據(jù)模型建模、數(shù)據(jù)架構(gòu)師、報(bào)表設(shè)計(jì)人員，同時(shí)這些角色又是數(shù)據(jù)平臺(tái)數(shù)據(jù)建設(shè)與使用方。
數(shù)據(jù)平臺(tái)的技術(shù)框架與工具實(shí)現(xiàn)主要有技術(shù)架構(gòu)師、JAVA開發(fā)等。
用戶面對是結(jié)構(gòu)化生產(chǎn)系統(tǒng)數(shù)據(jù)源。
互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)用戶：

1.互聯(lián)網(wǎng)企業(yè)中員工年齡比非互聯(lián)網(wǎng)企業(yè)的要年輕、受教育程度、對計(jì)算機(jī)的焦慮程度明顯比傳統(tǒng)企業(yè)要低、還偶遇其它各方面的緣故，導(dǎo)致了數(shù)據(jù)平臺(tái)所面對用戶群體與非互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)有所差異化;
2.互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)的使用與建設(shè)方是來自各方面的人，數(shù)據(jù)平臺(tái)又是技術(shù)、數(shù)據(jù)產(chǎn)品推進(jìn)建設(shè)的。
3.分析師參與數(shù)據(jù)平臺(tái)直接建設(shè)比重增加。
4.原有的數(shù)據(jù)倉庫開發(fā)與模型架構(gòu)師的職能也從建設(shè)平臺(tái)轉(zhuǎn)為服務(wù)與咨詢.
5.用戶面對是數(shù)據(jù)源多樣化，比如日志、生產(chǎn)數(shù)據(jù)庫的數(shù)據(jù)、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù) 。
從這用戶群體角度來說這非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)用戶差異性是非常明顯，互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)中很多理論與名詞都是從傳統(tǒng)數(shù)據(jù)平臺(tái)傳遞過來的，本文將會(huì)分別闡述非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)區(qū)別。

非互聯(lián)網(wǎng)時(shí)代
自從數(shù)據(jù)倉庫發(fā)展起來到現(xiàn)在，基本上可以分為五個(gè)時(shí)代、四種架構(gòu)(大家可以詳細(xì)翻一下數(shù)據(jù)倉庫的發(fā)展歷史，在這里僅作科普性介紹)
1.約在1991年前的全企業(yè)集成
2.1991年后的企業(yè)數(shù)據(jù)集成EDW時(shí)代
3.1994年-1996年的數(shù)據(jù)集市
4.1996-1997年左右的兩個(gè)架構(gòu)吵架
5.1998年-2001年左右的合并年代
五個(gè)時(shí)代劃分是以重要事件或代表人物為標(biāo)志，比如說在企業(yè)數(shù)據(jù)集成EDW時(shí)代其重要代表人物是Bill Inmon 代表作數(shù)據(jù)倉庫一書，更重要是他提出了如何建設(shè)數(shù)據(jù)倉庫的指導(dǎo)性意見與原則。他遵循的是自上而下的建設(shè)原則，這個(gè)導(dǎo)致后來數(shù)據(jù)倉庫在千禧年傳到中國后的幾年內(nèi)，幾個(gè)大實(shí)施廠商都是遵守該原則的實(shí)施方法，后來的數(shù)據(jù)倉庫之路等各種專業(yè)論壇上針對數(shù)據(jù)倉庫ODS-EDW的結(jié)構(gòu)討論(備注：壇子里有個(gè)叫吳君，他發(fā)表了不少這方面的文章)。
在國內(nèi)項(xiàng)目實(shí)施中IBM、Terdata、埃森哲、菲奈特(被東南收購，東南后來某些原因而倒閉)等很多專業(yè)廠商在實(shí)施中對ODS層、EDW層都賦予了各種不同的功能與含義。
在數(shù)據(jù)集市年代其代表人物是Ralph kilmball，他的代表作是”The Data Warehouse Toolkit“，在數(shù)據(jù)倉庫的建設(shè)上Ralph kilmball 提出的是自下而上的建設(shè)方法，剛好與Bill Innmon的建設(shè)方法相反，這兩種架構(gòu)方式各有千秋，所以就進(jìn)入了爭吵時(shí)代。
我整理了一個(gè)表格是這兩位大師的優(yōu)缺點(diǎn)：

隨著數(shù)據(jù)倉庫的不斷實(shí)踐與迭代發(fā)展，從爭吵期進(jìn)入到了合并的時(shí)代，其實(shí)爭吵的結(jié)果要麼一方妥協(xié)，要麼新的結(jié)論出現(xiàn)，果然Bill inmon與 Ralph kilmball的爭吵沒有結(jié)論，干脆提出一種新的架構(gòu)包含對方，也就是后來Bill Inmon 提出的CIF(corporation information factory) 架構(gòu)模式、這也算是數(shù)據(jù)倉庫的第三代架構(gòu)，其架構(gòu)特點(diǎn)是把整個(gè)架構(gòu)劃分為不同層次，把每一層次的定義與功能都詳細(xì)的描述下來，從04年后國內(nèi)的很多數(shù)據(jù)倉庫架構(gòu)、甚至互聯(lián)網(wǎng)剛開始搞數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫架構(gòu)模式也是這一種。

數(shù)據(jù)倉庫第一代架構(gòu)
(開發(fā)時(shí)間2001-2002年)
海爾集團(tuán)的一個(gè)BI項(xiàng)目，架構(gòu)的ETL 使用的是微軟的數(shù)據(jù)抽取加工工具 DTS，老人使用過微軟的DTS 知道有哪些弊端，后便給出了幾個(gè)DTS的截圖。
功能：進(jìn)銷存分析、閉環(huán)控制分析、工貿(mào)分析等
硬件環(huán)境：
業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫：DB2 for Windows,SQL SERVER2000,ORACLE8I
中央數(shù)據(jù)庫服務(wù)器：4*EXON,2G,4*80GSCSI
OLAP 服務(wù)器：2*PIV1GHZ,2G,2*40GSCSI

數(shù)據(jù)倉庫第二代架構(gòu)

這是上海通用汽車的一個(gè)數(shù)據(jù)平臺(tái)，別看復(fù)雜，嚴(yán)格意義上來講這是一套EDW的架構(gòu)、在EDS數(shù)據(jù)倉庫中采用的是準(zhǔn)三范式的建模方式去構(gòu)建的、大約涉及到十幾種數(shù)據(jù)源，建模中按照某一條主線把數(shù)據(jù)都集成起來
這個(gè)數(shù)據(jù)倉庫平臺(tái)計(jì)劃三年的時(shí)間構(gòu)建完畢，第一階段計(jì)劃構(gòu)建統(tǒng)統(tǒng)一生性周期視圖、客戶統(tǒng)一視圖的數(shù)據(jù)，完成對數(shù)據(jù)質(zhì)量的摸底與部分實(shí)施為業(yè)務(wù)分析與信息共享提供基礎(chǔ)平臺(tái)。第二階段是完成主要業(yè)務(wù)數(shù)據(jù)集成與視圖統(tǒng)一，初步實(shí)現(xiàn)企業(yè)績效管理。第三階段全面完善企業(yè)級數(shù)據(jù)倉庫，實(shí)現(xiàn)核心業(yè)務(wù)的數(shù)據(jù)統(tǒng)一。
在第一階段數(shù)據(jù)倉庫中的數(shù)據(jù)再次通過階梯型高度聚合進(jìn)入到數(shù)據(jù)集市DM(非挖掘集市)中，完成對業(yè)務(wù)的支撐。
數(shù)據(jù)的ETL 采用datastage 工具開發(fā)(備注 大約06年我寫了國內(nèi)最早的版本datastage 指南 大約190頁叫“datastage 學(xué)習(xí)版文檔”。后來沒再堅(jiān)持下來)。
數(shù)據(jù)集市架構(gòu)

這個(gè)是國內(nèi)某銀行的一套數(shù)據(jù)集市，這是一個(gè)典型數(shù)據(jù)集市的架構(gòu)模式、面向客戶經(jīng)理部門的考慮分析。
數(shù)據(jù)倉庫混合性架構(gòu)(Cif)

這是太平洋保險(xiǎn)的數(shù)據(jù)平臺(tái)，目前為止我認(rèn)識的很多人都在該項(xiàng)目中呆過，當(dāng)然是保險(xiǎn)類的項(xiàng)目。
回過頭來看該平臺(tái)架構(gòu)顯然是一個(gè)混合型的數(shù)據(jù)倉庫架構(gòu)。它有混合數(shù)據(jù)倉庫的經(jīng)典結(jié)構(gòu)，每一個(gè)層次功能定義的非常明確。
ODS層支撐單一的客戶視圖，是一個(gè)偏操作行的做唯一客戶識別的，同時(shí)提供高可用戶性客戶主信息查詢。
EDW層基于IIW(IBM的通用模型去整理與實(shí)施)最細(xì)粒度、原子、含歷史的數(shù)據(jù)，也支持查詢。
各業(yè)務(wù)數(shù)據(jù)集市(DM) 面向詳細(xì)業(yè)務(wù)，采用雪花/星型模型去做設(shè)計(jì)的支撐OLAP、Report、儀表盤等數(shù)據(jù)展現(xiàn)方式。
新一代架構(gòu)OPDM 操作型數(shù)據(jù)集市(倉庫)
OPDM大約是在2011年提出來的，嚴(yán)格上來說，OPDM 操作型數(shù)據(jù)集市(倉庫)是實(shí)時(shí)數(shù)據(jù)倉庫的一種，他更多的是面向操作型數(shù)據(jù)而非歷史數(shù)據(jù)查詢與分析。
在這里很多人會(huì)問到什么是操作型數(shù)據(jù)?首先來看操作型數(shù)據(jù)支持的企業(yè)日常運(yùn)作的比如財(cái)務(wù)系統(tǒng)、Crm系統(tǒng)、營銷系統(tǒng)生產(chǎn)系統(tǒng)，通過某一種機(jī)制實(shí)時(shí)的把這些數(shù)據(jù)在各孤島數(shù)據(jù)按照業(yè)務(wù)的某個(gè)層次有機(jī)的自動(dòng)化整合在一起，提供業(yè)務(wù)監(jiān)控與指導(dǎo)。在2016年的今天看來OPDM在互聯(lián)網(wǎng)很多企業(yè)已經(jīng)實(shí)現(xiàn)了，但是在當(dāng)時(shí)的技術(shù)上還是稍微困難點(diǎn)的。

文 | 松子(李博源) songzi2016

來源 | 微信公眾號python2004