国产+亚洲+国产精品,99精品一区二区三区无码吞精,8888四色奇米在线观看

99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

我所經(jīng)歷的大數(shù)據(jù)平臺發(fā)展史（一）：非互聯(lián)網(wǎng)時代 ? 上篇

2016-03-22

編者按：本文是松子（李博源）的大數(shù)據(jù)平臺發(fā)展史系列文章的第一篇（共四篇），本系列以獨特的視角，比較了非互聯(lián)網(wǎng)和互聯(lián)網(wǎng)兩個時代以及傳統(tǒng)與非傳統(tǒng)兩個行業(yè)。是對數(shù)據(jù)平臺發(fā)展的一個回憶，對非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)，從數(shù)據(jù)平臺的用戶角度、數(shù)據(jù)架構演進、模型等進行了闡述。

前言，這個數(shù)據(jù)平臺發(fā)展史僅是自己經(jīng)歷過由傳統(tǒng)數(shù)據(jù)平臺到互聯(lián)網(wǎng)數(shù)據(jù)平臺發(fā)展一些簡單回憶，文章引用了歷史項目&平臺規(guī)劃架構，在這里不做更深入描述。

我是從2000年開始接觸數(shù)據(jù)倉庫，大約08年開始進入互聯(lián)網(wǎng)行業(yè)，那時在互聯(lián)網(wǎng)接觸到數(shù)據(jù)平臺與傳統(tǒng)第三代數(shù)據(jù)架構還是有很大的類似之處，隨著互聯(lián)網(wǎng)的突飛猛進，每一次的技術變革都帶來一場從技術、架構、業(yè)務的漸進式變革，到今天互聯(lián)網(wǎng)、非互聯(lián)網(wǎng)的數(shù)據(jù)平臺架構已經(jīng)差異非常大。

回顧早期的企業(yè)環(huán)境，企業(yè)的生產(chǎn)與服務是一個很長周期，導致業(yè)務數(shù)據(jù)呈現(xiàn)一種粗粒度模式。隨著互聯(lián)網(wǎng)的快速滲透從早期的PC終端到“襠下“的移動終端，對用戶的需求與服務周期將逐漸的縮短，業(yè)務量級、數(shù)據(jù)類型多樣化與存儲的暴增，對應著技術、架構、業(yè)務呈現(xiàn)出迅猛發(fā)展，相應的數(shù)據(jù)沉淀與積累也成指數(shù)暴漲。

從”數(shù)據(jù)倉庫“ 詞開始到現(xiàn)在的“大數(shù)據(jù)”，中間經(jīng)歷了太多的知識、架構模式的演進與變革，比如說“數(shù)據(jù)倉庫、海量數(shù)據(jù)、大數(shù)據(jù)”等。（備注：數(shù)據(jù)倉庫一般指的是：在相當長的時間內(nèi)堆積數(shù)據(jù)，僅僅需要處理大量數(shù)據(jù)請求中的少部分的系統(tǒng)。數(shù)據(jù)倉庫不等同于“海量數(shù)據(jù)” 。恰恰相反，而是其子集。海量數(shù)據(jù)也包含：通過大量的連接提供每秒百萬次服務請求的系統(tǒng)。大數(shù)據(jù)是海量數(shù)據(jù)+復雜類型數(shù)據(jù)基礎上的大分析、高寬帶、大內(nèi)容）。

數(shù)據(jù)倉庫在國外的發(fā)展史多年，大約在98-99年左右進入中國，到現(xiàn)在歷了大約十多年發(fā)展。到了今天尤其是在非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)企業(yè)兩個領域數(shù)據(jù)平臺有顯著的區(qū)別。本文將以非互聯(lián)網(wǎng)時代、互聯(lián)網(wǎng)時代數(shù)據(jù)平臺發(fā)展角度來講述。

很多從傳統(tǒng)企業(yè)數(shù)據(jù)平臺轉(zhuǎn)到互聯(lián)網(wǎng)同學是否有感覺，非互聯(lián)網(wǎng)企業(yè)、互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)平臺所面向用戶群體是不同的？這兩類的數(shù)據(jù)平臺的建設、使用用戶又有變化？數(shù)據(jù)模型設計又有什么不同呢？

我們先來看用戶群體的區(qū)別，下邊整理了2個圖來講述用戶群體相關區(qū)別。

一、用戶群體

非互聯(lián)網(wǎng)數(shù)據(jù)平臺用戶：

企業(yè)的boss、運營的需求主要是依賴于報表、商業(yè)智能團隊的數(shù)據(jù)分析師去各種分析與挖掘探索；
支撐這些人是ETL開發(fā)工程師、數(shù)據(jù)模型建模、數(shù)據(jù)架構師、報表設計人員，同時這些角色又是數(shù)據(jù)平臺數(shù)據(jù)建設與使用方。
數(shù)據(jù)平臺的技術框架與工具實現(xiàn)主要有技術架構師、JAVA 開發(fā)等。
用戶面對是結構化生產(chǎn)系統(tǒng)數(shù)據(jù)源。
互聯(lián)網(wǎng)數(shù)據(jù)平臺用戶：

互聯(lián)網(wǎng)企業(yè)中員工年齡比非互聯(lián)網(wǎng)企業(yè)的要年輕、受教育程度、對計算機的焦慮程度明顯比傳統(tǒng)企業(yè)要低、還偶遇其它各方面的緣故，導致了數(shù)據(jù)平臺所面對用戶群體與非互聯(lián)網(wǎng)數(shù)據(jù)平臺有所差異化；
互聯(lián)網(wǎng)數(shù)據(jù)平臺的使用與建設方是來自各方面的人，數(shù)據(jù)平臺又是技術、數(shù)據(jù)產(chǎn)品推進建設的。
分析師參與數(shù)據(jù)平臺直接建設比重增加。
原有的數(shù)據(jù)倉庫開發(fā)與模型架構師的職能也從建設平臺轉(zhuǎn)為服務與咨詢.
用戶面對是數(shù)據(jù)源多樣化，比如日志、生產(chǎn)數(shù)據(jù)庫的數(shù)據(jù)、視頻、音頻等非結構化數(shù)據(jù) 。
從這用戶群體角度來說這非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)的數(shù)據(jù)平臺用戶差異性是非常明顯，互聯(lián)網(wǎng)數(shù)據(jù)平臺中很多理論與名詞都是從傳統(tǒng)數(shù)據(jù)平臺傳遞過來的，本文將會分別闡述非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)數(shù)據(jù)平臺區(qū)別。

非互聯(lián)網(wǎng)時代

自從數(shù)據(jù)倉庫發(fā)展起來到現(xiàn)在，基本上可以分為五個時代、四種架構（大家可以詳細翻一下數(shù)據(jù)倉庫的發(fā)展歷史，在這里僅作科普性介紹）

約在1991年前的全企業(yè)集成
1991年后的企業(yè)數(shù)據(jù)集成EDW時代
1994年-1996年的數(shù)據(jù)集市
1996-1997年左右的兩個架構吵架
1998年-2001年左右的合并年代
五個時代劃分是以重要事件或代表人物為標志，比如說在企業(yè)數(shù)據(jù)集成EDW時代其重要代表人物是Bill Inmon 代表作數(shù)據(jù)倉庫一書，更重要是他提出了如何建設數(shù)據(jù)倉庫的指導性意見與原則。他遵循的是自上而下的建設原則，這個導致后來數(shù)據(jù)倉庫在千禧年傳到中國后的幾年內(nèi)，幾個大實施廠商都是遵守該原則的實施方法，后來的數(shù)據(jù)倉庫之路等各種專業(yè)論壇上針對數(shù)據(jù)倉庫ODS-EDW的結構討論(備注：壇子里有個叫吳君，他發(fā)表了不少這方面的文章)。

在國內(nèi)項目實施中IBM、Terdata、埃森哲、菲奈特(被東南收購，東南后來某些原因而倒閉)等很多專業(yè)廠商在實施中對ODS層、EDW層都賦予了各種不同的功能與含義(備注：在后邊的架構案例解)。

在數(shù)據(jù)集市年代其代表人物是Ralph kilmball，他的代表作是”The Data Warehouse Toolkit“，在數(shù)據(jù)倉庫的建設上Ralph kilmball 提出的是自下而上的建設方法，剛好與Bill Innmon的建設方法相反，這兩種架構方式各有千秋，所以就進入了爭吵時代。

我整理了一個表格是這兩位大師優(yōu)缺點：

隨著數(shù)據(jù)倉庫的不斷實踐與迭代發(fā)展，從爭吵期進入到了合并的時代，其實爭吵的結果要麼一方妥協(xié)，要麼新的結論出現(xiàn)，果然Bill inmon與 Ralph kilmball的爭吵沒有結論，干脆提出一種新的架構包含對方，也就是后來Bill Inmon 提出的CIF（corporation information factory）架構模式、這也算是數(shù)據(jù)倉庫的第三代架構，其架構特點是把整個架構劃分為不同層次，把每一層次的定義與功能都詳細的描述下來，從04年后國內(nèi)的很多數(shù)據(jù)倉庫架構、甚至互聯(lián)網(wǎng)剛開始搞數(shù)據(jù)平臺數(shù)據(jù)倉庫架構模式也是這一種。

數(shù)據(jù)倉庫第一代架構

（開發(fā)時間2001-2002年）

海爾集團的一個BI項目，架構的ETL 使用的是微軟的數(shù)據(jù)抽取加工工具 DTS，老人使用過微軟的DTS 知道有哪些弊端，后便給出了幾個DTS的截圖。

功能：進銷存分析、閉環(huán)控制分析、工貿(mào)分析等

硬件環(huán)境：

業(yè)務系統(tǒng)數(shù)據(jù)庫：DB2 for Windows,SQL SERVER2000,ORACLE8I
中央數(shù)據(jù)庫服務器：4*EXON,2G,4*80GSCSI
OLAP 服務器：2*PIV1GHZ,2G,2*40GSCSI
開發(fā)環(huán)境：VISUAL BASIC,ASP,SQL SERVER 2000

數(shù)據(jù)倉庫第二代架構

這是上海通用汽車的一個數(shù)據(jù)平臺，別看復雜，嚴格意義上來講這是一套EDW的架構、在EDS數(shù)據(jù)倉庫中采用的是準三范式的建模方式去構建的、大約涉及到十幾種數(shù)據(jù)源，建模中按照某一條主線把數(shù)據(jù)都集成起來

這個數(shù)據(jù)倉庫平臺計劃三年的時間構建完畢，第一階段計劃構建統(tǒng)統(tǒng)一生性周期視圖、客戶統(tǒng)一視圖的數(shù)據(jù)，完成對數(shù)據(jù)質(zhì)量的摸底與部分實施為業(yè)務分析與信息共享提供基礎平臺。第二階段是完成主要業(yè)務數(shù)據(jù)集成與視圖統(tǒng)一，初步實現(xiàn)企業(yè)績效管理。第三階段全面完善企業(yè)級數(shù)據(jù)倉庫，實現(xiàn)核心業(yè)務的數(shù)據(jù)統(tǒng)一。

在第一階段數(shù)據(jù)倉庫中的數(shù)據(jù)再次通過階梯型高度聚合進入到數(shù)據(jù)集市DM（非挖掘集市）中，完成對業(yè)務的支撐。

數(shù)據(jù)的ETL 采用datastage 工具開發(fā)（備注大約06年我寫了國內(nèi)最早的版本datastage 指南大約190頁叫“datastage 學習版文檔”。后來沒再堅持下來）。

數(shù)據(jù)集市架構

這個是國內(nèi)某銀行的一套數(shù)據(jù)集市，這是一個典型數(shù)據(jù)集市的架構模式、面向客戶經(jīng)理部門的考慮分析。

數(shù)據(jù)倉庫混合性架構(Cif)

這是太平洋保險的數(shù)據(jù)平臺，目前為止我認識的很多人都在該項目中呆過，當然是保險類的項目。

回過頭來看該平臺架構顯然是一個混合型的數(shù)據(jù)倉庫架構。它有混合數(shù)據(jù)倉庫的經(jīng)典結構，每一個層次功能定義的非常明確。

ODS層支撐單一的客戶視圖，是一個偏操作行的做唯一客戶識別的，同時提供高可用戶性客戶主信息查詢。

EDW層基于IIW（IBM的通用模型去整理與實施）最細粒度、原子、含歷史的數(shù)據(jù)，也支持查詢。

各業(yè)務數(shù)據(jù)集市(DM) 面向詳細業(yè)務，采用雪花/星型模型去做設計的支撐OLAP、Report、儀表盤等數(shù)據(jù)展現(xiàn)方式。

新一代架構OPDM 操作型數(shù)據(jù)集市(倉庫)

OPDM大約是在2011年提出來的，嚴格上來說，OPDM 操作型數(shù)據(jù)集市（倉庫）是實時數(shù)據(jù)倉庫的一種，他更多的是面向操作型數(shù)據(jù)而非歷史數(shù)據(jù)查詢與分析。

在這里很多人會問到什么是操作型數(shù)據(jù)？首先來看操作型數(shù)據(jù)支持的企業(yè)日常運作的比如財務系統(tǒng)、Crm系統(tǒng)、營銷系統(tǒng)生產(chǎn)系統(tǒng)，通過某一種機制實時的把這些數(shù)據(jù)在各孤島數(shù)據(jù)按照業(yè)務的某個層次有機的自動化整合在一起，提供業(yè)務監(jiān)控與指導。在2016年的今天看來OPDM在互聯(lián)網(wǎng)很多企業(yè)已經(jīng)實現(xiàn)了，但是在當時的技術上還是稍微困難點的。

下篇，我們將講述非互聯(lián)網(wǎng)數(shù)據(jù)平臺的核心數(shù)據(jù)模型。敬請關注；

關于作者

松子（李博源），自由撰稿人，數(shù)據(jù)產(chǎn)品&數(shù)據(jù)分析總監(jiān)。2000年開始數(shù)據(jù)領域，從業(yè)傳統(tǒng)制造業(yè)、銀行、保險、第三方支付&互聯(lián)網(wǎng)金融、在線旅行、移動互聯(lián)網(wǎng)行業(yè) ；個人沉淀在大數(shù)據(jù)產(chǎn)品、大數(shù)據(jù)分析、數(shù)據(jù)模型領域；歡迎關注個人微信訂閱號：songzi2016。

CDA數(shù)據(jù)分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>> “CDA報名” 了解CDA考試詳情；