數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）是一個(gè)面向主題的（Subject Oriented）、集成的（Integrate）、穩(wěn)定的（Non-Volatile）、反映歷史變化的（Time Variant）數(shù)據(jù)集合，用于支持管理決策。

• 面向主題：數(shù)據(jù)倉(cāng)庫(kù)側(cè)重于數(shù)據(jù)分析工作，所以數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題進(jìn)行組織和存儲(chǔ)。
• 集成：對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)經(jīng)過(guò)系統(tǒng)加工、整理，消除源數(shù)據(jù)中的不一致性。
• 穩(wěn)定：數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后只需要定期的加載、刷新，不需要頻繁修改。
• 反映歷史變化：出于決策的需要，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都要標(biāo)明時(shí)間屬性。通過(guò)這些數(shù)據(jù)信息，對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析預(yù)測(cè)。

——數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別

數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)其實(shí)很相似，都是通過(guò)數(shù)據(jù)庫(kù)管理系統(tǒng)，來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)。 它們的不同之處在于：

數(shù)據(jù)庫(kù)是存放原始數(shù)據(jù)的集合，主要存儲(chǔ)業(yè)務(wù)流程中的事務(wù)性數(shù)據(jù)，如銀行交易、訂單記錄等。 數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)庫(kù)概念的升級(jí)，是存放加工處理后的數(shù)據(jù)集合，主要存儲(chǔ)從數(shù)據(jù)庫(kù)中整合、匯總后的數(shù)據(jù)，用于針對(duì)某些主題的歷史數(shù)據(jù)進(jìn)行分析，側(cè)重決策支持。

單從概念上講有些晦澀，任何技術(shù)都是為應(yīng)用服務(wù)的，結(jié)合應(yīng)用可以很容易地理解。以銀行業(yè)務(wù)為例，數(shù)據(jù)庫(kù)是銀行事務(wù)系統(tǒng)的數(shù)據(jù)平臺(tái)，客戶在銀行做的每筆交易都會(huì)寫(xiě)入數(shù)據(jù)庫(kù)，被記錄下來(lái)。數(shù)據(jù)倉(cāng)庫(kù)是分析系統(tǒng)的數(shù)據(jù)平臺(tái)，它從事務(wù)數(shù)據(jù)庫(kù)獲取數(shù)據(jù)，并做匯總、加工，為決策者提供決策的依據(jù)。比如，某銀行某分行一個(gè)月發(fā)生多少交易，該分行當(dāng)前存款余額是多少。如果存款又多，消費(fèi)交易又多，那么該地區(qū)就有必要加設(shè)ATM了。 顯然，銀行的交易量是巨大的，通常以百萬(wàn)甚至千萬(wàn)次來(lái)計(jì)算。事務(wù)系統(tǒng)是要求時(shí)效性的，客戶存取一筆錢(qián)等待幾十秒是無(wú)法忍受的，這就要求數(shù)據(jù)庫(kù)實(shí)時(shí)響應(yīng)。而分析系統(tǒng)是事后的，它要提供關(guān)注時(shí)間段內(nèi)所有的有效數(shù)據(jù)。這些數(shù)據(jù)是海量的，匯總計(jì)算起來(lái)也要慢一些，但是，只要能夠提供有效的分析結(jié)果就達(dá)到目的了。

數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別，實(shí)際上就是OLTP與OLAP的區(qū)別。

• 操作型處理，叫聯(lián)機(jī)事務(wù)處理OLTP（On-Line Transaction Processing），也可以稱(chēng)面向交易的處理系統(tǒng)，它是針對(duì)具體業(yè)務(wù)在數(shù)據(jù)庫(kù)聯(lián)機(jī)的日常操作，通常對(duì)少數(shù)記錄進(jìn)行查詢(xún)、修改。用戶較為關(guān)心操作的響應(yīng)時(shí)間、數(shù)據(jù)的安全性、完整性和并發(fā)的支持用戶數(shù)等問(wèn)題。傳統(tǒng)的數(shù)據(jù)庫(kù)作為數(shù)據(jù)管理的主要手段，主要用于操作型處理。
• 分析型處理，叫聯(lián)機(jī)分析處理OLAP（On-Line Analytical Processing），支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢(xún)結(jié)果。

基本每個(gè)企業(yè)都會(huì)經(jīng)歷從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的階段，以電商行業(yè)為例：

• 電商行業(yè)早期入行門(mén)檻低，找個(gè)外包團(tuán)隊(duì)，做一個(gè)網(wǎng)頁(yè)前端 + 幾臺(tái)服務(wù)器 + 一個(gè)MySQL，就能開(kāi)門(mén)迎客了。
• 第二階段，流量來(lái)了，客戶和訂單都多起來(lái)了，這個(gè)時(shí)候就需要升級(jí)架構(gòu)變成多臺(tái)服務(wù)器和多個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)（分布式存儲(chǔ)），這個(gè)階段的業(yè)務(wù)數(shù)據(jù)和指標(biāo)還可以勉強(qiáng)從業(yè)務(wù)數(shù)據(jù)庫(kù)里查詢(xún)。

• 第三個(gè)階段，隨著業(yè)務(wù)的發(fā)展數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，面臨的業(yè)務(wù)問(wèn)題越來(lái)越復(fù)雜。領(lǐng)導(dǎo)者關(guān)心的問(wèn)題，從最初非常粗放的：“昨天的收入是多少”、“上個(gè)月的 PV、UV 是多少”，逐漸演化到非常精細(xì)化和具體的用戶消費(fèi)行為分析，如“20~30歲女性用戶在過(guò)去五年的第一季度化妝品類(lèi)商品的購(gòu)買(mǎi)行為在促銷(xiāo)活動(dòng)方案中的表現(xiàn)”。 這類(lèi)非常具體且能夠?qū)緵Q策起到關(guān)鍵性作用的數(shù)據(jù)，很難從業(yè)務(wù)數(shù)據(jù)庫(kù)從調(diào)取出來(lái)。原因在于： 1、業(yè)務(wù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)結(jié)構(gòu)是為了完成交易而設(shè)計(jì)的，不是為了查詢(xún)和分析的便利設(shè)計(jì)的。 2、業(yè)務(wù)數(shù)據(jù)庫(kù)大多是讀寫(xiě)優(yōu)化的，即又要讀（查看相關(guān)的商品信息），也要寫(xiě)（產(chǎn)生訂單，完成支付）。因此對(duì)于大批量的數(shù)據(jù)讀?。◤?fù)雜的查詢(xún)指標(biāo)）是支持不足的。 為了解決此類(lèi)問(wèn)題就需要建立數(shù)據(jù)倉(cāng)庫(kù)，它的作用在于： 1、數(shù)據(jù)結(jié)構(gòu)為了分析和查詢(xún)的便利而設(shè)計(jì)。 2、只讀優(yōu)化的數(shù)據(jù)庫(kù)，即不需要它寫(xiě)入速度多么快，只要做大量數(shù)據(jù)的復(fù)雜查詢(xún)的速度足夠快就行了。

——ETL

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常從多個(gè)數(shù)據(jù)源中提取，整合、匯總后成為數(shù)據(jù)倉(cāng)庫(kù)中的歷史記錄。多個(gè)數(shù)據(jù)源（內(nèi)部業(yè)務(wù)數(shù)據(jù)庫(kù)、外部文件、爬蟲(chóng)、第三方API等等）的數(shù)據(jù)存儲(chǔ)方式不同，所以需要經(jīng)過(guò)抽取、清洗、轉(zhuǎn)換。 數(shù)據(jù)從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的處理過(guò)程就是ETL（Extract-Transform-Load）：

• Extract：數(shù)據(jù)抽取，就是把數(shù)據(jù)從多個(gè)數(shù)據(jù)源讀出來(lái)
• Transform：數(shù)據(jù)轉(zhuǎn)換，就是把數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的格式
• Load：數(shù)據(jù)加載，把處理后的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)

常用的ETL工具：Datastage、Informatica、Kettle

——數(shù)據(jù)倉(cāng)庫(kù)的分層存儲(chǔ)

一般來(lái)說(shuō)數(shù)據(jù)倉(cāng)庫(kù)會(huì)至少分為ODS、DSA、EDW三個(gè)層級(jí)，當(dāng)然層級(jí)的名稱(chēng)每個(gè)公司可能不同，這里主要是在作用上進(jìn)行區(qū)分解釋。

• ODS層存儲(chǔ)的是業(yè)務(wù)數(shù)據(jù)庫(kù)在一個(gè)時(shí)間范圍內(nèi)新增或更新的數(shù)據(jù)，它的存儲(chǔ)是線性增長(zhǎng)的，有數(shù)據(jù)發(fā)生變化，ODS才會(huì)存儲(chǔ)數(shù)據(jù)，相當(dāng)于是業(yè)務(wù)數(shù)據(jù)庫(kù)的一個(gè)拷貝。
• DSA層是經(jīng)由ODS層抽取、清洗、轉(zhuǎn)換后的數(shù)據(jù)。
• EDW層是對(duì)DSA層進(jìn)行業(yè)務(wù)模型的抽象之后的合并層，將一些冗余的庫(kù)表簡(jiǎn)化，做成比較利于數(shù)據(jù)抽取的庫(kù)表。

數(shù)據(jù)倉(cāng)庫(kù)的輸入就是各種各樣的數(shù)據(jù)源，最終的輸出是用來(lái)為企業(yè)做數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)據(jù)報(bào)表。

——常用的數(shù)據(jù)倉(cāng)庫(kù)

Hive是基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具，可以對(duì)存儲(chǔ)在HDFS上的文件數(shù)據(jù)集進(jìn)行查詢(xún)和分析處理。Hive對(duì)外提供了類(lèi)似于SQL語(yǔ)言的查詢(xún)語(yǔ)言 HiveSQL，在做查詢(xún)時(shí)將HiveSQL語(yǔ)句轉(zhuǎn)換成MapReduce任務(wù)，在Hadoop層進(jìn)行執(zhí)行。

HDFS是Hadoop的分布式文件系統(tǒng)，在這里作為數(shù)據(jù)倉(cāng)庫(kù)的存儲(chǔ)層。圖中的Data Node就是HDFS的眾多工作節(jié)點(diǎn)。

MapReduce是一種針對(duì)海量數(shù)據(jù)的并行計(jì)算模型，可以簡(jiǎn)單理解為對(duì)多個(gè)數(shù)據(jù)分片的數(shù)據(jù)轉(zhuǎn)換和合并。

Teradata數(shù)據(jù)倉(cāng)庫(kù)配備性能最高、最可靠的大規(guī)模并行處理 (MPP) 平臺(tái)，能夠高速處理海量數(shù)據(jù)，其性能遠(yuǎn)遠(yuǎn)高于Hive。

——熱門(mén)課程推薦：

想學(xué)習(xí)PYTHON數(shù)據(jù)分析與金融數(shù)字化轉(zhuǎn)型精英訓(xùn)練營(yíng)，您可以點(diǎn)擊>>>“人才轉(zhuǎn)型”了解課程詳情；

想從事業(yè)務(wù)型數(shù)據(jù)分析師，您可以點(diǎn)擊>>>“數(shù)據(jù)分析師”了解課程詳情；

想從事大數(shù)據(jù)分析師，您可以點(diǎn)擊>>>“大數(shù)據(jù)就業(yè)”了解課程詳情；

想成為人工智能工程師，您可以點(diǎn)擊>>>“人工智能就業(yè)”了解課程詳情；

想了解Python數(shù)據(jù)分析，您可以點(diǎn)擊>>>“Python數(shù)據(jù)分析師”了解課程詳情；

想咨詢(xún)互聯(lián)網(wǎng)運(yùn)營(yíng)，你可以點(diǎn)擊>>>“互聯(lián)網(wǎng)運(yùn)營(yíng)就業(yè)班”了解課程詳情； 

想了解更多優(yōu)質(zhì)課程，請(qǐng)點(diǎn)擊>>>