如何利用數(shù)據(jù)倉庫優(yōu)化數(shù)據(jù)分析

在整個數(shù)據(jù)分析流程中，數(shù)據(jù)處理的時間往往要占據(jù)70%以上！這個數(shù)字有沒有讓你震驚呢？為了提高分析效率和質(zhì)量，借用數(shù)據(jù)倉庫進行數(shù)據(jù)分析是一個很好的選擇，詳細的工作方法本文都有所介紹。

首先，我們來了解一下數(shù)據(jù)倉庫吧！數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反應(yīng)歷史變化的數(shù)據(jù)集合。那數(shù)據(jù)分析又是干什么的呢？筆者憑借個人的經(jīng)驗認(rèn)為，基于業(yè)務(wù)需求，結(jié)合歷史數(shù)據(jù)，利用相關(guān)統(tǒng)計學(xué)方法和某些數(shù)據(jù)挖掘工具對數(shù)據(jù)進行整合、分析，并形成一套最終解決某個業(yè)務(wù)場景的方案就是數(shù)據(jù)分析的過程。

數(shù)據(jù)分析大致包括以下流程：

業(yè)務(wù)理解 – 數(shù)據(jù)理解 – 數(shù)據(jù)準(zhǔn)備 – 建模 – 評估 – 部署

由于數(shù)據(jù)分析對數(shù)據(jù)質(zhì)量、格式的要求天然就比較高，對數(shù)據(jù)的理解也必須非常深刻，使得數(shù)據(jù)契合業(yè)務(wù)需求也要一定的過程，這樣，根據(jù)我們的經(jīng)驗，在整個數(shù)據(jù)分析流程中，用于數(shù)據(jù)處理的時間往往要占據(jù)70%以上。

因此，如何高效、快速地進行數(shù)據(jù)理解和處理，往往決定了數(shù)據(jù)分析項目的進度和質(zhì)量。而數(shù)據(jù)倉庫具有集成、穩(wěn)定、高質(zhì)量等特點，基于數(shù)據(jù)倉庫為數(shù)據(jù)分析提供數(shù)據(jù)，往往能夠更加保證數(shù)據(jù)質(zhì)量和數(shù)據(jù)完整性。

利用數(shù)據(jù)倉庫進行數(shù)據(jù)分析無疑能夠給我們的工作帶來很大便利，那么，究竟要如何操作呢？我們首先需要了解數(shù)據(jù)倉庫的優(yōu)勢，數(shù)據(jù)倉庫至少可以從如下三個方面提升數(shù)據(jù)分析效率：

1. 數(shù)據(jù)理解

數(shù)據(jù)倉庫是面向主題的，所以其自身與業(yè)務(wù)結(jié)合就相對緊密和完善，更方便數(shù)據(jù)分析師基于數(shù)據(jù)理解業(yè)務(wù)。下圖是Teradata關(guān)于金融行業(yè)的成熟模型：

（出自Teradata FS-LDM官方文檔）

我們可以看到，整個數(shù)據(jù)倉庫被分為十大主題，而金融行業(yè)所有的數(shù)據(jù)、業(yè)務(wù)都會被這十大主題涵蓋。當(dāng)我們需要找某個信用卡賬戶信息時，我們就去協(xié)議（AGREEMENT）主題，需要某次存款交易信息時就去探尋事件（EVENT）主題，需要某個理財產(chǎn)品相關(guān)信息就挖掘產(chǎn)品（PRODUCT）主題，如此類推，我們就會發(fā)現(xiàn)十大主題將整個金融行業(yè)的數(shù)據(jù)劃分得非常清晰，我們需要做的就是拿到業(yè)務(wù)需求，理解數(shù)據(jù)倉庫的模型，數(shù)據(jù)理解也就水到渠成了。

2. 數(shù)據(jù)質(zhì)量

數(shù)據(jù)分析要求數(shù)據(jù)是干凈、完整的，而數(shù)據(jù)倉庫最核心的一項工作就是ETL過程，流程如下：

而數(shù)據(jù)倉庫已經(jīng)對源系統(tǒng)的數(shù)據(jù)進行了業(yè)務(wù)契合的轉(zhuǎn)換，以及臟數(shù)據(jù)的清洗，這就為數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量做了較好的保障。

3. 數(shù)據(jù)跨系統(tǒng)關(guān)聯(lián)

上圖是數(shù)據(jù)倉庫的一個簡單架構(gòu)，可以看到，各業(yè)務(wù)源系統(tǒng)的數(shù)據(jù)經(jīng)過ETL過程后流入數(shù)據(jù)倉庫，當(dāng)不同系統(tǒng)數(shù)據(jù)整合到數(shù)據(jù)倉庫之后，至少解決了數(shù)據(jù)分析中的兩個問題：

第一，跨系統(tǒng)數(shù)據(jù)收集問題，同一個客戶的儲蓄交易和理財交易我們在同一張事件表就可以找到；

第二，跨系統(tǒng)關(guān)聯(lián)問題，同一個客戶可能在不同系統(tǒng)中記錄了不同的客戶號，甚至存在不同的賬號，進行數(shù)據(jù)整合時，總是需要找到共同的“紐帶”來關(guān)聯(lián)來自不同系統(tǒng)的信息，而數(shù)據(jù)倉庫在ETL過程中就會整合相關(guān)客戶信息，完美解決跨系統(tǒng)關(guān)聯(lián)問題。

可見，數(shù)據(jù)倉庫是整合的、面向主題的、數(shù)據(jù)質(zhì)量高的、跨系統(tǒng)的優(yōu)質(zhì)數(shù)據(jù)源，那么，我們該如何充分利用這些優(yōu)勢呢？筆者總結(jié)了如下經(jīng)驗：

1.  研究數(shù)據(jù)倉庫模型：數(shù)倉的精髓就是面向主題的模型，能理解各大主題域范疇，熟悉不同主題間的關(guān)系，基本就掌握了數(shù)倉的架構(gòu)；

2. 學(xué)習(xí)數(shù)據(jù)倉庫設(shè)計文檔：設(shè)計文檔是業(yè)務(wù)與數(shù)據(jù)，數(shù)倉與源系統(tǒng)的橋梁，熟悉表間mapping映射，就能快速定位需求變量的來源和處理邏輯，全面了解相關(guān)業(yè)務(wù)；

3. 熟悉數(shù)據(jù)字典表：數(shù)據(jù)字典是數(shù)據(jù)倉庫物理存儲的信息庫，可以通過數(shù)據(jù)字典了解庫、表、字段不同層級的關(guān)系、存儲、類型等信息；

4. 研究ETL腳本：學(xué)習(xí)幾個數(shù)據(jù)倉庫ETL加工腳本，能更細致的探索數(shù)據(jù)加工處理邏輯，更清楚的理解數(shù)倉加工模式，快速掌握數(shù)據(jù)加工技巧；

5. 觀察明細數(shù)據(jù)：想要真正了解數(shù)據(jù)，就必須對具體數(shù)據(jù)進行不同維度和層次的觀察；比如事件表，從交易類型、時間、渠道、業(yè)務(wù)種類等多個維度撈幾條數(shù)據(jù)，觀察某個相同條件下不同維度的交易變化，了解銀行交易的全景信息，幫助理解業(yè)務(wù)，熟悉數(shù)據(jù)。

事實上，除此之外，數(shù)據(jù)處理人員還應(yīng)該從中學(xué)習(xí)到數(shù)據(jù)倉庫的思想：面向主題，逐層加工。

面向主題是指讓雜亂的數(shù)據(jù)結(jié)合業(yè)務(wù)劃分，更容易著手處理原本雜亂的數(shù)據(jù)，數(shù)據(jù)處理人員只需知道哪些數(shù)據(jù)屬于哪個主題，然后基于主題再進一步處理；逐層加工則是指讓細粒度的數(shù)據(jù)走向?qū)挶淼倪^程清晰，有層次，數(shù)據(jù)處理過程中清楚每一步的產(chǎn)出是什么。

其實，每一個數(shù)據(jù)分析師或者數(shù)據(jù)處理師都會有自己的工作習(xí)慣和經(jīng)驗，以上是筆者經(jīng)歷兩年多數(shù)據(jù)倉庫開發(fā)、三年數(shù)據(jù)倉庫和數(shù)據(jù)分析兼職者的經(jīng)驗總結(jié)的一些心得，希望對大家有所幫助。