想必大家在學(xué)習(xí)數(shù)據(jù)分析的時候，一定接觸過ETL，那么關(guān)于ETL大家了解到什么程度呢?跟小編一起來復(fù)盤一下吧!

一、ETL概念

ETL全稱是：Extract-Transform-Load，是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取(Extract)、清洗轉(zhuǎn)換(Transform)之后加載(Load)到數(shù)據(jù)倉庫的過程。其目的是將企業(yè)中那些分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，從而為企業(yè)的決策提供分析依據(jù)。 ETL為BI項目一個非常重要的環(huán)節(jié)， 往往在BI項目中，ETL會占用我們整個項目至少1/3的時間，可以說ETL設(shè)計的好壞會直接關(guān)系到BI項目的成敗。

二、ETL關(guān)鍵技術(shù)

1.數(shù)據(jù)的抽取(Extract)

首先需要確定數(shù)據(jù)源，也就是要弄明白數(shù)據(jù)是從哪幾個業(yè)務(wù)系統(tǒng)中來,每個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫服務(wù)器運(yùn)行什么DBMS;是否有手工數(shù)據(jù)存在，存在的話，數(shù)據(jù)量是多少;是否有非結(jié)構(gòu)化的數(shù)據(jù)存在等。我們需要定義數(shù)據(jù)接口，對每一個源文件及系統(tǒng)中的每一個字段進(jìn)行詳細(xì)說明。之后確定數(shù)據(jù)抽取的方法，例如：需要確定是主動抽取還是由源系統(tǒng)推送?是按每日抽取還是每月抽取?以及是增量抽取還是全量抽取?

2.數(shù)據(jù)的清洗轉(zhuǎn)換(Transform)

(1)數(shù)據(jù)清洗(Cleaning)

數(shù)據(jù)清洗的主要任務(wù)是清洗掉那些不符合要求的數(shù)據(jù)，將清洗的結(jié)果交給業(yè)務(wù)主管部門，并確認(rèn)是直接清洗掉，還是由業(yè)務(wù)單位修正之后再次抽取。

不符合要求的數(shù)據(jù)主要包括：不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)這三類。

(2)數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換一般包括：

空值處理，也就是捕獲字段空值，并將其加載或替換為其他含義數(shù)據(jù)，或者數(shù)據(jù)分流問題庫

數(shù)據(jù)標(biāo)準(zhǔn)，即統(tǒng)一元數(shù)據(jù)、統(tǒng)一標(biāo)準(zhǔn)字段、統(tǒng)一字段類型定義

數(shù)據(jù)拆分，根據(jù)實際業(yè)務(wù)需求對數(shù)據(jù)進(jìn)行拆分，例如對身份證號拆分，拆分行政區(qū)劃、出生日期、性別等

數(shù)據(jù)驗證，時間規(guī)則、業(yè)務(wù)規(guī)則、自定義規(guī)則

數(shù)據(jù)替換，替換由于業(yè)務(wù)因素而導(dǎo)致的那些無效數(shù)據(jù)、缺失數(shù)據(jù)

數(shù)據(jù)關(guān)聯(lián)，與其他數(shù)據(jù)進(jìn)行關(guān)聯(lián)，以保障數(shù)據(jù)完整性

3.數(shù)據(jù)加載(Load)

將清洗和轉(zhuǎn)換后的數(shù)據(jù)裝載到對應(yīng)的表庫中是ETL過程的最后步驟。采用什么樣的方法裝載數(shù)據(jù)，關(guān)鍵取決于所執(zhí)行操作的類型和需要裝載的數(shù)據(jù)量。當(dāng)對應(yīng)庫為關(guān)系數(shù)據(jù)庫時，通常有兩種裝載方式：

(1)直接使用SQL語句進(jìn)行insert、update、delete操作。

(2)采用批量裝載方法，例如bcp、bulk、關(guān)系數(shù)據(jù)庫特有的批量裝載工具或者api。

三、ETL日志、警告發(fā)送

1、 ETL日志

ETL日志主要分為三類。

(1)執(zhí)行過程日志：:在ETL執(zhí)行過程中每一步的記錄，記錄每一次運(yùn)行過程中各步驟的起始時間，影響的數(shù)據(jù)量，以流水賬形式記錄。

(2)錯誤日志：:某個模塊出錯時的日志，會記錄出錯的時間、出錯的模塊以及其它相關(guān)出錯的信息等。

(3)總體日志：只是記錄ETL開始和結(jié)束時間以及否成功等信息。

如果我們使用ETL工具,那些ETL工具會也自動產(chǎn)生日志，這些日志也可以看做ETL日志的一部分。

記錄日志的有助于我們隨時知道ETL運(yùn)行情況，一旦出現(xiàn)錯誤，我們可以知道是哪里出錯。

2、 警告發(fā)送

若ETL出現(xiàn)錯誤，不僅會形成ETL錯誤日志，并且會向系統(tǒng)管理員發(fā)送警告。警告發(fā)送的方式有很多種，通常會采用向系統(tǒng)管理員發(fā)送郵件的形式，并且會附上出錯的相關(guān)信息，方便管理員排查錯誤。

ETL是BI項目的關(guān)鍵環(huán)節(jié)，也是一個長期的過程，需要不斷的發(fā)現(xiàn)問題，并解決問題，才能讓ETL運(yùn)行效率更高，為BI項目后期開發(fā)提供更加準(zhǔn)確與高效的分析數(shù)據(jù)。

四、ETL 模式

ETL主要有四種實現(xiàn)模式，分別為：觸發(fā)器模式、增量字段、全量同步、日志比對

五、ETL 工具

我們在選擇ETL工具時，需要考慮從工具對平臺和數(shù)據(jù)源的支持程度，集成性和開放性、抽取和裝載的性能、數(shù)據(jù)轉(zhuǎn)換和加工的性能，以及侵入性的高低，是否管理和調(diào)度功能等方面綜合考慮。