想必大家在學(xué)習(xí)數(shù)據(jù)分析的時(shí)候，一定接觸過(guò)ETL，那么關(guān)于ETL大家了解到什么程度呢?跟小編一起來(lái)復(fù)盤一下吧!

一、ETL概念

ETL全稱是：Extract-Transform-Load，是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)抽取(Extract)、清洗轉(zhuǎn)換(Transform)之后加載(Load)到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程。其目的是將企業(yè)中那些分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，從而為企業(yè)的決策提供分析依據(jù)。 ETL為BI項(xiàng)目一個(gè)非常重要的環(huán)節(jié)， 往往在BI項(xiàng)目中，ETL會(huì)占用我們整個(gè)項(xiàng)目至少1/3的時(shí)間，可以說(shuō)ETL設(shè)計(jì)的好壞會(huì)直接關(guān)系到BI項(xiàng)目的成敗。

二、ETL關(guān)鍵技術(shù)

1.數(shù)據(jù)的抽取(Extract)

首先需要確定數(shù)據(jù)源，也就是要弄明白數(shù)據(jù)是從哪幾個(gè)業(yè)務(wù)系統(tǒng)中來(lái),每個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)服務(wù)器運(yùn)行什么DBMS;是否有手工數(shù)據(jù)存在，存在的話，數(shù)據(jù)量是多少;是否有非結(jié)構(gòu)化的數(shù)據(jù)存在等。我們需要定義數(shù)據(jù)接口，對(duì)每一個(gè)源文件及系統(tǒng)中的每一個(gè)字段進(jìn)行詳細(xì)說(shuō)明。之后確定數(shù)據(jù)抽取的方法，例如：需要確定是主動(dòng)抽取還是由源系統(tǒng)推送?是按每日抽取還是每月抽取?以及是增量抽取還是全量抽取?

2.數(shù)據(jù)的清洗轉(zhuǎn)換(Transform)

(1)數(shù)據(jù)清洗(Cleaning)

數(shù)據(jù)清洗的主要任務(wù)是清洗掉那些不符合要求的數(shù)據(jù)，將清洗的結(jié)果交給業(yè)務(wù)主管部門，并確認(rèn)是直接清洗掉，還是由業(yè)務(wù)單位修正之后再次抽取。

不符合要求的數(shù)據(jù)主要包括：不完整的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)這三類。

(2)數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換一般包括：

空值處理，也就是捕獲字段空值，并將其加載或替換為其他含義數(shù)據(jù)，或者數(shù)據(jù)分流問(wèn)題庫(kù)

數(shù)據(jù)標(biāo)準(zhǔn)，即統(tǒng)一元數(shù)據(jù)、統(tǒng)一標(biāo)準(zhǔn)字段、統(tǒng)一字段類型定義

數(shù)據(jù)拆分，根據(jù)實(shí)際業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行拆分，例如對(duì)身份證號(hào)拆分，拆分行政區(qū)劃、出生日期、性別等

數(shù)據(jù)驗(yàn)證，時(shí)間規(guī)則、業(yè)務(wù)規(guī)則、自定義規(guī)則

數(shù)據(jù)替換，替換由于業(yè)務(wù)因素而導(dǎo)致的那些無(wú)效數(shù)據(jù)、缺失數(shù)據(jù)

數(shù)據(jù)關(guān)聯(lián)，與其他數(shù)據(jù)進(jìn)行關(guān)聯(lián)，以保障數(shù)據(jù)完整性

3.數(shù)據(jù)加載(Load)

將清洗和轉(zhuǎn)換后的數(shù)據(jù)裝載到對(duì)應(yīng)的表庫(kù)中是ETL過(guò)程的最后步驟。采用什么樣的方法裝載數(shù)據(jù)，關(guān)鍵取決于所執(zhí)行操作的類型和需要裝載的數(shù)據(jù)量。當(dāng)對(duì)應(yīng)庫(kù)為關(guān)系數(shù)據(jù)庫(kù)時(shí)，通常有兩種裝載方式：

(1)直接使用SQL語(yǔ)句進(jìn)行insert、update、delete操作。

(2)采用批量裝載方法，例如bcp、bulk、關(guān)系數(shù)據(jù)庫(kù)特有的批量裝載工具或者api。

三、ETL日志、警告發(fā)送

1、 ETL日志

ETL日志主要分為三類。

(1)執(zhí)行過(guò)程日志：:在ETL執(zhí)行過(guò)程中每一步的記錄，記錄每一次運(yùn)行過(guò)程中各步驟的起始時(shí)間，影響的數(shù)據(jù)量，以流水賬形式記錄。

(2)錯(cuò)誤日志：:某個(gè)模塊出錯(cuò)時(shí)的日志，會(huì)記錄出錯(cuò)的時(shí)間、出錯(cuò)的模塊以及其它相關(guān)出錯(cuò)的信息等。

(3)總體日志：只是記錄ETL開始和結(jié)束時(shí)間以及否成功等信息。

如果我們使用ETL工具,那些ETL工具會(huì)也自動(dòng)產(chǎn)生日志，這些日志也可以看做ETL日志的一部分。

記錄日志的有助于我們隨時(shí)知道ETL運(yùn)行情況，一旦出現(xiàn)錯(cuò)誤，我們可以知道是哪里出錯(cuò)。

2、 警告發(fā)送

若ETL出現(xiàn)錯(cuò)誤，不僅會(huì)形成ETL錯(cuò)誤日志，并且會(huì)向系統(tǒng)管理員發(fā)送警告。警告發(fā)送的方式有很多種，通常會(huì)采用向系統(tǒng)管理員發(fā)送郵件的形式，并且會(huì)附上出錯(cuò)的相關(guān)信息，方便管理員排查錯(cuò)誤。

ETL是BI項(xiàng)目的關(guān)鍵環(huán)節(jié)，也是一個(gè)長(zhǎng)期的過(guò)程，需要不斷的發(fā)現(xiàn)問(wèn)題，并解決問(wèn)題，才能讓ETL運(yùn)行效率更高，為BI項(xiàng)目后期開發(fā)提供更加準(zhǔn)確與高效的分析數(shù)據(jù)。

四、ETL 模式

ETL主要有四種實(shí)現(xiàn)模式，分別為：觸發(fā)器模式、增量字段、全量同步、日志比對(duì)

五、ETL 工具

我們?cè)谶x擇ETL工具時(shí)，需要考慮從工具對(duì)平臺(tái)和數(shù)據(jù)源的支持程度，集成性和開放性、抽取和裝載的性能、數(shù)據(jù)轉(zhuǎn)換和加工的性能，以及侵入性的高低，是否管理和調(diào)度功能等方面綜合考慮。