數(shù)據(jù)工程師，解救混亂大數(shù)據(jù)中的數(shù)據(jù)科學(xué)家

最近《福布斯》發(fā)表了一篇關(guān)于對(duì)2018“人工智能、大數(shù)據(jù)和分析”10大預(yù)測(cè)的文章中指出，數(shù)據(jù)工程師即將取代數(shù)據(jù)科學(xué)家的角色，成為炙手可熱的新一代職位。Gil Press寫道，Indeed.com上有13%的崗位是關(guān)于數(shù)據(jù)工程師的，而數(shù)據(jù)科學(xué)家所占的比例還不到1%。

有趣的是，筆者在LinkedIn上查到如亞馬遜和Facebook這樣的領(lǐng)先數(shù)據(jù)驅(qū)動(dòng)公司發(fā)布的數(shù)據(jù)工程師職位描述。具備數(shù)據(jù)抽取、轉(zhuǎn)換、加載(ETL)流程和數(shù)據(jù)管道建設(shè)專業(yè)知識(shí)的全面了解，豐富的數(shù)據(jù)倉庫技能，是理想數(shù)據(jù)工程師的必備和基本素質(zhì)。

　　什么是數(shù)據(jù)工程師?

如果建筑工程涉及到建筑、道路和軌道等物理基礎(chǔ)設(shè)施的設(shè)計(jì)、規(guī)劃、建設(shè)和管理，數(shù)據(jù)工程也要應(yīng)用同樣復(fù)雜的數(shù)據(jù)。

數(shù)據(jù)工程師計(jì)劃、設(shè)計(jì)、構(gòu)建和維護(hù)一個(gè)可靠的體系架構(gòu)，以確保穩(wěn)定的清潔和結(jié)構(gòu)化數(shù)據(jù)流，以便進(jìn)行進(jìn)一步分析，并適用于生產(chǎn)環(huán)境。

數(shù)據(jù)工程之所以越來越引人注目，是因?yàn)槠髽I(yè)被大量非結(jié)構(gòu)化的有價(jià)值的商業(yè)信息數(shù)據(jù)所淹沒了。

隨著數(shù)據(jù)科學(xué)家和公民數(shù)據(jù)科學(xué)的統(tǒng)計(jì)和編程能力開始激增，管理和維護(hù)大量的數(shù)據(jù)成了他們共同的痛點(diǎn)。分析和構(gòu)建模型的數(shù)據(jù)科學(xué)家，近80%的時(shí)間都花費(fèi)在查找和清理數(shù)據(jù)。

數(shù)據(jù)工程師通過了解企業(yè)所需的數(shù)據(jù)、識(shí)別相關(guān)的新數(shù)據(jù)源、提取可用的格式數(shù)據(jù)，確保數(shù)據(jù)不出錯(cuò)并將數(shù)據(jù)加載到數(shù)據(jù)科學(xué)家和分析師的工作中，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)的救援計(jì)劃。

　　數(shù)據(jù)工程師必備工具集

數(shù)據(jù)工程師的工作內(nèi)容常常與數(shù)據(jù)架構(gòu)師、數(shù)據(jù)庫管理員和軟件工程師的工作重疊，這意味著他們需要預(yù)先熟悉這些工作的內(nèi)容。數(shù)據(jù)架構(gòu)師或管理員只局限于數(shù)據(jù)基礎(chǔ)架構(gòu)的規(guī)劃和維護(hù)的位置上，但從起源到最終分析展覽的過程中，數(shù)據(jù)工程師都要參與在內(nèi)。

因此，數(shù)據(jù)工程師的技能包括：

* 精通R或Python編程

* 強(qiáng)大的SQL技能

* 基于Hadoop的技術(shù)，如MapReduce、Hive和Pig

* ETL和數(shù)據(jù)倉庫專業(yè)知識(shí)

除上述以外，數(shù)據(jù)工程師還應(yīng)為傳統(tǒng)的ETL過程提供新的重新配置選項(xiàng)。在并行處理方法之后，為復(fù)制數(shù)據(jù)構(gòu)建數(shù)據(jù)管道，將其轉(zhuǎn)移到存儲(chǔ)解決方案上，重新格式化和加入數(shù)據(jù)。

隨著多條數(shù)據(jù)流水線開始出現(xiàn)，Airflow和Luigi等開源工作流管理工具可用于創(chuàng)建和監(jiān)控?cái)?shù)據(jù)流水線。因此，對(duì)這些工具的了解又是一個(gè)優(yōu)勢(shì)。數(shù)據(jù)工程師也可以使用機(jī)器學(xué)習(xí)來自動(dòng)化數(shù)據(jù)管道流程。

　　數(shù)據(jù)準(zhǔn)備 —— 主要標(biāo)準(zhǔn)

數(shù)據(jù)的清潔度和質(zhì)量越好，建模的效果越好，這就是從訓(xùn)練模型中得出的見解。

Urthecast的數(shù)據(jù)工程師David Bianco解釋說，數(shù)據(jù)工程師的最終目標(biāo)是向需要的人提供干凈、可用的數(shù)據(jù)。這種收集、清理、處理和整合數(shù)據(jù)的方法被稱為數(shù)據(jù)準(zhǔn)備或數(shù)據(jù)處理。

數(shù)據(jù)分析中的兩個(gè)主要數(shù)據(jù)問題。

小(無)或大數(shù)據(jù)問題：數(shù)據(jù)工程師應(yīng)該在公司內(nèi)外尋找新的數(shù)據(jù)來源。沒有足夠的數(shù)據(jù)來源，分析師和數(shù)據(jù)科學(xué)家會(huì)很難建立培訓(xùn)模式。相反，大數(shù)據(jù)集也可能很難處理，而且“垃圾進(jìn)，垃圾出”是數(shù)據(jù)科學(xué)中一個(gè)殘酷的現(xiàn)實(shí)。

雜亂的數(shù)據(jù)問題：一旦確定了數(shù)據(jù)源，就需要對(duì)元數(shù)據(jù)進(jìn)行編目和組織，定義數(shù)據(jù)提取方法。Airbnb的數(shù)據(jù)工程師Maxime Beauchemin把數(shù)據(jù)工程師稱為數(shù)據(jù)倉庫的“圖書管理員”，他們把凌亂的數(shù)據(jù)梳理好。相互沖突的術(shù)語和不一致的數(shù)據(jù)會(huì)使整個(gè)流程變得拖沓。

盡管大多數(shù)數(shù)據(jù)看起來微不足道，但提煉和清洗后的數(shù)據(jù)卻能產(chǎn)生大價(jià)值。

　　為數(shù)據(jù)工程師減輕數(shù)據(jù)準(zhǔn)備壓力

數(shù)據(jù)準(zhǔn)備工作可能很乏味，但是如果正確使用了自動(dòng)化和工具，將會(huì)節(jié)省不少時(shí)間。在R / Python編程方面的專業(yè)知識(shí)，有助于簡化他們?cè)谧詣?dòng)化方面的工作。

數(shù)據(jù)冠層正在以前所未有的速度擴(kuò)張，越來越有趣也越來越混亂。數(shù)據(jù)工程師的職責(zé)就是清理混亂的數(shù)據(jù)生態(tài)系統(tǒng)，為所有人提供一個(gè)健康的數(shù)據(jù)集。