數(shù)據(jù)工程師，解救混亂大數(shù)據(jù)中的數(shù)據(jù)科學家

最近《福布斯》發(fā)表了一篇關于對2018“人工智能、大數(shù)據(jù)和分析”10大預測的文章中指出，數(shù)據(jù)工程師即將取代數(shù)據(jù)科學家的角色，成為炙手可熱的新一代職位。Gil Press寫道，Indeed.com上有13%的崗位是關于數(shù)據(jù)工程師的，而數(shù)據(jù)科學家所占的比例還不到1%。

有趣的是，筆者在LinkedIn上查到如亞馬遜和Facebook這樣的領先數(shù)據(jù)驅(qū)動公司發(fā)布的數(shù)據(jù)工程師職位描述。具備數(shù)據(jù)抽取、轉(zhuǎn)換、加載(ETL)流程和數(shù)據(jù)管道建設專業(yè)知識的全面了解，豐富的數(shù)據(jù)倉庫技能，是理想數(shù)據(jù)工程師的必備和基本素質(zhì)。

　　什么是數(shù)據(jù)工程師?

如果建筑工程涉及到建筑、道路和軌道等物理基礎設施的設計、規(guī)劃、建設和管理，數(shù)據(jù)工程也要應用同樣復雜的數(shù)據(jù)。

數(shù)據(jù)工程師計劃、設計、構建和維護一個可靠的體系架構，以確保穩(wěn)定的清潔和結構化數(shù)據(jù)流，以便進行進一步分析，并適用于生產(chǎn)環(huán)境。

數(shù)據(jù)工程之所以越來越引人注目，是因為企業(yè)被大量非結構化的有價值的商業(yè)信息數(shù)據(jù)所淹沒了。

隨著數(shù)據(jù)科學家和公民數(shù)據(jù)科學的統(tǒng)計和編程能力開始激增，管理和維護大量的數(shù)據(jù)成了他們共同的痛點。分析和構建模型的數(shù)據(jù)科學家，近80%的時間都花費在查找和清理數(shù)據(jù)。

數(shù)據(jù)工程師通過了解企業(yè)所需的數(shù)據(jù)、識別相關的新數(shù)據(jù)源、提取可用的格式數(shù)據(jù)，確保數(shù)據(jù)不出錯并將數(shù)據(jù)加載到數(shù)據(jù)科學家和分析師的工作中，從而實現(xiàn)對數(shù)據(jù)的救援計劃。

　　數(shù)據(jù)工程師必備工具集

數(shù)據(jù)工程師的工作內(nèi)容常常與數(shù)據(jù)架構師、數(shù)據(jù)庫管理員和軟件工程師的工作重疊，這意味著他們需要預先熟悉這些工作的內(nèi)容。數(shù)據(jù)架構師或管理員只局限于數(shù)據(jù)基礎架構的規(guī)劃和維護的位置上，但從起源到最終分析展覽的過程中，數(shù)據(jù)工程師都要參與在內(nèi)。

因此，數(shù)據(jù)工程師的技能包括：

* 精通R或Python編程

* 強大的SQL技能

* 基于Hadoop的技術，如MapReduce、Hive和Pig

* ETL和數(shù)據(jù)倉庫專業(yè)知識

除上述以外，數(shù)據(jù)工程師還應為傳統(tǒng)的ETL過程提供新的重新配置選項。在并行處理方法之后，為復制數(shù)據(jù)構建數(shù)據(jù)管道，將其轉(zhuǎn)移到存儲解決方案上，重新格式化和加入數(shù)據(jù)。

隨著多條數(shù)據(jù)流水線開始出現(xiàn)，Airflow和Luigi等開源工作流管理工具可用于創(chuàng)建和監(jiān)控數(shù)據(jù)流水線。因此，對這些工具的了解又是一個優(yōu)勢。數(shù)據(jù)工程師也可以使用機器學習來自動化數(shù)據(jù)管道流程。

　　數(shù)據(jù)準備 —— 主要標準

數(shù)據(jù)的清潔度和質(zhì)量越好，建模的效果越好，這就是從訓練模型中得出的見解。

Urthecast的數(shù)據(jù)工程師David Bianco解釋說，數(shù)據(jù)工程師的最終目標是向需要的人提供干凈、可用的數(shù)據(jù)。這種收集、清理、處理和整合數(shù)據(jù)的方法被稱為數(shù)據(jù)準備或數(shù)據(jù)處理。

數(shù)據(jù)分析中的兩個主要數(shù)據(jù)問題。

小(無)或大數(shù)據(jù)問題：數(shù)據(jù)工程師應該在公司內(nèi)外尋找新的數(shù)據(jù)來源。沒有足夠的數(shù)據(jù)來源，分析師和數(shù)據(jù)科學家會很難建立培訓模式。相反，大數(shù)據(jù)集也可能很難處理，而且“垃圾進，垃圾出”是數(shù)據(jù)科學中一個殘酷的現(xiàn)實。

雜亂的數(shù)據(jù)問題：一旦確定了數(shù)據(jù)源，就需要對元數(shù)據(jù)進行編目和組織，定義數(shù)據(jù)提取方法。Airbnb的數(shù)據(jù)工程師Maxime Beauchemin把數(shù)據(jù)工程師稱為數(shù)據(jù)倉庫的“圖書管理員”，他們把凌亂的數(shù)據(jù)梳理好。相互沖突的術語和不一致的數(shù)據(jù)會使整個流程變得拖沓。

盡管大多數(shù)數(shù)據(jù)看起來微不足道，但提煉和清洗后的數(shù)據(jù)卻能產(chǎn)生大價值。

　　為數(shù)據(jù)工程師減輕數(shù)據(jù)準備壓力

數(shù)據(jù)準備工作可能很乏味，但是如果正確使用了自動化和工具，將會節(jié)省不少時間。在R / Python編程方面的專業(yè)知識，有助于簡化他們在自動化方面的工作。

數(shù)據(jù)冠層正在以前所未有的速度擴張，越來越有趣也越來越混亂。數(shù)據(jù)工程師的職責就是清理混亂的數(shù)據(jù)生態(tài)系統(tǒng)，為所有人提供一個健康的數(shù)據(jù)集。