數據科學家與數據工程師

數據科學家和數據工程師的主要區(qū)別，可以用ETL和DAD的區(qū)別來解釋。

ETL(提取/變換/載入)是數據工程師，還有數據架構師或數據庫管理員(DBA)的職責。

DAD(發(fā)現/獲取/提煉)是數據科學家的職責。

數據工程師往往把重點放在軟件工程、數據庫設計、生產環(huán)境代碼上，并確保數據在來源(在那里它被收集)和目的地之間平穩(wěn)地流動(在目的地那里通過統(tǒng)計摘要提取和處理，或通過數據科學算法產生結果，并最終轉移到源或其他地方)。數據科學家卻需要了解數據的流動和如何優(yōu)化(尤其是使用Hadoop時)。實際上不是優(yōu)化數據流本身，而是數據處理的步驟，從數據中提取出價值。數據科學家與工程師和商業(yè)人員一起工作，定義指標、設計數據收集方案，并確保數據科學流程與企業(yè)數據系統(tǒng)(存儲、數據流)有效地集成。對于在小公司工作的數據科學家，尤其如此，這也是數據科學家應該能編寫可被工程師重復使用的代碼的原因。

有時數據工程師也操作DAD，有時數據科學家也操作ETL，但這并不常見，且他們通常是在公司內部才這么做。例如，數據工程師可以做一些統(tǒng)計分析，以優(yōu)化一些數據庫流程，而數據科學家可以做一些數據庫管理，以管理一個保存匯總信息的、小型的、本地的私有數據庫。

DAD包含以下內容。

發(fā)現：識別良好的數據源和指標。有時(與數據工程師和業(yè)務分析師一起工作)，對應該創(chuàng)建的數據提出需求。

獲?。韩@取數據，有時通過API、網絡爬蟲、互聯(lián)網下載或數據庫，有時是從內存數據庫獲取數據。

提煉：從數據中提取信息，做出決策，增加投資回報率，并采取行動(比如，在自動投標系統(tǒng)中，確定最佳的投標價格)。它包括以下內容。

— 通過創(chuàng)建數據字典和進行探索性分析，對數據進行探索。

— 清洗數據雜質。

— 通過數據匯總進一步提煉數據，有時是通過多層匯總或分層匯總來實現的。

— 對數據進行統(tǒng)計分析(有時會采取像實驗設計這樣的做法，所以在前面的“獲取”階段也可以進行)，自動和手動都可以?？赡苄枰O計統(tǒng)計模型，也可能不需要。

— 在某些自動過程中呈現結果或集成結果。

數據科學是計算機科學、商業(yè)工程、統(tǒng)計學、數據挖掘、機器學習、運籌學、六西格瑪、自動化和行業(yè)知識的交叉點。這些不同的領域，加上業(yè)務的愿景和行動，匯集了一系列的技術、流程和方法。數據科學是連接不同組件的過程，有助于業(yè)務優(yōu)化，并消除那些降低業(yè)務效率的孤島。它也有自己獨特的核心，(例如)包括以下主題。

高級可視化。

分析即服務(AaaS)和API服務。

大規(guī)模數據集的聚類與分類。

計算大數據的相關性和R平方。

任何數據庫、SQL或NoSQL都應該有的11個特征。

快速特征選擇。

Hadoop/Map-Reduce。

網絡拓撲。

大數據中關鍵詞的相關性。

在常規(guī)空間、超平面、球面上或單純形上的線性回歸。

無模型置信區(qū)間。

特征的預測能力。

無模型的統(tǒng)計建模。

大數據“詛咒”。

MapReduce不能做的事。

請記住，一些雇主尋找的是具備豐富統(tǒng)計知識的Java或數據庫開發(fā)人員。這些開發(fā)人員是非常罕見的，所以雇主反而有時會試圖雇用數據科學家，但希望他在開發(fā)生產代碼方面很優(yōu)秀。所以職位到底是需要具備統(tǒng)計知識的Java開發(fā)者，還是具有較強的Java技術的統(tǒng)計學家，你應該事先詢問雇主(如果可能的話，在電話面試的過程中去詢問)。然而，有時招聘經理不知道他真正想要的是什么，如果你告訴他你的專業(yè)知識所帶來的附加價值，你可能會說服他雇用你，哪怕欠缺他們預期的某些技能。對于雇主，招聘Java軟件工程師，再要他們學習統(tǒng)計學，比反過來更容易。

數據科學家與統(tǒng)計學家

許多統(tǒng)計學家認為，數據科學是關于分析數據的，但它遠不止分析數據。數據科學還涉及實現算法、自動處理數據，并提供自動化的預測和行動，比如：

分析美國宇航局的照片，以尋找新的行星或小行星。

自動報價系統(tǒng)。

自動駕駛(飛機和汽車)。

在Amazon.com或Facebook上推薦書和朋友。

針對所有酒店客房的客戶定制(實時)定價系統(tǒng)。

在計算化學中模擬用于癌癥治療的新分子。

流行病的早期檢測。

(實時)估計美國所有房屋的價值(Zillow.com)。

高頻交易。

為用戶和網頁匹配谷歌廣告，以最大限度地提高轉化率。

為所有谷歌搜索返回高度相關的結果。

信用卡交易評分(欺詐檢測)。

稅收欺詐檢測與恐怖行為檢測。

天氣預報。

所有這些都涉及統(tǒng)計科學和TB級的數據。大多數做這些類型的項目的人，并不稱自己為統(tǒng)計學家。他們稱自己為數據科學家。

幾個世紀以來，統(tǒng)計學家一直在收集數據并進行線性回歸分析。300年前、20年前、現在或在2015年由統(tǒng)計學家進行的DAD，跟如今數據科學家進行的DAD大相徑庭。關鍵是，最終隨著越來越多的統(tǒng)計學家學會這些新技術，而更多的數據科學家學會統(tǒng)計科學知識(采樣、實驗設計、置信區(qū)間——不只是第5章中描述的那些)，數據科學家和統(tǒng)計學家之間的邊界將變得更加模糊。事實上，我可以看到另一種數據科學家正在興起：具備深厚統(tǒng)計知識的數據科學家。

數據科學家和計算機科學家的區(qū)別是，數據科學家有更強大的統(tǒng)計學背景，特別是在計算統(tǒng)計方面，但有時則是在實驗設計、采樣和蒙特卡洛模擬方面。

數據科學家與業(yè)務分析師

業(yè)務分析師專注于數據庫設計(高層次的數據庫建模，包括指標定義、儀表盤設計、檢索和生成管理報告，并設計報警系統(tǒng))、評估各種業(yè)務項目和支出的投資回報率及預算問題。一些業(yè)務分析師從事營銷或財務的規(guī)劃、優(yōu)化和風險管理工作。許多業(yè)務分析師從事高層次的項目管理工作，直接向公司主管匯報。

有些任務也由數據科學家完成，特別是在較小的公司：指標的創(chuàng)建和定義、高層次的數據庫設計(收集什么樣的數據以及如何收集)，或計算營銷，甚至增長黑客(最近創(chuàng)造的一個詞，來形容一種角色，它能夠快速增加公司互聯(lián)網訪問流量，擴大公司或產品的影響力，這種工作涉及較強的工程和分析技能)。

數據科學家讓業(yè)務分析師有提升空間，例如，幫助將報表制作過程自動化，使數據提取速度更快。數據科學家還可以教給業(yè)務分析師FTP和基礎的UNIX指令知識：ls -l、rm -i、head、tail、cat、cp、mv、sort、grep、uniq -c及管道和重定向操作符(|, >)。然后，可以在數據庫服務器上編程或安裝一段代碼(業(yè)務分析師通常是通過瀏覽器或工具，如Toad或Brio訪問服務器)，以檢索數據。所有的業(yè)務分析師都必須做的是：

1.創(chuàng)建SQL查詢(甚至要有可視化工具)，并保存為SQL文本文件。

2.將它上傳到服務器并運行程序(例如，一個Python腳本，讀取SQL文件并執(zhí)行它，檢索數據，并將結果存儲在CSV文件中)。

3.輸出結果(CSV文件)到業(yè)務分析師的電腦中，做進一步分析。

對于業(yè)務分析師和數據科學家，這樣的合作是雙贏的。在實踐中，這樣的合作已經幫助業(yè)務分析師提取的數據比他們過去所使用的數據要大100倍，而且提取速度快10倍。

總之，數據科學家并不是業(yè)務分析師，但前者可以極大地幫助后者，包括幫助業(yè)務分析師將任務自動化。此外，如果數據科學家能帶來額外的價值，具備額外的經驗，他更容易找到工作，特別是在只有一個職位預算的公司，當雇主不能確定是雇用業(yè)務分析師(開展整體分析和數據任務)還是數據科學家(有商業(yè)頭腦，可以執(zhí)行一些通常分配給業(yè)務分析師的任務)時。在一般情況下，業(yè)務分析師是優(yōu)先聘請的，但如果數據和算法變得過于復雜，也會雇用數據科學家。如果你創(chuàng)建自己的創(chuàng)業(yè)公司，你需要扮演兩個角色：數據科學家和業(yè)務分析師。

13個真實世界情景中的數據科學應用

現在讓我們看看13個在真實世界情景下的例子，了解現代數據科學家可以幫助我們做些什么。這些例子將有助于你學習如何專注于一個問題和如何形式化一個問題，以及如何仔細評估所有潛在問題——總之，是學習數據科學家在提出解決方案之前，如何定位問題和進行戰(zhàn)略性思考。你也會看到為什么一些廣泛使用的技術，如標準回歸，可能并不適合所有情況。

數據科學家的思維方式不同于工程師、運籌學專業(yè)人士、計算機科學家。雖然運籌學涉及很多分析，但這一領域的焦點是具體業(yè)務優(yōu)化層面，如庫存管理和質量控制。運籌學涉及國防、經濟、工程、軍事等領域。它采用馬爾可夫模型、蒙特卡洛模擬、排隊論、隨機過程，以及(由于歷史原因)Matlab和Informatica工具。

數據科學會遇到兩種基本類型的問題。

1.內部數據科學問題，如損壞的數據、粗心的分析或使用不恰當的技術。內部問題不是針對業(yè)務而言，而是針對數據科學社區(qū)。因此，解決辦法包括訓練數據科學家更好地工作，要他們遵循最佳做法。

2.業(yè)務應用問題是現實世界中的問題，因此要尋求解決方案，如欺詐檢測，或識別一個因素是原因還是結果。這些可能涉及內部或外部(第三方)數據。