網飛數據工程師欣然·威貝爾。

盡管數據工程師(DE)是2019年增長最快的科技職位，但沒有太多關于數據工程面試期待什么以及如何準備的在線資源。

在過去的一年里，我在灣區(qū)的幾家科技公司面試了數據工程師的職位，并幫助許多人在面試中取得了成功。在這篇博文中，我將解釋數據工程面試中最重要的技術主題：簡歷、編程、SQL和系統(tǒng)設計。我還會教你如何準備面試的非技術部分，我相信這是成功面試的關鍵，但往往被求職者忽視。

但是，我不會討論任何公司的DE面試中提出的具體問題，因為這篇博客文章旨在作為一個通用指南，幫助您了解成為一名成功的數據工程師所需的基本技能。

簡歷

你的簡歷不僅是獲得招聘人員和招聘經理注意的敲門磚，也是最重要的項目清單，你應該準備好與面試官深入討論，以展示你的技能，包括技術能力、解決問題、團隊合作、溝通和項目管理。

我在簡歷深潛會議中看到的最常見的錯誤是只關注技術實現細節(jié)，而沒有解釋或理解系統(tǒng)設計中的權衡（例如，“我使用卡夫卡是因為我的經理告訴我的”）和項目的更大圖景。請記住，面試官不像您一樣了解您以前公司的業(yè)務問題和數據基礎設施，因此您需要提供足夠的上下文來幫助他們理解您的項目的技術復雜性和影響。因此，一個偉大的項目深潛的關鍵是把你的項目從頭到尾描繪一個完整的畫面，就像一個故事！

我強烈建議練習談論你最重要的數據項目（如果可能的話，和有工程背景的人），并確保在你的故事中回答以下問題：

• 這個項目的動機是什么？（例如，您的項目試圖解決什么數據/業(yè)務問題？）
• 你和哪些團隊合作過？你是怎么和他們一起工作的？
• 如果你是項目業(yè)主，你是如何計劃和推動的？
• 系統(tǒng)設計中做了哪些技術權衡？（例如，為什么使用framework X而不是其他替代方案？）
• 與您的項目相關的一些技術統(tǒng)計數據是什么？（例如，數據管道的吞吐量和延遲是多少？）
• 該項目的影響是什么？（例如，它產生了多少收入？有多少人使用了您的應用程序？）
• 你遇到了什么挑戰(zhàn)？你是怎么解決的？

在講述一個偉大的項目故事時，數字是很重要的。不要只是說，“它處理了很多數據……”，要查閱一些你項目的統(tǒng)計數據，并把它們寫在簡歷上。數字將展示項目的規(guī)模、影響和您對項目的深刻理解。它們也使你的項目更可信。（事實上，如果你連你的應用程序能處理多少數據都不知道，面試官可能會覺得很可疑。）

程序設計

好啦。所有軟件工程面試中最令人不快的部分來了：編碼面試，你被要求在30分鐘內用盡可能少的代碼行使用最有效的數據結構來實現復雜的算法（你可能永遠不會在工作中需要），并解釋你的代碼的時間和空間復雜性。

數據工程師角色的編碼面試通常在算法方面較輕，但在數據方面較重，面試問題通常更實用。例如，編寫一個函數來轉換輸入數據并產生所需的輸出數據。您仍將被期望使用最優(yōu)化的數據結構和算法，并優(yōu)雅地處理所有潛在的數據問題。由于數據工程師不僅僅使用內置庫來處理現實世界中的數據，編碼面試還可能要求您使用流行的開源庫（如AssParkandPandas）實現解決方案。如果需要，你通常可以在面試中查閱文件。如果工作要求精通特定的框架，請準備在編碼面試中使用這些框架。

在面試中編寫代碼要比在工作中編寫代碼難得多，因為你將承受在很短的時間內編寫出最好的代碼行的壓力。（我知道面試時你腦子一片空白的感覺有多可怕。）我強烈建議在編程網站上練習一些（但不要太多）編碼問題，比如EtCodeorHackerrank，讓自己在AcoderPad上編寫代碼。

對于數據工程角色，您需要學習哪些編程語言和框架？看看這篇博文。

SQL,SQL,SQL

對于數據工程師來說，SQL是一項非常重要的技能，因此我需要用一個單獨的部分來介紹它（另外，SQL實際上并不是一種編程語言）。事實上，除了編碼面試之外還要進行SQL面試是非常常見的。由于數據工程師負責構建可靠和可伸縮的數據處理和數據建模解決方案，您應該比數據分析師和數據科學家（他們主要使用SQL查詢生產就緒的數據）更擅長SQL，所以您需要知道的不僅僅是“從……中選擇……”。

“什么？SQL不只是一種查詢語言嗎？關于SQL我還應該知道什么？“

首先，SQL不僅僅是一種查詢語言。它也是許多大數據框架共享的數據處理模式，如SparkSQL、pandas、KafkaSQL等。因此，精通SQL也表明您可以有效地學習和使用這些框架。

一個優(yōu)秀的數據工程師應該能夠以良好的性能將復雜的業(yè)務問題轉換為SQL查詢和數據模型。為了編寫處理盡可能少的數據的高效查詢，您需要了解查詢引擎和優(yōu)化器是如何工作的。例如，有時使用CASE語句結合聚合函數可以取代JOIN和UNION，處理的數據要少得多。

查看outDatabase Management SystemsandNoSQL for Mere Mortalsif您想了解數據庫的所有魔力！

數據模型對如何構造查詢有很大影響。例如，盡可能利用表分區(qū)和索引。但是數據模型在很大程度上也依賴于查詢模式。要設計一個好的數據模型，您需要能夠將業(yè)務問題轉換為最終用戶將對表運行的SQL查詢。這就是SQL和數據建模面試經常并排進行的原因。（我將在下一節(jié)中更多地討論數據建模。）

您如何準備SQL編碼面試？看看這篇博文。

系統(tǒng)設計

系統(tǒng)設計是數據工程技術面試中最重要也是最困難的部分。在系統(tǒng)設計面試中，您將設計一個從端到端的數據解決方案，通常由三個部分組成：數據存儲、數據處理和數據建模。

最初的面試問題通常非常簡短和抽象（例如，從頭到尾地設計數據倉庫），您的工作是問后續(xù)問題以確定需求和用例，就像解決現實生活中的數據問題一樣。系統(tǒng)設計的主要挑戰(zhàn)是基于那些需求和用例選擇數據存儲系統(tǒng)和數據處理框架的最佳組合，有時存在不止一個最優(yōu)解決方案。通過系統(tǒng)設計面試的關鍵是理解數據工程中的關鍵原理和概念，以及各種數據系統(tǒng)和框架的權衡。如果你想在數據系統(tǒng)設計中打下堅實的基礎，設計數據密集型應用程序是必讀的書。

數據建模通常是系統(tǒng)設計面試的結束部分，但有時它是SQL面試的一部分。數據建模面試問題的一個例子是為獸醫(yī)診所的預約系統(tǒng)設計后端分析表。數據建模中最重要的原則是基于用例和查詢模式設計數據模型。同樣，您有責任澄清需求和用例，以便做出更好的設計選擇。

如果您對深入學習數據建模感興趣，請查看the data Warehouse Toolkit，這是Ralph Kimball編寫的數據倉庫圣經。

你（又名。最重要的部分）

既然我們已經涵蓋了數據工程面試中的所有技術主題，那么讓我們來談談非技術部分。面試不是考試，你只需要正確的答案就能通過，而是一系列的對話，看看你是否能快速學習，并與團隊一起解決問題。因此，在面試時做人，做自己是非常重要的：

• 好點。沒人想和混蛋一起工作。
• 進行對話。最好的面試通常就像談話。如果你想要信息或反饋，就問問題。
• 解決問題，而不是答案。就像在現實生活中，你并不總是馬上知道問題的正確答案。更重要的是展示你將如何處理這個問題，而不是只給出一個答案。
• 展示你對數據工程的熱情。為了成為一名更好的數據工程師，你在工作職責之外做了什么？

當面試官在面試你的時候，你也在面試他們。你喜歡和他們一起工作嗎？這個團隊會給你提供成長的機會嗎？你同意經理的觀點和管理風格嗎？找到一個好的團隊很難，所以明智地問你的問題。

所有的壓力

面試壓力很大。這是一個不完美的過程，陌生人只根據與你一個小時的互動來判斷你的專業(yè)能力，有時面試結果并不公平。當你不能在面試問題上更進一步，你覺得面試官在低頭看你時，這是令人沮喪的。一次又一次地被拒絕可能會對你的自尊造成毀滅性的打擊，你可能會開始認為自己不夠好。我也經歷過：從來沒有收到大多數工作申請的回音，所有我能得到的編碼面試都失敗了。我以為我永遠不會成為工程師。但我很高興我沒有放棄。

如果你因為面試而感到不知所措、沮喪或絕望，我想讓你知道你并不孤單。如果你的工作被拒絕了，那是他們的損失。對自己有耐心，保持希望，因為事情會變得更好，你只需要繼續(xù)努力！總是自信地出現在你的面試中，因為你足夠優(yōu)秀！