網(wǎng)飛數(shù)據(jù)工程師欣然·威貝爾。

盡管數(shù)據(jù)工程師(DE)是2019年增長最快的科技職位，但沒有太多關(guān)于數(shù)據(jù)工程面試期待什么以及如何準(zhǔn)備的在線資源。

在過去的一年里，我在灣區(qū)的幾家科技公司面試了數(shù)據(jù)工程師的職位，并幫助許多人在面試中取得了成功。在這篇博文中，我將解釋數(shù)據(jù)工程面試中最重要的技術(shù)主題：簡歷、編程、SQL和系統(tǒng)設(shè)計。我還會教你如何準(zhǔn)備面試的非技術(shù)部分，我相信這是成功面試的關(guān)鍵，但往往被求職者忽視。

但是，我不會討論任何公司的DE面試中提出的具體問題，因為這篇博客文章旨在作為一個通用指南，幫助您了解成為一名成功的數(shù)據(jù)工程師所需的基本技能。

簡歷

你的簡歷不僅是獲得招聘人員和招聘經(jīng)理注意的敲門磚，也是最重要的項目清單，你應(yīng)該準(zhǔn)備好與面試官深入討論，以展示你的技能，包括技術(shù)能力、解決問題、團(tuán)隊合作、溝通和項目管理。

我在簡歷深潛會議中看到的最常見的錯誤是只關(guān)注技術(shù)實現(xiàn)細(xì)節(jié)，而沒有解釋或理解系統(tǒng)設(shè)計中的權(quán)衡（例如，“我使用卡夫卡是因為我的經(jīng)理告訴我的”）和項目的更大圖景。請記住，面試官不像您一樣了解您以前公司的業(yè)務(wù)問題和數(shù)據(jù)基礎(chǔ)設(shè)施，因此您需要提供足夠的上下文來幫助他們理解您的項目的技術(shù)復(fù)雜性和影響。因此，一個偉大的項目深潛的關(guān)鍵是把你的項目從頭到尾描繪一個完整的畫面，就像一個故事！

我強(qiáng)烈建議練習(xí)談?wù)撃阕钪匾臄?shù)據(jù)項目（如果可能的話，和有工程背景的人），并確保在你的故事中回答以下問題：

• 這個項目的動機(jī)是什么？（例如，您的項目試圖解決什么數(shù)據(jù)/業(yè)務(wù)問題？）
• 你和哪些團(tuán)隊合作過？你是怎么和他們一起工作的？
• 如果你是項目業(yè)主，你是如何計劃和推動的？
• 系統(tǒng)設(shè)計中做了哪些技術(shù)權(quán)衡？（例如，為什么使用framework X而不是其他替代方案？）
• 與您的項目相關(guān)的一些技術(shù)統(tǒng)計數(shù)據(jù)是什么？（例如，數(shù)據(jù)管道的吞吐量和延遲是多少？）
• 該項目的影響是什么？（例如，它產(chǎn)生了多少收入？有多少人使用了您的應(yīng)用程序？）
• 你遇到了什么挑戰(zhàn)？你是怎么解決的？

在講述一個偉大的項目故事時，數(shù)字是很重要的。不要只是說，“它處理了很多數(shù)據(jù)……”，要查閱一些你項目的統(tǒng)計數(shù)據(jù)，并把它們寫在簡歷上。數(shù)字將展示項目的規(guī)模、影響和您對項目的深刻理解。它們也使你的項目更可信。（事實上，如果你連你的應(yīng)用程序能處理多少數(shù)據(jù)都不知道，面試官可能會覺得很可疑。）

程序設(shè)計

好啦。所有軟件工程面試中最令人不快的部分來了：編碼面試，你被要求在30分鐘內(nèi)用盡可能少的代碼行使用最有效的數(shù)據(jù)結(jié)構(gòu)來實現(xiàn)復(fù)雜的算法（你可能永遠(yuǎn)不會在工作中需要），并解釋你的代碼的時間和空間復(fù)雜性。

數(shù)據(jù)工程師角色的編碼面試通常在算法方面較輕，但在數(shù)據(jù)方面較重，面試問題通常更實用。例如，編寫一個函數(shù)來轉(zhuǎn)換輸入數(shù)據(jù)并產(chǎn)生所需的輸出數(shù)據(jù)。您仍將被期望使用最優(yōu)化的數(shù)據(jù)結(jié)構(gòu)和算法，并優(yōu)雅地處理所有潛在的數(shù)據(jù)問題。由于數(shù)據(jù)工程師不僅僅使用內(nèi)置庫來處理現(xiàn)實世界中的數(shù)據(jù)，編碼面試還可能要求您使用流行的開源庫（如AssParkandPandas）實現(xiàn)解決方案。如果需要，你通常可以在面試中查閱文件。如果工作要求精通特定的框架，請準(zhǔn)備在編碼面試中使用這些框架。

在面試中編寫代碼要比在工作中編寫代碼難得多，因為你將承受在很短的時間內(nèi)編寫出最好的代碼行的壓力。（我知道面試時你腦子一片空白的感覺有多可怕。）我強(qiáng)烈建議在編程網(wǎng)站上練習(xí)一些（但不要太多）編碼問題，比如EtCodeorHackerrank，讓自己在AcoderPad上編寫代碼。

對于數(shù)據(jù)工程角色，您需要學(xué)習(xí)哪些編程語言和框架？看看這篇博文。

SQL,SQL,SQL

對于數(shù)據(jù)工程師來說，SQL是一項非常重要的技能，因此我需要用一個單獨的部分來介紹它（另外，SQL實際上并不是一種編程語言）。事實上，除了編碼面試之外還要進(jìn)行SQL面試是非常常見的。由于數(shù)據(jù)工程師負(fù)責(zé)構(gòu)建可靠和可伸縮的數(shù)據(jù)處理和數(shù)據(jù)建模解決方案，您應(yīng)該比數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家（他們主要使用SQL查詢生產(chǎn)就緒的數(shù)據(jù)）更擅長SQL，所以您需要知道的不僅僅是“從……中選擇……”。

“什么？SQL不只是一種查詢語言嗎？關(guān)于SQL我還應(yīng)該知道什么？“

首先，SQL不僅僅是一種查詢語言。它也是許多大數(shù)據(jù)框架共享的數(shù)據(jù)處理模式，如SparkSQL、pandas、KafkaSQL等。因此，精通SQL也表明您可以有效地學(xué)習(xí)和使用這些框架。

一個優(yōu)秀的數(shù)據(jù)工程師應(yīng)該能夠以良好的性能將復(fù)雜的業(yè)務(wù)問題轉(zhuǎn)換為SQL查詢和數(shù)據(jù)模型。為了編寫處理盡可能少的數(shù)據(jù)的高效查詢，您需要了解查詢引擎和優(yōu)化器是如何工作的。例如，有時使用CASE語句結(jié)合聚合函數(shù)可以取代JOIN和UNION，處理的數(shù)據(jù)要少得多。

查看outDatabase Management SystemsandNoSQL for Mere Mortalsif您想了解數(shù)據(jù)庫的所有魔力！

數(shù)據(jù)模型對如何構(gòu)造查詢有很大影響。例如，盡可能利用表分區(qū)和索引。但是數(shù)據(jù)模型在很大程度上也依賴于查詢模式。要設(shè)計一個好的數(shù)據(jù)模型，您需要能夠?qū)I(yè)務(wù)問題轉(zhuǎn)換為最終用戶將對表運行的SQL查詢。這就是SQL和數(shù)據(jù)建模面試經(jīng)常并排進(jìn)行的原因。（我將在下一節(jié)中更多地討論數(shù)據(jù)建模。）

您如何準(zhǔn)備SQL編碼面試？看看這篇博文。

系統(tǒng)設(shè)計

系統(tǒng)設(shè)計是數(shù)據(jù)工程技術(shù)面試中最重要也是最困難的部分。在系統(tǒng)設(shè)計面試中，您將設(shè)計一個從端到端的數(shù)據(jù)解決方案，通常由三個部分組成：數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)建模。

最初的面試問題通常非常簡短和抽象（例如，從頭到尾地設(shè)計數(shù)據(jù)倉庫），您的工作是問后續(xù)問題以確定需求和用例，就像解決現(xiàn)實生活中的數(shù)據(jù)問題一樣。系統(tǒng)設(shè)計的主要挑戰(zhàn)是基于那些需求和用例選擇數(shù)據(jù)存儲系統(tǒng)和數(shù)據(jù)處理框架的最佳組合，有時存在不止一個最優(yōu)解決方案。通過系統(tǒng)設(shè)計面試的關(guān)鍵是理解數(shù)據(jù)工程中的關(guān)鍵原理和概念，以及各種數(shù)據(jù)系統(tǒng)和框架的權(quán)衡。如果你想在數(shù)據(jù)系統(tǒng)設(shè)計中打下堅實的基礎(chǔ)，設(shè)計數(shù)據(jù)密集型應(yīng)用程序是必讀的書。

數(shù)據(jù)建模通常是系統(tǒng)設(shè)計面試的結(jié)束部分，但有時它是SQL面試的一部分。數(shù)據(jù)建模面試問題的一個例子是為獸醫(yī)診所的預(yù)約系統(tǒng)設(shè)計后端分析表。數(shù)據(jù)建模中最重要的原則是基于用例和查詢模式設(shè)計數(shù)據(jù)模型。同樣，您有責(zé)任澄清需求和用例，以便做出更好的設(shè)計選擇。

如果您對深入學(xué)習(xí)數(shù)據(jù)建模感興趣，請查看the data Warehouse Toolkit，這是Ralph Kimball編寫的數(shù)據(jù)倉庫圣經(jīng)。

你（又名。最重要的部分）

既然我們已經(jīng)涵蓋了數(shù)據(jù)工程面試中的所有技術(shù)主題，那么讓我們來談?wù)劮羌夹g(shù)部分。面試不是考試，你只需要正確的答案就能通過，而是一系列的對話，看看你是否能快速學(xué)習(xí)，并與團(tuán)隊一起解決問題。因此，在面試時做人，做自己是非常重要的：

• 好點。沒人想和混蛋一起工作。
• 進(jìn)行對話。最好的面試通常就像談話。如果你想要信息或反饋，就問問題。
• 解決問題，而不是答案。就像在現(xiàn)實生活中，你并不總是馬上知道問題的正確答案。更重要的是展示你將如何處理這個問題，而不是只給出一個答案。
• 展示你對數(shù)據(jù)工程的熱情。為了成為一名更好的數(shù)據(jù)工程師，你在工作職責(zé)之外做了什么？

當(dāng)面試官在面試你的時候，你也在面試他們。你喜歡和他們一起工作嗎？這個團(tuán)隊會給你提供成長的機(jī)會嗎？你同意經(jīng)理的觀點和管理風(fēng)格嗎？找到一個好的團(tuán)隊很難，所以明智地問你的問題。

所有的壓力

面試壓力很大。這是一個不完美的過程，陌生人只根據(jù)與你一個小時的互動來判斷你的專業(yè)能力，有時面試結(jié)果并不公平。當(dāng)你不能在面試問題上更進(jìn)一步，你覺得面試官在低頭看你時，這是令人沮喪的。一次又一次地被拒絕可能會對你的自尊造成毀滅性的打擊，你可能會開始認(rèn)為自己不夠好。我也經(jīng)歷過：從來沒有收到大多數(shù)工作申請的回音，所有我能得到的編碼面試都失敗了。我以為我永遠(yuǎn)不會成為工程師。但我很高興我沒有放棄。

如果你因為面試而感到不知所措、沮喪或絕望，我想讓你知道你并不孤單。如果你的工作被拒絕了，那是他們的損失。對自己有耐心，保持希望，因為事情會變得更好，你只需要繼續(xù)努力！總是自信地出現(xiàn)在你的面試中，因為你足夠優(yōu)秀！