網(wǎng)飛數(shù)據(jù)工程師欣然·威貝爾。

盡管數(shù)據(jù)工程師(DE)是2019年增長(zhǎng)最快的科技職位，但沒(méi)有太多關(guān)于數(shù)據(jù)工程面試期待什么以及如何準(zhǔn)備的在線資源。

在過(guò)去的一年里，我在灣區(qū)的幾家科技公司面試了數(shù)據(jù)工程師的職位，并幫助許多人在面試中取得了成功。在這篇博文中，我將解釋數(shù)據(jù)工程面試中最重要的技術(shù)主題：簡(jiǎn)歷、編程、SQL和系統(tǒng)設(shè)計(jì)。我還會(huì)教你如何準(zhǔn)備面試的非技術(shù)部分，我相信這是成功面試的關(guān)鍵，但往往被求職者忽視。

但是，我不會(huì)討論任何公司的DE面試中提出的具體問(wèn)題，因?yàn)檫@篇博客文章旨在作為一個(gè)通用指南，幫助您了解成為一名成功的數(shù)據(jù)工程師所需的基本技能。

簡(jiǎn)歷

你的簡(jiǎn)歷不僅是獲得招聘人員和招聘經(jīng)理注意的敲門(mén)磚，也是最重要的項(xiàng)目清單，你應(yīng)該準(zhǔn)備好與面試官深入討論，以展示你的技能，包括技術(shù)能力、解決問(wèn)題、團(tuán)隊(duì)合作、溝通和項(xiàng)目管理。

我在簡(jiǎn)歷深潛會(huì)議中看到的最常見(jiàn)的錯(cuò)誤是只關(guān)注技術(shù)實(shí)現(xiàn)細(xì)節(jié)，而沒(méi)有解釋或理解系統(tǒng)設(shè)計(jì)中的權(quán)衡（例如，“我使用卡夫卡是因?yàn)槲业慕?jīng)理告訴我的”）和項(xiàng)目的更大圖景。請(qǐng)記住，面試官不像您一樣了解您以前公司的業(yè)務(wù)問(wèn)題和數(shù)據(jù)基礎(chǔ)設(shè)施，因此您需要提供足夠的上下文來(lái)幫助他們理解您的項(xiàng)目的技術(shù)復(fù)雜性和影響。因此，一個(gè)偉大的項(xiàng)目深潛的關(guān)鍵是把你的項(xiàng)目從頭到尾描繪一個(gè)完整的畫(huà)面，就像一個(gè)故事！

我強(qiáng)烈建議練習(xí)談?wù)撃阕钪匾臄?shù)據(jù)項(xiàng)目（如果可能的話，和有工程背景的人），并確保在你的故事中回答以下問(wèn)題：

• 這個(gè)項(xiàng)目的動(dòng)機(jī)是什么？（例如，您的項(xiàng)目試圖解決什么數(shù)據(jù)/業(yè)務(wù)問(wèn)題？）
• 你和哪些團(tuán)隊(duì)合作過(guò)？你是怎么和他們一起工作的？
• 如果你是項(xiàng)目業(yè)主，你是如何計(jì)劃和推動(dòng)的？
• 系統(tǒng)設(shè)計(jì)中做了哪些技術(shù)權(quán)衡？（例如，為什么使用framework X而不是其他替代方案？）
• 與您的項(xiàng)目相關(guān)的一些技術(shù)統(tǒng)計(jì)數(shù)據(jù)是什么？（例如，數(shù)據(jù)管道的吞吐量和延遲是多少？）
• 該項(xiàng)目的影響是什么？（例如，它產(chǎn)生了多少收入？有多少人使用了您的應(yīng)用程序？）
• 你遇到了什么挑戰(zhàn)？你是怎么解決的？

在講述一個(gè)偉大的項(xiàng)目故事時(shí)，數(shù)字是很重要的。不要只是說(shuō)，“它處理了很多數(shù)據(jù)……”，要查閱一些你項(xiàng)目的統(tǒng)計(jì)數(shù)據(jù)，并把它們寫(xiě)在簡(jiǎn)歷上。數(shù)字將展示項(xiàng)目的規(guī)模、影響和您對(duì)項(xiàng)目的深刻理解。它們也使你的項(xiàng)目更可信。（事實(shí)上，如果你連你的應(yīng)用程序能處理多少數(shù)據(jù)都不知道，面試官可能會(huì)覺(jué)得很可疑。）

程序設(shè)計(jì)

好啦。所有軟件工程面試中最令人不快的部分來(lái)了：編碼面試，你被要求在30分鐘內(nèi)用盡可能少的代碼行使用最有效的數(shù)據(jù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)復(fù)雜的算法（你可能永遠(yuǎn)不會(huì)在工作中需要），并解釋你的代碼的時(shí)間和空間復(fù)雜性。

數(shù)據(jù)工程師角色的編碼面試通常在算法方面較輕，但在數(shù)據(jù)方面較重，面試問(wèn)題通常更實(shí)用。例如，編寫(xiě)一個(gè)函數(shù)來(lái)轉(zhuǎn)換輸入數(shù)據(jù)并產(chǎn)生所需的輸出數(shù)據(jù)。您仍將被期望使用最優(yōu)化的數(shù)據(jù)結(jié)構(gòu)和算法，并優(yōu)雅地處理所有潛在的數(shù)據(jù)問(wèn)題。由于數(shù)據(jù)工程師不僅僅使用內(nèi)置庫(kù)來(lái)處理現(xiàn)實(shí)世界中的數(shù)據(jù)，編碼面試還可能要求您使用流行的開(kāi)源庫(kù)（如AssParkandPandas）實(shí)現(xiàn)解決方案。如果需要，你通?？梢栽诿嬖囍胁殚單募Ｈ绻ぷ饕缶ㄌ囟ǖ目蚣?，請(qǐng)準(zhǔn)備在編碼面試中使用這些框架。

在面試中編寫(xiě)代碼要比在工作中編寫(xiě)代碼難得多，因?yàn)槟銓⒊惺茉诤芏痰臅r(shí)間內(nèi)編寫(xiě)出最好的代碼行的壓力。（我知道面試時(shí)你腦子一片空白的感覺(jué)有多可怕。）我強(qiáng)烈建議在編程網(wǎng)站上練習(xí)一些（但不要太多）編碼問(wèn)題，比如EtCodeorHackerrank，讓自己在AcoderPad上編寫(xiě)代碼。

對(duì)于數(shù)據(jù)工程角色，您需要學(xué)習(xí)哪些編程語(yǔ)言和框架？看看這篇博文。

SQL,SQL,SQL

對(duì)于數(shù)據(jù)工程師來(lái)說(shuō)，SQL是一項(xiàng)非常重要的技能，因此我需要用一個(gè)單獨(dú)的部分來(lái)介紹它（另外，SQL實(shí)際上并不是一種編程語(yǔ)言）。事實(shí)上，除了編碼面試之外還要進(jìn)行SQL面試是非常常見(jiàn)的。由于數(shù)據(jù)工程師負(fù)責(zé)構(gòu)建可靠和可伸縮的數(shù)據(jù)處理和數(shù)據(jù)建模解決方案，您應(yīng)該比數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家（他們主要使用SQL查詢生產(chǎn)就緒的數(shù)據(jù)）更擅長(zhǎng)SQL，所以您需要知道的不僅僅是“從……中選擇……”。

“什么？SQL不只是一種查詢語(yǔ)言嗎？關(guān)于SQL我還應(yīng)該知道什么？“

首先，SQL不僅僅是一種查詢語(yǔ)言。它也是許多大數(shù)據(jù)框架共享的數(shù)據(jù)處理模式，如SparkSQL、pandas、KafkaSQL等。因此，精通SQL也表明您可以有效地學(xué)習(xí)和使用這些框架。

一個(gè)優(yōu)秀的數(shù)據(jù)工程師應(yīng)該能夠以良好的性能將復(fù)雜的業(yè)務(wù)問(wèn)題轉(zhuǎn)換為SQL查詢和數(shù)據(jù)模型。為了編寫(xiě)處理盡可能少的數(shù)據(jù)的高效查詢，您需要了解查詢引擎和優(yōu)化器是如何工作的。例如，有時(shí)使用CASE語(yǔ)句結(jié)合聚合函數(shù)可以取代JOIN和UNION，處理的數(shù)據(jù)要少得多。

查看outDatabase Management SystemsandNoSQL for Mere Mortalsif您想了解數(shù)據(jù)庫(kù)的所有魔力！

數(shù)據(jù)模型對(duì)如何構(gòu)造查詢有很大影響。例如，盡可能利用表分區(qū)和索引。但是數(shù)據(jù)模型在很大程度上也依賴于查詢模式。要設(shè)計(jì)一個(gè)好的數(shù)據(jù)模型，您需要能夠?qū)I(yè)務(wù)問(wèn)題轉(zhuǎn)換為最終用戶將對(duì)表運(yùn)行的SQL查詢。這就是SQL和數(shù)據(jù)建模面試經(jīng)常并排進(jìn)行的原因。（我將在下一節(jié)中更多地討論數(shù)據(jù)建模。）

您如何準(zhǔn)備SQL編碼面試？看看這篇博文。

系統(tǒng)設(shè)計(jì)

系統(tǒng)設(shè)計(jì)是數(shù)據(jù)工程技術(shù)面試中最重要也是最困難的部分。在系統(tǒng)設(shè)計(jì)面試中，您將設(shè)計(jì)一個(gè)從端到端的數(shù)據(jù)解決方案，通常由三個(gè)部分組成：數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和數(shù)據(jù)建模。

最初的面試問(wèn)題通常非常簡(jiǎn)短和抽象（例如，從頭到尾地設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)），您的工作是問(wèn)后續(xù)問(wèn)題以確定需求和用例，就像解決現(xiàn)實(shí)生活中的數(shù)據(jù)問(wèn)題一樣。系統(tǒng)設(shè)計(jì)的主要挑戰(zhàn)是基于那些需求和用例選擇數(shù)據(jù)存儲(chǔ)系統(tǒng)和數(shù)據(jù)處理框架的最佳組合，有時(shí)存在不止一個(gè)最優(yōu)解決方案。通過(guò)系統(tǒng)設(shè)計(jì)面試的關(guān)鍵是理解數(shù)據(jù)工程中的關(guān)鍵原理和概念，以及各種數(shù)據(jù)系統(tǒng)和框架的權(quán)衡。如果你想在數(shù)據(jù)系統(tǒng)設(shè)計(jì)中打下堅(jiān)實(shí)的基礎(chǔ)，設(shè)計(jì)數(shù)據(jù)密集型應(yīng)用程序是必讀的書(shū)。

數(shù)據(jù)建模通常是系統(tǒng)設(shè)計(jì)面試的結(jié)束部分，但有時(shí)它是SQL面試的一部分。數(shù)據(jù)建模面試問(wèn)題的一個(gè)例子是為獸醫(yī)診所的預(yù)約系統(tǒng)設(shè)計(jì)后端分析表。數(shù)據(jù)建模中最重要的原則是基于用例和查詢模式設(shè)計(jì)數(shù)據(jù)模型。同樣，您有責(zé)任澄清需求和用例，以便做出更好的設(shè)計(jì)選擇。

如果您對(duì)深入學(xué)習(xí)數(shù)據(jù)建模感興趣，請(qǐng)查看the data Warehouse Toolkit，這是Ralph Kimball編寫(xiě)的數(shù)據(jù)倉(cāng)庫(kù)圣經(jīng)。

你（又名。最重要的部分）

既然我們已經(jīng)涵蓋了數(shù)據(jù)工程面試中的所有技術(shù)主題，那么讓我們來(lái)談?wù)劮羌夹g(shù)部分。面試不是考試，你只需要正確的答案就能通過(guò)，而是一系列的對(duì)話，看看你是否能快速學(xué)習(xí)，并與團(tuán)隊(duì)一起解決問(wèn)題。因此，在面試時(shí)做人，做自己是非常重要的：

• 好點(diǎn)。沒(méi)人想和混蛋一起工作。
• 進(jìn)行對(duì)話。最好的面試通常就像談話。如果你想要信息或反饋，就問(wèn)問(wèn)題。
• 解決問(wèn)題，而不是答案。就像在現(xiàn)實(shí)生活中，你并不總是馬上知道問(wèn)題的正確答案。更重要的是展示你將如何處理這個(gè)問(wèn)題，而不是只給出一個(gè)答案。
• 展示你對(duì)數(shù)據(jù)工程的熱情。為了成為一名更好的數(shù)據(jù)工程師，你在工作職責(zé)之外做了什么？

當(dāng)面試官在面試你的時(shí)候，你也在面試他們。你喜歡和他們一起工作嗎？這個(gè)團(tuán)隊(duì)會(huì)給你提供成長(zhǎng)的機(jī)會(huì)嗎？你同意經(jīng)理的觀點(diǎn)和管理風(fēng)格嗎？找到一個(gè)好的團(tuán)隊(duì)很難，所以明智地問(wèn)你的問(wèn)題。

所有的壓力

面試壓力很大。這是一個(gè)不完美的過(guò)程，陌生人只根據(jù)與你一個(gè)小時(shí)的互動(dòng)來(lái)判斷你的專業(yè)能力，有時(shí)面試結(jié)果并不公平。當(dāng)你不能在面試問(wèn)題上更進(jìn)一步，你覺(jué)得面試官在低頭看你時(shí)，這是令人沮喪的。一次又一次地被拒絕可能會(huì)對(duì)你的自尊造成毀滅性的打擊，你可能會(huì)開(kāi)始認(rèn)為自己不夠好。我也經(jīng)歷過(guò)：從來(lái)沒(méi)有收到大多數(shù)工作申請(qǐng)的回音，所有我能得到的編碼面試都失敗了。我以為我永遠(yuǎn)不會(huì)成為工程師。但我很高興我沒(méi)有放棄。

如果你因?yàn)槊嬖嚩械讲恢?、沮喪或絕望，我想讓你知道你并不孤單。如果你的工作被拒絕了，那是他們的損失。對(duì)自己有耐心，保持希望，因?yàn)槭虑闀?huì)變得更好，你只需要繼續(xù)努力！總是自信地出現(xiàn)在你的面試中，因?yàn)槟阕銐騼?yōu)秀！