美國(guó)大數(shù)據(jù)工程師面試攻略有哪些

在多年工作中，除了對(duì)技術(shù)的不懈追求，也積累了大量的面試經(jīng)驗(yàn)，從國(guó)內(nèi)的一線互聯(lián)網(wǎng)公司百度、阿里巴巴、奇虎、人人，到美國(guó)一線公司Facebook、Google、Linkedin、Twitter、Amazon，到熱門Startup、Uber、Pinterest、Airbnb、Box、Dropbox、Snapchat、Houzz，拿到10+ offer，并且在Linkedin期間也面試過100+候選人，參與面試題制定，樂于分享并幫助很多人成功求職，實(shí)現(xiàn)目標(biāo)。

硅谷高科技公司介紹

我們看一下這張硅谷地圖，它坐落于美國(guó)加州，從圣何塞到舊金山的狹長(zhǎng)地帶，中間是San francisco bay，簡(jiǎn)稱灣區(qū)。它的由來是這邊有計(jì)算機(jī)核心處理器中離不開的硅，30年來，硅谷就發(fā)展成為無(wú)數(shù)技術(shù)性創(chuàng)業(yè)公司的搖籃。在20多年前，這里就有很多硬件公司成功上市，如Intel、Oracle、Apple、Cisco。10年前，互聯(lián)網(wǎng)的興起，造就了Yahoo、Google、Ebay的神奇。而如今Tesla、Facebook、Twitter、Linkedin正扶搖直上，成為美股高科技股的領(lǐng)頭羊。這些公司的市值從幾十billion到幾百billion，PE從負(fù)數(shù)到上千，瘋狂的估值背后也改變了世界。

如果說硅谷成功是有原因的，我覺得有兩點(diǎn)：

一方面，地理位置是得天獨(dú)厚吸引大量人才，這里有Stanford和加州州立高校提供智力庫(kù)的支持，在硅谷可以看到來自全世界的最聰明的人，中國(guó)、印度人、猶太人是構(gòu)成這些Engineer的主力。雖然國(guó)內(nèi)做技術(shù)自嘲為碼農(nóng)，但在硅谷成為一個(gè)優(yōu)秀工程師還是收獲頗豐的。

另一方面，創(chuàng)業(yè)是一個(gè)永恒的話題，在Stanford有個(gè)說法——空氣中都飄揚(yáng)中創(chuàng)業(yè)的味道，一些早期員工通過上市套現(xiàn)又積累經(jīng)驗(yàn)成了天使投資，Y Combinator、各種技術(shù)Forum、Meetup、創(chuàng)業(yè)導(dǎo)師等都很活躍。資本的力量功不可沒，早年VC通過投資、收購(gòu)、上市放大形成一個(gè)雪球效應(yīng)。大家總喜歡問什么是next big thing，哪一個(gè)是下一個(gè)Facebook，下一個(gè)Musk，根據(jù)統(tǒng)計(jì)10年能成就一個(gè)千億以上的公司，目前這個(gè)進(jìn)程正在縮短。

我就拿Linkedin作為例子，介紹高科技公司（FLG）是什么樣子。它是成立于2003年的職業(yè)社交網(wǎng)站，在10年的發(fā)展中，也不是一下子爆發(fā)的，目前有3億的全球用戶，雖然跟Facebook、Google 10億＋用戶沒法比，但是它有很好的護(hù)城河，用戶定位高端精準(zhǔn)，單位價(jià)值高。這張照片中左邊這位是創(chuàng)始人Reid Hoffman，是Paypal黑幫成員，在硅谷也是呼風(fēng)喚雨的大佬，目前是董事和投資人。中間這位是CEO Jeff，2013年被Glassdoor評(píng)為最佳CEO，作為職業(yè)經(jīng)理人，成功幫助linkedin高速成長(zhǎng)，他最喜歡提到transformation，希望我們每個(gè)員工能挑戰(zhàn)自我，在各自崗位上進(jìn)化。

Linkedin提供了員工很好的福利，有號(hào)稱灣區(qū)最佳的免費(fèi)食堂，每個(gè)月一次的In day，Hack day，幫助員工內(nèi)部創(chuàng)業(yè)的Incumbator計(jì)劃。它特點(diǎn)是數(shù)據(jù)驅(qū)動(dòng)的開發(fā)產(chǎn)品，比如 People you may know, Job you may be interested。我做過Sponroed Ads 都是需要很強(qiáng)數(shù)據(jù)背景和Data scientist的支持。它的Biz model也很獨(dú)特，有3個(gè)line，面向公司的招聘服務(wù)，面向廣告商的市場(chǎng)服務(wù)，面向個(gè)人的訂閱服務(wù)，還有最新Sales Solution，因?yàn)檫@么多可能性，成為華爾街的寵兒。

硅谷最新的創(chuàng)業(yè)動(dòng)向

說硅谷，除了那些已經(jīng)成功的大公司，不得不說一下現(xiàn)在最新的創(chuàng)業(yè)動(dòng)向，這些代表了未來下一個(gè)FLG。我總結(jié)了一些領(lǐng)域和代表公司：云計(jì)算（Box, Dropbox）、大數(shù)據(jù)（Cloudera）、消費(fèi)互聯(lián)網(wǎng)（Pinterest）、健康（Fitbit）、通訊（Snapchat）、支付（Square）、生活（Uber）。

這里是華爾街網(wǎng)站更新的最新融資規(guī)模，比如Uber就達(dá)到18Billion的估值，我當(dāng)時(shí)拿到Offer沒去，還是覺得很瘋狂，如果細(xì)看這張表，大家可以看到硅谷（藍(lán)色）尤其是舊金山它們的融資規(guī)模遠(yuǎn)遠(yuǎn)大于其他地區(qū)，還是地理決定論。而在國(guó)內(nèi)的兩家小米，京東都是在北京，而最近大家看到一些泡沫論，說什么阿里巴巴上市是否美股到頂，經(jīng)緯VC創(chuàng)始人也提醒我們泡沫的風(fēng)險(xiǎn)，我無(wú)法判斷。如果能參與到下一波浪潮里面去是很過癮的。我推薦大家去看看 《浪潮之巔》、《奇點(diǎn)臨近》，我還是很期待未來20年的技術(shù)革命。

大數(shù)據(jù)相關(guān)技術(shù)

我個(gè)人熱愛大數(shù)據(jù)，在硅谷這也是大家津津樂道的，有個(gè)笑話，big data is like teenage sex: everyone talks about it, nobody really knows how to do it. 其實(shí)大家還是興趣驅(qū)動(dòng)就好，不要那么功利，大數(shù)據(jù)技術(shù)涉及太多，平常工作中也是慢慢積累，有無(wú)數(shù)的坑和技術(shù)細(xì)節(jié)需要克服。并不是說那個(gè)技術(shù)最熱就要用哪個(gè)，如果你用不好，你的壓力很大的，舉個(gè)例子，你用某個(gè)開源數(shù)據(jù)庫(kù)，發(fā)現(xiàn)它偶爾有數(shù)據(jù)丟失怎么辦，如果這是線上服務(wù)，你不斷收到報(bào)警，這時(shí)候你當(dāng)時(shí)選用它的優(yōu)點(diǎn) scalable，容錯(cuò)性都沒意義了。

接著說大數(shù)據(jù)，這里面Hadoop作為行業(yè)標(biāo)準(zhǔn)，我面過的除了Google，微軟不用，幾乎所有的公司都在用，建議大家利用這個(gè)機(jī)會(huì)。這里面有三巨頭，Cloudera是老牌Hadoop咨詢公司，Hadoop的創(chuàng)始人做CTO，Hortonworks也是很多Hadoop的committee，MapR是提出hdfs的erasure 編碼方式高效而著名，它們都是融了巨資，模式也很像，先推出社區(qū)免費(fèi)版，但有個(gè)商業(yè)版提供更好的管理。 而今年出現(xiàn)一匹黑馬Spark，簡(jiǎn)單說就是內(nèi)存級(jí)別的計(jì)算，比Hadoop框架里能節(jié)約IO，利用緩存，能適應(yīng)批處理，迭代，流式計(jì)算。

這里看一下它的生態(tài)系統(tǒng)，如何學(xué)Hadoop是個(gè)循序漸進(jìn)過程，先要理解學(xué)習(xí)它的Core系統(tǒng)，HDFS, MapReduce, Common，在外圍有無(wú)數(shù)的系統(tǒng)工具方便開發(fā)，我個(gè)人用過的是Avro作為數(shù)據(jù)格式，Zookeeper作為選主的高可靠性的組件，Solr作為搜索接口，Pig搭建工作流，Hive 數(shù)據(jù)倉(cāng)庫(kù)查詢，Oozie管理工作流，HBase 作為KV分布式存儲(chǔ)，Mahout數(shù)據(jù)挖掘的庫(kù)，Cassandra nosql 數(shù)據(jù)庫(kù)。我建議初學(xué)的考慮Chinahadoop的課程。

而Hadoop本身也是個(gè)進(jìn)化過程，幾年前0.19版本，到0.20、0.23分流成Yarn架構(gòu)，最后進(jìn)化成Hadoop2.0, Hadoop1.0 和 2.0 它們的接口和組件是完全不同的，但總體上Hadoop 2.0 是趨勢(shì)，因?yàn)樗衁arn這樣分離的資源管理平臺(tái)，可以以插件的方式開發(fā)上面的Application，解放了生產(chǎn)力，而像Spark，Storm這些新型處理器也是支持Hadoop 2.0的。

這里是Hortonworks它們提出來的社區(qū)版本架構(gòu)，可以說標(biāo)準(zhǔn)的制定者，一流的公司制定標(biāo)準(zhǔn)，其他的公司一般用只能用它們提供的穩(wěn)定版，沒有多少話語(yǔ)權(quán)。但從事大數(shù)據(jù)，并不見得是要去這些制定標(biāo)準(zhǔn)的公司，大量的應(yīng)用也是非常考驗(yàn)架構(gòu)的靈活性，并且能看到實(shí)際的產(chǎn)品，很有成就感。

說到2014年火的，還是要看Spark。已經(jīng)開了2屆Spark大會(huì)，上千人的規(guī)模，無(wú)數(shù)人對(duì)比Hadoop 100倍的性能提升而興奮。這里說它的背景是誕生于Berkeley的Amplab，它們有個(gè)很有名的BDAS（Berkeley Data Analytics Stack），目前Spark已經(jīng)成為Apache的頂級(jí)項(xiàng)目。去年這個(gè)實(shí)驗(yàn)室的教授跟學(xué)生出去成立Databricks公司，拉到兩輪上千萬(wàn)的風(fēng)投，有人問Spark是Hadoop的終結(jié)者嗎？我看2014年Spark大會(huì)上，所有的Hadoop大佬公司都是鼎力支持，像Cloudrea甚至放棄Impala的一線支持而轉(zhuǎn)變成Spark。

如果這么發(fā)展下去，星星之火可以燎原啊。它里面用到Scala是一種函數(shù)式語(yǔ)言。里面的組件也很多，有Shark支持SQL類似Hive，有Spark Streaming、MLlib、Graphx、SparkR、BlinkDB。它的核心數(shù)據(jù)結(jié)構(gòu)是RDD，可以跑在各種分布式系統(tǒng)上。總體上是個(gè)包容性＋侵略性的系統(tǒng)。我個(gè)人也很看好它們的發(fā)展。

我在Linkedin做過一些大數(shù)據(jù)的廣告系統(tǒng)，我就簡(jiǎn)單提一些我學(xué)到的。

1. Linkedin有特有的開源數(shù)據(jù)系統(tǒng)，包括Voldermort （分布式KV存儲(chǔ)）, Kafka （分布式實(shí)時(shí)消息隊(duì)列），Espresso （基于mysql的海量存儲(chǔ)），Databus（數(shù)據(jù)變化捕捉），可以查看http://data.linkedin.com

2. Lambda架構(gòu)，離線使用Hadoop做pipeline，near online做高效聚合，提供混合式架構(gòu)，達(dá)到實(shí)時(shí)和一致性的妥協(xié)。

3. Kafka在linkedin起到奠基作用，一方面所有實(shí)時(shí)tracking都是通過它，另一方面 data bridge，比如圖中通過kafka可以實(shí)現(xiàn)數(shù)據(jù)的無(wú)縫銜接，否則很難想像每個(gè)數(shù)據(jù)源異構(gòu)系統(tǒng)，它們的通信將是 n^2 級(jí)別的復(fù)雜度。

4. 分布式并不酷，如果考慮到高可靠性，強(qiáng)一致性而數(shù)據(jù)量并不是想像的大，不見得要使用；否則自討苦吃。盡量使用成熟的，可靠的，例如MySQL, Memcached

求職經(jīng)驗(yàn)

根據(jù)我的求職經(jīng)驗(yàn)，我給出幾點(diǎn)建議：

1. 如果面試的話，我先看他們的經(jīng)驗(yàn)是不是match，對(duì)應(yīng)屆生看有沒有實(shí)習(xí)經(jīng)歷，如果你在Google、Linkedin實(shí)習(xí)，絕對(duì)加分，學(xué)校當(dāng)然也需要，比如我們招人UC Berkeley是要機(jī)會(huì)大一些。

2. 我看過很多簡(jiǎn)歷，不推薦用DOC，因?yàn)樵诓煌到y(tǒng)中排版不一樣。簡(jiǎn)歷也不要寫太長(zhǎng)，不是大牛就不超過2頁(yè)。盡量突出你的技能如何匹配公司的職位，比如這個(gè)公司都是用C++，你上面都沒C++，是不大合適。我也很不喜歡看到精通，如果你這樣寫，就很容易引起麻煩，最好寫多少年經(jīng)驗(yàn)，對(duì)具體技術(shù)的掌握。

3. 面試當(dāng)然需要準(zhǔn)備，但到底是事倍功半，還是事倍功半。我建議把你的經(jīng)歷精選1、2個(gè)準(zhǔn)備熟練，包括如何團(tuán)隊(duì)分工、技術(shù)細(xì)節(jié)、遇到困難、如何克服。不要貪多，就把你現(xiàn)在用的東西準(zhǔn)備好，沒人關(guān)心你5年前干啥的。

4. 社交很重要，最簡(jiǎn)單是去招聘會(huì)就可以跟人混個(gè)臉熟，如果你在網(wǎng)絡(luò)多利用有些網(wǎng)絡(luò)招聘網(wǎng)站，如dice，indeed，你還要巧妙利用Linkedin，加入高級(jí)賬號(hào)，可以查看有些校友的資源，發(fā)站內(nèi)信，refer比你網(wǎng)上瞎投效率要高很多。

如何找到面試題？

網(wǎng)上有很多資源，比如Glassdoor是個(gè)匿名發(fā)布網(wǎng)站，經(jīng)常有面試題，有些技術(shù)論壇Stackoverflow、Careercup也會(huì)有很多參考題。

如何知道一些靠譜的公司？

可以看你知道的牛人都選擇去哪些公司，如果名氣不大，可以去流量排名上去看他處于什么地位，如果沒有上市，可以看它的融資規(guī)模，還可以從Linkedin看它的員工是否優(yōu)秀。

什么時(shí)候才知道準(zhǔn)備好面試？

算法是否過關(guān)，是否能寫出遞歸和動(dòng)規(guī)；

Coding是否過關(guān)，是否能在IDE中寫出Bug Free；

Design是否過關(guān)，是否能給出Tradeoff；

項(xiàng)目經(jīng)歷整理，能夠流利說出架構(gòu)、難點(diǎn)、自己的貢獻(xiàn)；

加分項(xiàng)：Github、Blog、參與Open source。

如何回答行為面試問題？

比如你有沒有過失敗的經(jīng)歷，如果你老板給你不喜歡的任務(wù)怎么辦，你想像中成為什么樣的人。這里一方面可以結(jié)合自身精力，另一方面多關(guān)注公司的介紹頁(yè)面，包括公司創(chuàng)始人背景、企業(yè)文化、招聘的要求。這些都是可以提前做好功課，盡量體現(xiàn)出來你的激情、負(fù)責(zé)、勤奮等優(yōu)秀品質(zhì)。

如何拿到美國(guó)工作簽證？

要來美國(guó)工作，一般是要求H1B的身份，是有雇主向勞工局提出申請(qǐng)Sponsorship，根據(jù)現(xiàn)在的形式，每年的名額都是一搶而空，那么這樣就需要抽簽決定。在4月1日之前提出申請(qǐng)，4月1日之后開始抽簽，如果是在美國(guó)獲取碩士以上的學(xué)位，可以有優(yōu)先級(jí)，抽取概率更高，而根據(jù)2014年情況，普通的抽中幾率是50%。

如果沒有抽中，如果是美國(guó)有碩士學(xué)位，可以使用OPT照樣工作，并且可以省社會(huì)安全稅。而如果是海外的，只能等來年在抽。像Google、FB這種全球性公司，他們也會(huì)提供其他國(guó)家辦公室的機(jī)會(huì)，然后比如工作一年后再通過L1或者H1B繼續(xù)到美國(guó)工作。另外如果你抽中名額，再跳槽期間是可以transfer而不需要依賴名額，每3年可以續(xù)一次，最多6年。如果H1B期間申請(qǐng)綠卡，還是可以延長(zhǎng)的。

面試流程

如果你拿到面試機(jī)會(huì)，下面的流程是先電面，對(duì)于engineer，算法coding基本功是必須的。還是準(zhǔn)備好你的小白板，根據(jù)面試官的題給出思路和代碼，說起來容易，但就是那10多行的代碼，80%以上的人都掛了。

然后就是onsite，美國(guó)公司為了體現(xiàn)人才為先，都會(huì)來一次onsite，如果是遠(yuǎn)程過來，報(bào)銷機(jī)票、車費(fèi)、酒店、吃飯，聽起來也是免費(fèi)旅游的機(jī)會(huì)。但onsite也不容易，基本上4－6輪，每輪45min到1小時(shí)，也會(huì)讓你挑戰(zhàn)極限的，經(jīng)常是頭痛欲裂，我最狠的一次10天面7家onsite，連續(xù)飛，連續(xù)面，真是折磨。

他們都考察什么呢，簡(jiǎn)單說是你到底聰不聰明，是否經(jīng)過工程訓(xùn)練，是否能夠合作。總體分成3塊，一類是技術(shù)問題，比如算法，系統(tǒng)經(jīng)驗(yàn)；一類是交流能力，你個(gè)人經(jīng)驗(yàn)，興趣；一類是hr喜歡問的行為面試，比如你有沒有過失敗的經(jīng)歷，如果你老板給你不喜歡的任務(wù)怎么辦，你想像中成為什么樣的人。

面試準(zhǔn)備

技術(shù)面試這里面涉及面也挺廣?？此坪?jiǎn)單的coding不見得能過關(guān)，不信，你寫個(gè)字符串查找，我不需要你知道KMP，就是暴力解法，可是90%的人都掛在這道題上面。算法方面，常見的hashtable、heap、trie。系統(tǒng)設(shè)計(jì)也是很多同學(xué)害怕的，很多人說我沒設(shè)計(jì)過那些系統(tǒng)。

如果大家算法都過關(guān)，系統(tǒng)設(shè)計(jì)就能繼續(xù)篩選，體現(xiàn)出來你的層次。還要一些很隨機(jī)的問題，數(shù)學(xué)上的概率組合，Linux的常見命令都有可能觸及。

我這里列出考察Hadoop的一些基本問題，都比較簡(jiǎn)單，大家Google一下，知乎上也有我的詳細(xì)題目。

對(duì)于算法，是考察的重中之重，我總結(jié)了一些高頻題目，同樣參見我的知乎。

這兩道題是我真實(shí)中被問道的，雖然不是常規(guī)，大家可以思考一下。其中求面積的，是Apple當(dāng)時(shí)問的，同學(xué)們能在15min內(nèi)演算出來嗎？

選擇工作

假設(shè)你經(jīng)歷過面試的考驗(yàn)，拿到offer，下面就要面對(duì)如何選擇的問題。在考慮offer之前，先對(duì)公司做個(gè)研究，比如這公司是什么規(guī)模？產(chǎn)品是什么？Glassdoor員工如何評(píng)價(jià)的？你的職位你喜歡嗎？這就跟選學(xué)校一樣，如果選錯(cuò)了，也是需要走很多彎路。

我個(gè)人的參考是，首先這公司是不是上升期的，產(chǎn)品是否有愛，團(tuán)隊(duì)是否比較強(qiáng)，學(xué)到東西。對(duì)公司分類，Hortonworks這種是純技術(shù)性的，面向企業(yè)級(jí)的可能沒多少人知道；而Uber是大眾消費(fèi)性，很多朋友都用過。現(xiàn)在的熱點(diǎn)是移動(dòng)互聯(lián)網(wǎng)，大家也可以多考慮這一塊。

大家都很關(guān)心硅谷公司的待遇福利，這邊我也做個(gè)介紹，待遇分成基礎(chǔ)工資，根據(jù)Glassdoor排名，大概在每年10w刀－20w刀，硅谷目前也是水漲船高，獎(jiǎng)金有些大公司有（Google， FB 15% － 20%）。如果是上市公司，會(huì)給限制性股票，分3－4年行使，創(chuàng)業(yè)公司一般給期權(quán)，不同就是限制性股票是白送的，不需要自己掏腰包，期權(quán)需要自己買入，不同時(shí)期價(jià)格不同。但股票交的稅非常高，期權(quán)是有些長(zhǎng)期避稅。

最后也要考慮你的興趣和對(duì)風(fēng)險(xiǎn)的承受能力，如果去大公司做個(gè)螺絲釘，實(shí)現(xiàn)共產(chǎn)主義生活也無(wú)可厚非。去小公司壓力大，成長(zhǎng)快。但也要做好失敗的準(zhǔn)備，看看當(dāng)年zynga教訓(xùn)。

職場(chǎng)感觸

硅谷生活著一群不在乎別人怎么看，但有很瘋狂的想法的人。大家在這談創(chuàng)新、談技術(shù)、談創(chuàng)業(yè)，資本涌入，人才競(jìng)爭(zhēng)，導(dǎo)致大家都是很高的期望值，迫不及待的去改變。這種浮躁也許是社會(huì)進(jìn)步的動(dòng)力。

我這上面的都是最熱的話題，每個(gè)領(lǐng)域都是百億甚至千億的價(jià)值。最近阿里巴巴的成功上市創(chuàng)造最大IPO，讓大家看到中國(guó)互聯(lián)網(wǎng)的野蠻成長(zhǎng)，中國(guó)的發(fā)展速度和廣闊市場(chǎng)讓大家想像無(wú)限。而百度在硅谷設(shè)立人工智能研究院，阿里巴巴也準(zhǔn)備在硅谷招上千人研發(fā)團(tuán)隊(duì)，越來越多的人才拼搶。中國(guó)的一些互聯(lián)網(wǎng)產(chǎn)品也走出國(guó)門，微信、小米、360都在廣泛布局投資未來。有時(shí)候會(huì)想當(dāng)大家都是談?wù)摷夹g(shù)改變世界，做個(gè)小App就值上億，甚至上百億，但真的世界因?yàn)槟愀淖兞藛?？我們也要多些?dú)立性思考。