大數(shù)據(jù)對(duì)比分析，技術(shù)面試?yán)锏哪切╅T道

眾所周知，技術(shù)能力的評(píng)價(jià)是技術(shù)求職者的重要的一項(xiàng)指標(biāo)。但是，求職者的面試表現(xiàn)到底是如何被判定的呢?怎樣的面試分?jǐn)?shù)統(tǒng)計(jì)才能更加靠譜地衡量求職者的真實(shí)水平呢?美國(guó)的在線技術(shù)面試平臺(tái) interviewing.io 通過(guò)分析海量數(shù)據(jù)，給出了自己的答案。
　　1、為什么面試數(shù)據(jù)能進(jìn)行對(duì)比分析?
　　面試官和面試者通過(guò)我們的平臺(tái)進(jìn)行溝通時(shí)，他們面對(duì)的是一個(gè)協(xié)作的編碼環(huán)境，可以進(jìn)行語(yǔ)音、文字聊天，以及通過(guò)白板來(lái)直接討論技術(shù)問(wèn)題。面試官通常來(lái)自不同的大公司，比如 Google、Facebook 或 Yelp，還有專注于工程的新興公司，例如 Asana、Mattermark、KeepSafe 等。
　　每一次面試后，面試官會(huì)對(duì)面試者進(jìn)行全面打分，包括其技術(shù)能力。技術(shù)能力的打分范圍是 1~4 分，1 分代表“資質(zhì)一般”，而 4 分代表“非常棒!”。在我們的平臺(tái)上，通常 3 分及 3 分以上就意味著這個(gè)面試者能力不錯(cuò)，可以進(jìn)行下一輪面談。
　　這時(shí)候，你可能會(huì)說(shuō)，這聽(tīng)上去還不錯(cuò)，但也沒(méi)什么特別的吧?很多公司都將這類數(shù)據(jù)收集在它們的渠道之中。而我們的數(shù)據(jù)與眾不同的是：同一位面試者可以進(jìn)行不同的面試，每次和不同的面試官或者不同的公司進(jìn)行面試，這就可以進(jìn)行一定程度可控的、有趣的對(duì)比分析。
　　2、為什么你的面試表現(xiàn)波動(dòng)不穩(wěn)?
　　我們的數(shù)據(jù)顯示：同一個(gè)人在一次面試中的表現(xiàn)，其數(shù)據(jù)有相當(dāng)大的波動(dòng)，這很讓人驚訝。請(qǐng)先來(lái)看一個(gè)圖直觀感受一下。在下圖中，每個(gè) ICON 代表一個(gè)參加了 2 次及 2 次以上面試的面試者的平均技術(shù)分?jǐn)?shù)。Y 軸表示其表現(xiàn)的標(biāo)準(zhǔn)差，數(shù)值越大，代表這個(gè)面試者的表現(xiàn)越不穩(wěn)定。鼠標(biāo)懸停在圖中每個(gè) ICON，你可以深度研究面試者的每次表現(xiàn)。(數(shù)據(jù)來(lái)自 2016 年 1 月的 299 份面試，去掉了分?jǐn)?shù)小于 2 的面試記錄。)

　　正如你所看到的，大約 25% 面試者的表現(xiàn)非常穩(wěn)定，其余的卻布滿了整個(gè)圖(即非常不穩(wěn)定)。我們非常好奇，波動(dòng)性是否隨人的平均分?jǐn)?shù)而變化。換句話說(shuō)，是實(shí)力較弱的參與者比實(shí)力更強(qiáng)的波動(dòng)更為劇烈嗎?答案是否定的——當(dāng)運(yùn)行標(biāo)準(zhǔn)差與平均值回歸，我們想不出任何有意義的關(guān)系(R2~ = 0.03)，這意味著人們布滿整張圖(即非常不穩(wěn)定)，不管他們有多強(qiáng)的實(shí)力。
　　許多人 至少得到一次 4 分也至少得到一次 2 分。
　　看一看 較高分區(qū)域范圍(3.3 分或者更高)，變化是在合理范圍內(nèi)的。
　　看一看 “平均”表現(xiàn)者(2.6~3.3 分)，數(shù)據(jù)看上去就很混亂不定。
　　如果是我，需要根據(jù)這些數(shù)據(jù)作出一個(gè)決定，聘用哪一位面試者，就是管中窺豹了。那就好像是，欣賞墻上的油畫，或者挑選酒窖里的好酒，甚至可能只是看到沙發(fā)的背面而已，太主觀隨意了。
　　正因如此，你可能會(huì)說(shuō)，無(wú)論什么原因，這樣來(lái)比較技術(shù)分?jǐn)?shù)都是錯(cuò)誤且幼稚的，至少有種情況，對(duì)同一個(gè)面試者，一個(gè)面試官可能打 4 分而另外一個(gè)面試官可能打 2 分。我們?cè)诒疚牡母戒浿刑接懥诉@個(gè)問(wèn)題。這個(gè)問(wèn)題確實(shí)需要討論。然而我們大多數(shù)面試官都來(lái)自非常有實(shí)力的工程品牌公司，為了確保品牌實(shí)力，他們不會(huì)改變面試者面試表現(xiàn)的不穩(wěn)定性，也不會(huì)修改面試官的打分。
　　那么，真實(shí)生活中，你要作出決定是否要招聘某個(gè)人時(shí)，你可能需要盡最大努力避免兩件事——錯(cuò)誤肯定(錯(cuò)誤地引進(jìn)低層次的人)和錯(cuò)誤否定(拒絕了你本應(yīng)該招聘的人才)。大多數(shù)頂尖公司的面試范例指出，錯(cuò)誤肯定比錯(cuò)誤否定還要惡劣。這有道理嗎?因?yàn)橛凶銐蚨嗟那篮腿瞬刨Y源，即使有很高的錯(cuò)誤否定率，你還是會(huì)得到你想要的人才。
　　但是，如果錯(cuò)誤肯定率很高，你招聘了更低層次的人才，潛在地，在某種程度上，你也給你的產(chǎn)品、文化以及未來(lái)招聘標(biāo)準(zhǔn)帶來(lái)了不可逆的損害。當(dāng)然，公司為整個(gè)產(chǎn)業(yè)設(shè)置的招聘標(biāo)準(zhǔn)和方式，看上去是有很多的渠道且源源不斷的人才資源。
　　然而，優(yōu)化高錯(cuò)誤否定率的弊端，會(huì)給現(xiàn)有的工程招聘標(biāo)準(zhǔn)帶來(lái)危機(jī)。目前典型的招聘案例是否給出了足夠的信息?或者說(shuō)，基于對(duì)人才如此大的需求，是否錯(cuò)過(guò)了有資質(zhì)的人才，僅僅因?yàn)槲覀児苤懈Q豹?
　　那么，拋開(kāi)蒼白夸張的說(shuō)教，考慮到面試者表現(xiàn)的不穩(wěn)定性，一位優(yōu)秀的面試者在一次面試中可能失敗的原因是什么呢?
　　3、面試失敗的原因，源于你的表現(xiàn)
　　接下來(lái)，你可以看到整體接受面試人群的平均表現(xiàn)的分布圖：

　　要計(jì)算出一位給定平均分?jǐn)?shù)的面試者面試可能失敗的幾率，我們必須做一些統(tǒng)計(jì)工作。首先，基于面試者的平均分?jǐn)?shù)(近似 0.25)，我們把面試者分成幾組。然后，對(duì)每一組，我們計(jì)算出他們失敗的可能性，即得到 2 分或者更少的分?jǐn)?shù)。
　　最后，為了讓圍繞著起始數(shù)據(jù)集的工作量不那么大，我們重新采樣了數(shù)據(jù)。在重新采樣的過(guò)程中，我們把一個(gè)面試結(jié)果當(dāng)作一個(gè)多項(xiàng)分布，或者換言之，假設(shè)每個(gè)面試者都是一個(gè)加權(quán)的 4 面骰子，與所在的組群相對(duì)應(yīng)。然后，我們?cè)偃訋状西蛔?，給每一組創(chuàng)建一個(gè)新的“模擬”的數(shù)據(jù)集，然后用這些數(shù)據(jù)集計(jì)算出新的失敗概率。下面，你會(huì)看到 10000 次重復(fù)這個(gè)過(guò)程的結(jié)果。

　　如圖所示，上面的分布彼此重疊。這很重要，因?yàn)檫@些重疊告訴我們，這些分布組可能沒(méi)有顯著差異(例如 2.75 和 3 之間)。當(dāng)然，隨著更多海量的數(shù)據(jù)，每組之間的輪廓可能更加明朗。另一方面，如果需要大量的數(shù)據(jù)來(lái)檢測(cè)失敗率的差異，這可能表明，人的行為在本質(zhì)上是高度可變的。在完成這些之后，我們可以非?？隙ǖ卣f(shuō)，低端光譜(2.25)和高端光譜(3.75)之間有顯著差異，但居于中間的人的狀態(tài)，還是混亂不定。
　　然而，使用這些分布圖，只能計(jì)算出得到某個(gè)平均分?jǐn)?shù)的面試者會(huì)失敗的概率(參見(jiàn)下面陰影區(qū)域 95% 置信區(qū)間)。而整體素質(zhì)很強(qiáng)的人(例如平均值~ = 3)，可能會(huì)搞砸技術(shù)面試，高達(dá) 22%。這一事實(shí)，表明了面試過(guò)程肯定還有改進(jìn)的余地，同時(shí)也使頻譜中間模糊區(qū)域更大(即看不清楚狀態(tài)的人會(huì)更多)。

　　4、面試結(jié)果，真的是一錘定音?
　　通常，一想到面試，就會(huì)想到那些可重復(fù)的結(jié)果，可以得到關(guān)于面試者足夠多的資歷信息。然而，我們收集到的數(shù)據(jù)，雖然它可能很薄弱，卻給出了一個(gè)截然不同的結(jié)果。而且，這個(gè)結(jié)果與我以往作為一名招聘人員的經(jīng)驗(yàn)相一致，并且這些看法在技術(shù)社區(qū)中也是存在的。
　　Zach Holman 的 Startup Interviewing is Fucked(譯注：《創(chuàng)業(yè)公司不切實(shí)際的面試工程師的方法》一文)認(rèn)為：面試過(guò)程與亟需人才的工作是脫節(jié)的。TripleByte(譯注：也是美國(guó)的一個(gè)技術(shù)招聘平臺(tái))通過(guò)觀察自家的數(shù)據(jù)，也得出了類似的結(jié)論。最近，rejected.us(譯注：一個(gè)分享用戶面試失敗經(jīng)歷的平臺(tái))也得出關(guān)于面試結(jié)果不穩(wěn)定的更深刻的表述。
　　我絕對(duì)相信，許多曾經(jīng)被 A 公司拒絕的人，會(huì)在另一次面試中表現(xiàn)得更好，最終以人格魅力結(jié)束面試，6 個(gè)月后被招入 A 公司。盡管每個(gè)人都付出最大努力，但是招聘流程陷入了一個(gè)怪圈，混亂不定、隨機(jī)且糟糕。
　　是的，技術(shù)面試本身就是失敗的，它沒(méi)有為面試案例提供可靠的確定性信息，這當(dāng)然有可能。算法面試是一個(gè)熱議的話題，我們很感興趣。特別讓我們興奮的一件事是，跟蹤面試表現(xiàn)作為面試的函數(shù)類型，我們得到平臺(tái)上越來(lái)越多不同的面試類型 / 方法。的確，我們的長(zhǎng)期目標(biāo)之一是，真正挖掘數(shù)據(jù)，看看不同的面試風(fēng)格，以及寫出重要的數(shù)據(jù)驅(qū)動(dòng)語(yǔ)句，哪一種技術(shù)面試會(huì)給出最有力的信息。
　　然而，與此同時(shí)，相比這樣一個(gè)重要的決定僅僅基于一次任意的面試，我會(huì)認(rèn)為利用整體表現(xiàn)更有意義。整體表現(xiàn)，一方面可以幫助糾正異常不佳的表現(xiàn)，一方面也可能不小心淘汰那些最終在面試中表現(xiàn)很好的人，或隨著時(shí)間的推移，淘汰那些僅僅記住 Cracking the Coding Interview(中文版：《程序員面試金典》)的人。
　　我知道，像這樣不嚴(yán)謹(jǐn)?shù)厥占w表現(xiàn)數(shù)據(jù)，整體表現(xiàn)并不總是有效的。但至少，在這種情況下，只要面試者的表現(xiàn)勉強(qiáng)合格，或他們的表現(xiàn)與你所期望的大相徑庭，那么就再做一次面試，或許能發(fā)現(xiàn)些許不同的特質(zhì)，然后再作出最后的決定。
　　5、為什么面試的原始分?jǐn)?shù)有說(shuō)服力?
　　你們會(huì)充滿疑問(wèn)，使用原始分?jǐn)?shù)來(lái)評(píng)估面試者，這肯定會(huì)有一些很明顯的問(wèn)題。我們現(xiàn)在來(lái)討論一下。問(wèn)題是，即使面試官可能是高級(jí)工程師級(jí)別，經(jīng)驗(yàn)很豐富，原始分?jǐn)?shù)仍只是由反饋組成，他們不會(huì)修正面試官的嚴(yán)格標(biāo)準(zhǔn)(例如，一個(gè)面試官給 4 分，而另一個(gè)面試官給 2 分)，也不會(huì)適應(yīng)面試技能的變化。在內(nèi)部，使用一個(gè)更復(fù)雜的和全面的評(píng)級(jí)系統(tǒng)來(lái)確定面試技能，如果可以表明，原始分?jǐn)?shù)與計(jì)算出來(lái)的評(píng)級(jí)緊密關(guān)聯(lián)，那么，相對(duì)地使用原始分?jǐn)?shù)，我們不會(huì)覺(jué)得不好。
　　我們的評(píng)級(jí)系統(tǒng)的工作原理是這樣的：
　　基于每個(gè)反饋?lái)?xiàng)的加權(quán)平均，為每次面試創(chuàng)建一個(gè)分?jǐn)?shù)。
　　針對(duì)每位面試官，我們使用這個(gè)分?jǐn)?shù)，對(duì)他們面試的每位面試者進(jìn)行互相比較。
　　基于比較結(jié)果，使用貝葉斯排名系統(tǒng)(Glicko-2 修改版本)，為每位面試者評(píng)級(jí)。
　　因此，每個(gè)人只能與同一位面試官面試的其他人比較，僅僅基于分?jǐn)?shù)而排名。這意味著，一位面試官的分?jǐn)?shù)從來(lái)沒(méi)有與另一位面試官的分?jǐn)?shù)直接進(jìn)行比較，所以我們就避免了面試官嚴(yán)格標(biāo)準(zhǔn)的不一致問(wèn)題了。
　　話又說(shuō)回來(lái)，為什么我要提起這個(gè)?你們都是聰明人，你可以分辨，哪些人已經(jīng)完成了面試題，哪些人還在假裝做數(shù)學(xué)題。在做所有這些分析之前，我們想確保我們相信自己的數(shù)據(jù)。我們已經(jīng)做了很多工作來(lái)構(gòu)建一個(gè)可信的評(píng)級(jí)系統(tǒng)，與原始編碼分?jǐn)?shù)關(guān)聯(lián)起來(lái)，來(lái)看看它們?cè)跊Q定實(shí)際技能上是如何強(qiáng)大。

　　這些結(jié)果非常有說(shuō)服力。雖然，還談不上能夠完全依靠原始分?jǐn)?shù)，但足以相信原始分?jǐn)?shù)是有用的，可以近似確定面試者的能力。