
作者 | 紫杉
來源 | Charlotte數(shù)據(jù)挖掘
前言
我個(gè)人認(rèn)為,在AI這塊領(lǐng)域,未來最缺的一是工程能力強(qiáng)的算法人才,過去兩年因?yàn)閯偱d起,所以很多人可能只會(huì)調(diào)參就能找到工作,但是這兩年資本寒冬,市場(chǎng)不好,只會(huì)調(diào)參的「調(diào)參俠」已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足工業(yè)界的需求了,對(duì)于模型的部署、壓縮、上線等等都需要有非常強(qiáng)的工程能力才行;二是具有落地思維的算法/產(chǎn)品。能夠把空想的、很難落地的項(xiàng)目做到落地,才是真正有價(jià)值的有意義的事,沒有任何落地,紙上談兵,撐不了幾年的。
正文
這個(gè)問題不是很好回答。前一半問題是“哪個(gè)方向”,似乎講的是領(lǐng)域和研究方向,后一半問題“最緊缺人才”,又和就業(yè)有關(guān)。所以我的回答盡量把這兩方面兼顧,先談就業(yè)和工業(yè)界緊缺的人才,再說說學(xué)術(shù)界缺少的人才。
我最近被兩個(gè)前輩抓到他們的創(chuàng)業(yè)公司做暑期實(shí)習(xí),公司是什么最好就不說了,但除我之外還騙來了一個(gè)清華的本科生(從北京騙到了硅谷)。兩位前輩一個(gè)是Sebastian Thrun(賽巴斯提安·特龍)的學(xué)生,一位是Stefano Ermon的學(xué)生,去年在AAAI拿了個(gè)最佳論文的獎(jiǎng)。
我雖然對(duì)工業(yè)界一直都不太熟悉,但借這個(gè)機(jī)會(huì)算是好好看到了一番目前人工智能創(chuàng)業(yè)公司的有趣情景。雖然不一定能當(dāng)做借鑒,但一些經(jīng)驗(yàn)對(duì)目前在?;蛘邉傠x校的學(xué)生來講也許會(huì)有幫助。
靈活解決問題的人
我用了一周的時(shí)間讀丹尼爾的代碼(夠慢了吧,完全趕不上很多國(guó)內(nèi)的優(yōu)秀學(xué)生),然后打開Jupyter Notebook開始一點(diǎn)點(diǎn)的做分析,最后發(fā)現(xiàn)丹尼爾把文本距離的算法做錯(cuò)了,任何從事自然語言處理的人都明白edit distance(編輯距離)的首選就是萊文斯坦距離,就算不是做自然語言處理的,這個(gè)距離在計(jì)算機(jī)界也用的很多。但這個(gè)距離壓根不存在于丹尼爾的任何代碼中。然后我把這一行加入進(jìn)去,代碼跑了5小時(shí),最后給札德說:我做完了,檢查質(zhì)量吧。
一周后,丹尼爾就被炒魷魚了……然后公司的另一個(gè)創(chuàng)始人羅素開始到處宣傳我用了一周解決了別人六個(gè)月都解決不了的問題。(當(dāng)然,丹尼爾最后找到了一份谷歌的工作,開開心心的做機(jī)器人去了)
舉這個(gè)例子想說明一件事:要建立起在某個(gè)領(lǐng)域的直覺和精通。這個(gè)精通并不單單是掌握一兩個(gè)(甚至是好幾個(gè))算法就可以了的。不可能用一個(gè)算法解決所有的問題。
基礎(chǔ)是必須扎實(shí)的,這個(gè)基礎(chǔ)最好是某一個(gè)領(lǐng)域?qū)⒔?0-30年的知識(shí)的積累。只會(huì)跑個(gè)LSTM是肯定不行的。
專精一個(gè)領(lǐng)域的人
這里要講另外一個(gè)同學(xué)的例子了,他的名字叫伊森,從伊利諾伊香檳畢業(yè),在我校讀了兩年計(jì)算機(jī)研究生,跟在航天航空工程學(xué)院的Mykel Kochendefer(麥克·寇克德福爾)教授麾下做了一段時(shí)間的研究,是一位非常優(yōu)秀,有自學(xué)能力的學(xué)生。
暑假剛開始的時(shí)候,我在帕羅奧圖的街上偶然遇見他,因?yàn)橛羞^一面之緣,打了招呼后順帶聊了聊現(xiàn)狀,當(dāng)我告訴他我加入了札德的公司的時(shí)候,他說他幾天后要跟札德面試。
我在回答開頭劇透了,伊森沒能應(yīng)聘成功。在這里分享的意義是,伊森的背景和很多進(jìn)入人工智能領(lǐng)域的人很相似。下面這一段是我和他的對(duì)話:
我:“你最擅長(zhǎng)的人工智能領(lǐng)域是什么呢?”
伊森:“我什么都會(huì)(jack-of-all-trades)?!?/span>
(評(píng)論:這很容易誤導(dǎo)招聘者讓他們覺得你樣樣都不專精)
我:“你在寇克德福爾教授那里做了什么樣的研究呢?”
伊森:“我給無人機(jī)搭建了一個(gè)服務(wù)器,用了Kafka做流處理?!?/span>
(評(píng)論:這句話暴露缺乏研究經(jīng)歷)——雖然Kafka也還算是有趣
我:“怎樣的工作在你看來最有趣呢?”
伊森:“我想有機(jī)會(huì)把最前沿的算法應(yīng)用在公司的業(yè)務(wù)中?!?/span>
(評(píng)論:算法沒有前沿與不前沿之分,只有合適與不合適之分)
我:“你理想的工作崗位是什么呢?”
伊森:“我其實(shí)最想當(dāng)人工智能的產(chǎn)品經(jīng)理?!?/span>
(評(píng)論:其實(shí)產(chǎn)品經(jīng)理的收入不如程序員哦)
最后伊森問了我一個(gè)問題,如何在一周內(nèi)精通自然語言處理,然后我只能告訴他我不知道。
舉這個(gè)例子的意思是,伊森是一個(gè)聰明人,有很強(qiáng)的工程背景(伊利諾伊香檳的計(jì)算機(jī)系很不錯(cuò)),但是卻不一定是機(jī)器學(xué)習(xí)/人工智能創(chuàng)業(yè)公司的最理想人才,為什么呢?因?yàn)樵趯W(xué)校階段沒有在實(shí)驗(yàn)室做研究型工作,也沒有足夠的實(shí)踐經(jīng)驗(yàn)。他找錯(cuò)了教授(抱錯(cuò)了大腿)??芸说赂柦淌跊]有給他任何研究性質(zhì)的工作,于是他用了兩年寶貴的時(shí)光學(xué)習(xí)了如何搭建服務(wù)器,如何使用Kafka。
當(dāng)然,如果想要做普通的工程師崗位,任何(不論大?。┕径既眱?yōu)秀的后端工程師,但如果想應(yīng)聘機(jī)器學(xué)習(xí)方面的崗位,或者和算法、研發(fā)比較接近,那么搭建平臺(tái)或者服務(wù)器的“研究”經(jīng)歷就是不夠的。
如果本科有個(gè)很好的學(xué)校,或者特別擅長(zhǎng)學(xué)習(xí),這一類的優(yōu)秀人才很容易陷入每一個(gè)領(lǐng)域都想學(xué)學(xué)的陷阱。再加上“大公司要專才,小公司要全才”一類的宣傳,很容易覺得如果每方面都學(xué)一點(diǎn),那么一定會(huì)被創(chuàng)業(yè)公司喜愛。
事實(shí)上機(jī)器學(xué)習(xí)的底層模型原理都是類似的,與其在應(yīng)用層(比如機(jī)器控制、視覺、語言、語音)等瞎晃,還不如去把底層原理弄清楚。人工智能的創(chuàng)業(yè)公司,和普通的網(wǎng)頁(yè)或者手機(jī)應(yīng)用公司還是有區(qū)別的。這些公司更看重學(xué)生在學(xué)術(shù)領(lǐng)域的成績(jī),因?yàn)槟壳按蟛糠秩斯ぶ悄艿哪P褪菦]法直接搬到工業(yè)場(chǎng)景的。
能夠把學(xué)術(shù)模型轉(zhuǎn)化成工業(yè)模型的人
這里要講一個(gè)成功案例,Nihil (尼希爾)是另一個(gè)我認(rèn)識(shí)的研究生,也是從伊利諾伊香檳大學(xué)畢業(yè)。尼希爾其實(shí)比我年紀(jì)大好幾歲,但長(zhǎng)著一張娃娃臉,他之前在LinkedIn(領(lǐng)英)做大規(guī)模搜索(Scaled Search),專門負(fù)責(zé)把理論算法擴(kuò)大到工業(yè)場(chǎng)景中,擅長(zhǎng)搭建后臺(tái),有很強(qiáng)的工程背景。兩年的斯坦福計(jì)算機(jī)碩士后,現(xiàn)在被Snapchat找去做大規(guī)模視頻搜索算法。
無論是我還是札德,在和他交流后都很想讓他跳槽來我們這里工作。
也許你想問,他和伊森的區(qū)別是什么??jī)蓚€(gè)人看起來不都差不多,都是以做服務(wù)器或后端為主,為什么尼希爾是大家想要的人才,伊森并不完全算是?因?yàn)榻?jīng)歷和背景,在領(lǐng)英這樣的大公司做高吞吐高負(fù)荷的算法所積累的技能,是一個(gè)實(shí)驗(yàn)室的無人機(jī)平臺(tái)無法企及的。
任何人都可以跑一個(gè)LSTM,但是當(dāng)訓(xùn)練數(shù)據(jù)有超過1000萬條的時(shí)候,LSTM需要跑3天才能見完所有的數(shù)據(jù),在這個(gè)情況下,你該怎么做?除了在多個(gè)GPU上并行以外,還可以進(jìn)行算法上的改進(jìn),LSTM是所謂的線性時(shí)間度 O(n)的算法,可以換成像ByteNet這樣的sub-linear時(shí)間度
算法。
谷歌最近發(fā)了一篇通報(bào),說他們的工程師團(tuán)隊(duì)經(jīng)過一年的努力,終于把WaveNet(某個(gè)能夠生成高仿真人聲的模型)速度提升到了一秒鐘生成二十秒鐘的人的說話聲音,比學(xué)術(shù)模型快1000倍。我當(dāng)時(shí)看了這篇文章后,在網(wǎng)上隨手搜了搜,發(fā)現(xiàn)谷歌沒有公開任何加速的細(xì)節(jié),究竟是如何做到的,他們并沒有說。Awni Hannan(奧尼·哈南),我的一個(gè)前輩,之前和吳恩達(dá)教授在百度硅谷工作,說他大概能猜測(cè)到谷歌為了優(yōu)化所做的一些事情。但不難想象,這很有可能是一系列的優(yōu)化,從硬件,從計(jì)算,從部署等等進(jìn)行的細(xì)致優(yōu)化。這樣的細(xì)節(jié)雖然有“學(xué)術(shù)”價(jià)值,但從這里開始,大部分公司都不再會(huì)公開細(xì)節(jié),讓中小型公司(創(chuàng)業(yè)公司)難以望其項(xiàng)背。
這樣的場(chǎng)景就需要有研究背景的人才,能夠閱讀業(yè)內(nèi)最新的論文,還能夠結(jié)合學(xué)術(shù)前沿切實(shí)的解決工業(yè)上的難題。深度學(xué)習(xí)50%是學(xué)術(shù),50%是工程。這個(gè)領(lǐng)域的學(xué)術(shù)大牛,像是Justin Johnson(賈斯汀·強(qiáng)森),Andrej Karpathy(安德烈·卡帕西)(兩人都是斯坦福CS231N的講師)都是很強(qiáng)的工程能手。
能夠研究深度學(xué)習(xí)理論的人
去年暑假我上凸優(yōu)化的時(shí)候,當(dāng)時(shí)我的老師Stephen Boyd(史蒂芬·波伊德)就說,當(dāng)年(80年代)凸優(yōu)化剛火的時(shí)候,學(xué)術(shù)界和工業(yè)界齊頭并進(jìn),但大部分優(yōu)秀論文都集中在學(xué)術(shù)界,用凸優(yōu)化的框架建立算法,然后應(yīng)用在各種數(shù)據(jù)集上,取得一個(gè)又一個(gè)輝煌的成果。但隨著時(shí)間推移,沒過十年,學(xué)術(shù)界在數(shù)據(jù)和應(yīng)用就已經(jīng)趕不上工業(yè)界了。當(dāng)然,學(xué)術(shù)界既沒有足夠多的機(jī)器,也沒有財(cái)力去搜集大量的數(shù)據(jù),當(dāng)工業(yè)界開始用資本大規(guī)模投入的時(shí)候,學(xué)術(shù)界自然就戰(zhàn)勝不了工業(yè)界了。
我們現(xiàn)在已經(jīng)可以看到苗頭了,DeepMind,谷歌,OpenAI,微軟,F(xiàn)AIR等各大公司搶占人工智能高地,大量的發(fā)出論文,傳統(tǒng)的強(qiáng)校諸如CMU或斯坦福都比不上這些大公司的勢(shì)頭和影響力。這個(gè)情況在3-5年后很有可能會(huì)惡化。
也許很多人覺得深度學(xué)習(xí)的理論就是數(shù)學(xué),理論根本不能有任何實(shí)踐產(chǎn)出,何必研究理論呢?還不如寫網(wǎng)頁(yè)前端或者做個(gè)手機(jī)App呢。
我今年聽了Philip Thomas(菲利普·托馬斯)的一個(gè)講座,講的是安全增強(qiáng)學(xué)習(xí)(Safe RL),這個(gè)講座講了一個(gè)案例,他們想要通過增強(qiáng)學(xué)習(xí)來自動(dòng)調(diào)解糖尿病病人的給藥泵,這個(gè)泵給藥給多了,病人就要截肢,給少了病人就要直接休克死。高不成低不就的典型代表。目前這種泵的算法是一個(gè)簡(jiǎn)單的微分方程,能保證不會(huì)少給藥,但是經(jīng)常會(huì)多給藥,導(dǎo)致很多重度糖尿病都要被截肢。
菲利普的這個(gè)項(xiàng)目就是要嘗試著用增強(qiáng)學(xué)習(xí)來得到一個(gè)優(yōu)良的自動(dòng)調(diào)整模型。這個(gè)項(xiàng)目立意很好,救人一條腿勝造七級(jí)浮屠嘛,但是菲利普問了在座的我們一個(gè)問題:“你們知道現(xiàn)在這些增強(qiáng)學(xué)習(xí)的算法,需要多少次試驗(yàn)才能調(diào)出一個(gè)成功的模型嗎?”
需要上百萬次參數(shù)調(diào)整后,才能得到一個(gè)很好的模型。你總不能對(duì)幾百萬糖尿病患者說:“為了所有現(xiàn)在以及未來的糖尿病患者,你們?nèi)ニ腊伞!?而且更重要的是,增強(qiáng)學(xué)習(xí)算法經(jīng)常不能保證每一次參數(shù)改變后都能讓模型變得更好:
這就像是說,我不知道這一顆藥讓你更健康還是讓你死掉(或截肢),但是為了實(shí)驗(yàn)效果,你最好給我吃下去。
為了真正的把增強(qiáng)學(xué)習(xí)應(yīng)用在醫(yī)療領(lǐng)域,需要通過概率理論,通過各種Bound(邊界)去證明一個(gè)算法能切實(shí)的每次都達(dá)到更好的效果。這就是理論對(duì)工業(yè)界的指導(dǎo),也是理論在應(yīng)用領(lǐng)域的勝利。
每個(gè)機(jī)器學(xué)習(xí)的領(lǐng)域,不論是自然語言處理、機(jī)器視覺、機(jī)器人其實(shí)都是這樣的人才緊缺規(guī)律,找到自己最適合的缺口才是最重要的。這可以是能夠?qū)⒁粋€(gè)算法高度并行化,在上百塊GPU上運(yùn)行的工程人才,也可以是在高危領(lǐng)域(比如無人駕駛、醫(yī)療)保證安全第一的理論人才。這兩塊區(qū)域在未來的3-5年內(nèi)都會(huì)急缺人才。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03