作者 | David Mack

來源 | AI開發(fā)者

本文作者 David Mack，為了從事機器學習相關的研究，他辭去了工作，在沒有固定收入的情況下進行了一年了探索。本文是他對過去一年經(jīng)驗和體會的總結。

最近，我發(fā)現(xiàn)我的生活需要一個新的挑戰(zhàn)。我厭倦了我的日常工作，堅持想自己去從事機器學習研究。

這一年充滿了挑戰(zhàn)，且收獲頗豐。我經(jīng)歷了許多失敗和一系列意想不到的成功，走上了一條完全不同于之前設想的道路。

在這里，我將告訴你我的經(jīng)歷：我做了什么，哪些成功了，哪些失敗了，我學到了什么，我會做什么不一樣的事情。如果你渴望進入機器學習領域，或者想知道成為一名研究員需要什么，希望我的文章能夠幫到你。

我從哪里開始

隨著時間的推移，我工作中的學習和挑戰(zhàn)逐漸減少。以前有很多未知的技能需要學習，現(xiàn)在我每天只需要按照一個規(guī)律的模式執(zhí)行就可以。我對沒有已知解決方案的開放性問題感到最為興奮。

我越來越多地把空閑時間花在閱讀學術論文和草擬解決開放性問題的方案上。

有一天，我坐在森林里的樹樁上，等著一個朋友回來，我突然產(chǎn)生了一個想法，那就是我不得不辭職。這種清醒的時刻是奇怪和罕見的，你永遠不知道它會出現(xiàn)在什么時候。第二天早上，我告訴我的團隊我要離開。

在大學里，我攻讀了計算機科學的本科和計算機科學與數(shù)學的碩士學位。我一直渴望進一步學習，但從未找到一個吸引我的環(huán)境。

在我辭職的時候，我很幸運有了一些存款，所以放棄全職工作就不那么可怕了。我每周工作 2 天并減少開支以使我的財務收支平衡。我的搭檔幫助我，我很多周末都在工作。

熱身運動

在辭掉工作之前，我已經(jīng)開始從事微型研究項目，我會做一些有趣的東西，在網(wǎng)上寫下來，這個過程不會花太多時間來完成。

這大大增強了我走這條新道路的信心。通過指導和出版它們（這里是其中一個例子），我向自己展示了我有研究的基本技能。

我鼓勵任何正在考慮進行研究的人找到一些小項目，并把它們做完。它很有趣，并且能讓你體驗整個過程。

開始

在進入全職研究之后，我做的第一件事就是建立 Octavian.ai，這是一個我可以在網(wǎng)上寫作的地方。我將一個網(wǎng)絡流量網(wǎng)站，一個媒體出版物，facebook 和 twitter 整合在一起。雖然我在美術上花了很多時間（我也喜歡平面設計），但在過去的一年里，這個網(wǎng)站一直是我用得最多的地方。當人們對我的工作感興趣時，我經(jīng)常讓他們去看看這個網(wǎng)站。

我還發(fā)現(xiàn)，有一個品牌可以將我們所有的工作和各種演講活動聯(lián)系在一起。我相信這個品牌幫助我們發(fā)展了我們的社區(qū)，因為它幫助組織看起來更加連貫和專業(yè)。

我沒有為這件事情籌集任何資金。這只是一種個人探索的工具，不適合提升。

科研并不是魔法

我需要克服的最早的障礙之一是改變進行研究是一種只有精英才能完成的神秘活動的想法。

我現(xiàn)在已經(jīng)從一些學生、研究人員和工程師那里聽到了同樣的感受。即使是出版過相關著作的研究人員也偶爾在 Twitter 上承認感覺自己像冒名頂替者，而不是「真正的研究人員」。

雖然我還只是研究領域的一個剛入門的學生，但我聽說很多人對此感到消極，所以我想發(fā)表一個聲明：研究不是魔法。這只是一個處理問題、定義問題、列出解決方案、嘗試解決方案、了解什么方法有效以及記錄這些問題的過程。任何聰明、勤奮的人都可以走這條路。

此外，你很容易因為害怕自己能力不夠或者這件事情不值得去做而放棄。相反，開始研究吧，給它時間去自由發(fā)展。

進行研究需要很長時間

我今年最大的收獲之一就是投入了很多時間、精力和資源來進行研究。具體來說，我的意思是產(chǎn)生成功的結果：一種比其他人表現(xiàn)更好的方法，或者發(fā)現(xiàn)一個能幫助其他人的問題。

在我的職業(yè)生涯中，我很清楚計劃的謬誤：

「預測完成未來任務所需時間經(jīng)常會表現(xiàn)出樂觀主義傾向，我們會低估所需的時間。」

然而，我花了很多時間在研究項目上，才真正做到這一點。我發(fā)現(xiàn)每個項目都會經(jīng)歷一個周期：

1. 蜜月期：對問題和潛在解決方案的強烈興奮、好奇和樂觀
2. 開始工作：打開代碼編輯器，整理數(shù)據(jù)集，勾畫出實驗架構，滿足線性進展
3. 第一個障礙：解決這個問題比最初設想的要困難。數(shù)據(jù)處理需要更多的工作。最初的想法是錯的。
4. 悲傷、漫長的驅動/低谷：堅持成為支撐的動力，需要修復更多的錯誤，需要編寫更多的測試用例，更多的變化需要嘗試。未來可能會成功，也可能不會。
5. 最后終于成功：完成這個項目過程中的一個快樂時刻。你可能永遠不會到達這里，或者你可能會徹底證明你的方法永遠不會奏效。如果是，返回到第一步。
6. 把它拿出來：寫作，然后點擊發(fā)布。至此，你唯一的動機就是不再參與這個項目。你點擊發(fā)布并離開辦公室。

在我的心理評估中，我通常只記得步驟 1 到 3。我的記憶抹去了悲傷的事情，這也許是為了保護我的熱情。

我現(xiàn)在對我承擔的項目范圍更加謹慎了。我有一個評分系統(tǒng)：

• 新數(shù)據(jù)集？+2 分
• 數(shù)據(jù)集太大，無法放在一臺機器的內存中？+1 分
• 從一篇沒有代碼的論文中實現(xiàn)？+1 分
• 不適合庫的結構：+1 分
• 用多個 GPU 訓練？+1 分
• 集群訓練？+3 分

我花了很多時間構建數(shù)據(jù)和訓練基礎設施。例如，一個項目的大部分是將一個模型轉換為在一個 TPU 集群上運行（這是我當時唯一擁有的云資源），這樣我就可以測試出注意力函數(shù)的變化。經(jīng)過大量的努力，我得到了一個消極的結果。

我選擇放棄學術論文，轉而在媒體上寫博客。這是一把雙刃劍：它犧牲嚴謹性，讓我有時間折騰更多的項目。有人和我的朋友們這件事的討論利弊，他說：「如果你寫一篇論文，大多數(shù)人無論如何都讀不到這篇博客文章了」，這就解決了問題。

考慮到自己的個人時間之外，我現(xiàn)在非常感謝研究機構的資源。即使是寫一篇論文，理想情況下你也需要一個團隊的合作者，幾個月，大量的 GPU 時間，然后幾個人來幫忙寫。

與初創(chuàng)企業(yè)和圖書行業(yè)一樣，深度學習研究也是一個基于點擊率的模型——一小部分的論文將獲得最大的關注。研究就像抽獎：有些票會有獎品，但你不知道是哪一張。最好的辦法是買很多票。作為一名獨立研究者，我必須仔細挑選幾張票。

無錢訓練

機器學習研究中花費在增加

人工智能的冬天由于 GPU 的發(fā)展而部分解凍了，其中很多地方都解凍了。

這張來自 OpenAI 的圖表顯示了訓練資源呈指數(shù)級增長的明顯趨勢，即產(chǎn)生最新成果的成本越來越高：

計算規(guī)模（歸功于 OpenAI）

在今年年初，我收集了我能得到的資源：一堆谷歌云信用卡。我把自己的一些錢投入了托管。與任何研究實驗室都能接觸到的資源相比，這一點都顯得蒼白無力。由于以下幾個原因，資源不再是瓶頸：

• 建造一個能夠證明大量資源是合理的東西需要花費大量的工程時間。我一直很小心地只在資源發(fā)揮作用的時候使用它們。
• 我選擇了一些數(shù)學/理論性更強的問題（而不是在擬合問題下「將模型放大」）。
• 在某些情況下，你可以使用較小版本的模型進行試驗，然后在充分調試后再花掉訓練預算。

隨著時間的發(fā)展，一些善良的人和組織捐贈了資源：

• FloydHub：使用 GPU 在云計算機上運行機器學習實驗的一種非常簡單的方法。
• Google TPU 研究云：TPU 現(xiàn)在是我最喜歡的大規(guī)模訓練方式。編程模型將你的訓練分為多個 batch，因此要使用更多的機器，需要增加 batch 大小。

我真的很感謝上面兩個資源的支持，它使很多工作成為可能。

無錢招聘

我真的很喜歡創(chuàng)造有自己生命的東西。小時候，我寫過多人游戲引擎，程序世界和 BEAM 機器人。作為一個成年人，我開始嘗試創(chuàng)建公司。每天 SketchDeck 都會聚集許多偉大的人，他們會制作精美的作品，這給我?guī)砹撕芏鄻啡ぁ?/span>

作為 Octavian.ai 項目的一部分，我想創(chuàng)建一個合作者社區(qū)。事實證明（毫不奇怪）很難說服人們在沒有錢的情況下與你共事。他們也是要恰飯的。

然而，一些人確實站起來并做出了貢獻：

Andrew Jefferson，一位我終生的朋友，在從事日常工作的同時，他編寫、評審、演講、發(fā)表文章和幻燈片。

今年夏天加入的 Ashwath Kumar Salimath 幫助撰寫了一系列文章，并發(fā)表了自己的文章。謝謝你們倆！

此外，隨著這一年的發(fā)展，許多人加入了我們的聊天室。一個對圖形機器學習感興趣的群體慢慢出現(xiàn)了。我們進行了很多有趣的討論，我真的很高興對這個話題感興趣的人找到了彼此。

無錢營銷

隨著深度學習從學術界一個不起眼的角落成長為一個價值 10 億美元的行業(yè)，我們看到了學術界和全球營銷預算的奇妙交叉。一切看起來都很完美，許多會議和訓練營應運而生。

我在 Octavian.ai 的營銷上投入了 0 美元。這一年來，我發(fā)現(xiàn)我們接觸讀者的最佳方式是：

谷歌搜索帶來了我們大部分的博客流量

我們的免費機器圖形學習課程通過 HackerNews, Reddit 和 Twitter 進行了大量分享。

在會議和會議上交談會帶來流量和有價值的互動

在圖形上進行機器學習是非常適合的。我最感興趣的是在這個世界上找到真正重要的人，而不是試圖擴大眼球或收到更多喜歡。

在沒有主管和團隊的情況下生存

今年年初，我真的低估了一件事，那就是與主管和團隊合作。我有時開玩笑說，我這一年是「攻讀博士學位的第一年，不同的是，沒有導師，我自己在家里學習」。

作為一個創(chuàng)業(yè)者，我有著強烈的獨狼心態(tài)。我一般不想等待外部因素，相反，我相信通過堅持不懈，我可以到達任何我想去的地方。

我很幸運有幾個親密的同事，一年來有一個不斷壯大的社區(qū)來支持我的努力。然而，我的大部分工作是在相對孤立的環(huán)境中完成的

我現(xiàn)在認為我可以和主管一起進步得更快。這在一些方面會有所幫助：

• 向我提出好問題
• 指導我找到我不可能想到的好辦法
• 壓力/靈感，做得更好
• 作為一個團隊的一員會幫助我：
• 交流和發(fā)展更多的想法
• 更快地測試想法
• 互相學習
• 嘗試更多的事情
• 編寫更全面的報告

獨自工作（大部分）是孤獨的。你需要在精神上能快速恢復，并且堅定地相信自己能到達目的地。

最后，從脆弱的角度來說，當你工作之外的生活陷入困境時，做這種工作是非常困難的。生活的曲折消耗了足夠的能量，很難繼續(xù)進行單獨的研究。

發(fā)現(xiàn)好問題

這是我一年來發(fā)展的最大的技能。我現(xiàn)在相信這是研究的第一步，也是許多人成功的秘訣。

選擇要解決的問題是一門藝術。這一年來，有那么多人來找我，要求我?guī)椭麄兲暨x自己的研究問題，于是我寫了一份建議清單。

在今年年初，挑選一個問題進行研究既令人困惑又令人擔憂。現(xiàn)在我有了一個很長的列表，列出了我想要探索的領域，以及度量標準和實驗的概念。

我認為這項技能需要時間來提高。這是直覺（根據(jù)過去的經(jīng)驗），什么問題適合研究，什么適合你的資源，以及什么解決方案可能會挖掘出一些成功。

以下是發(fā)展這種技能的一些建議：

• 在公共數(shù)據(jù)集/已知問題上參與比賽可以讓你保持誠實——你有模型可以擊敗并能建立成功的標準。
• 盡管為新類型的問題創(chuàng)建自己的數(shù)據(jù)集也很有價值，但在這里，你更容易滿足于你的解決方案是否真正新穎，并且很難讓其他人對你的工作感興趣。
• 閱讀大量的論文，看看他們遇到了什么問題，他們如何試圖解決這些問題，以及他們如何衡量成功。
• 與人交談。
• 撰寫研究建議并獲得反饋。
• 尋找在現(xiàn)實世界有價值的問題——如果你解決了這些問題，自然會有更大的成果和更多的關注。
• 傾聽你的好奇心：作為一個研究者，你的動機是一個有價值的催化劑。如果你覺得有些東西還沒被充分發(fā)掘，去看看吧。
• 如果你們是兩個不同領域的專家，看看這兩個領域的交叉點。你可以得到一些別人沒有的靈感。
• 參與整個研究項目的生命周期將使你獲得其他方法無法獲得的洞察力。將最初的想法與最終的結果進行比較。

寫作是生命之源

你所有未溝通的想法都將被忽略。提高寫作水平的最好方法就是寫作。

在寫作中（無論是想法還是結果），你不確定的想法都會暴露在你面前。

我的寫作能力和研究思路在一年中通過寫許多文章而得到了很大的發(fā)展。

技術題材常青

你不知道什么會引起讀者的共鳴。

寫作的另一個好處是它提供了參與度統(tǒng)計數(shù)據(jù)。查看哪些文章做得好，哪些文章做得不好，我對此無限著迷。其中有一些我也經(jīng)常感到驚訝。

我早期寫的文章之一「如何選擇學習速率」，是目前 Octavian 上閱讀量最高的文章（66K）。在寫作的時候，我從來沒有料到這一點。

沒有博士學位

自從本科畢業(yè)以來，我一直在考慮是否要攻讀博士學位。作為一名本科生，我花了一個夏天的時間和團隊一起完成一篇論文，最后一學期我的碩士論文都是為這門課寫的一篇研究論文。最終，我從未發(fā)現(xiàn)我想要的環(huán)境、團隊和問題的結合。我在創(chuàng)業(yè)過程中發(fā)現(xiàn)的精力和活力對我更有吸引力。

我認為沒有博士學位對我有一些不利之處：

• 博士學位讓你有時間閱讀大量論文和實踐研究技能。
• 博士學位給了你一個有利于良好研究的導師和環(huán)境。
• 博士學位是一系列現(xiàn)在對我有吸引力的工作的預期切入點。

我仍然對攻讀博士學位持開放態(tài)度。我表妹很了解這個職業(yè)，并準備攻讀第二個博士學位，所以我很感激有很多途徑可以了解這一點。

我會怎么做呢？

這一年過去后，我現(xiàn)在可以反思一下我可能可以做得更好的方式。

首先，我不后悔。我能給自己的最大禮物就是時間。有足夠的時間和空間去關注我的好奇心，努力完成對我來說很重要的項目，這是非常特別的，我真的很幸運我能做到。

對我來說，今年開始是一次真正的冒險。目的地未知，我將邊走邊摸索未來的道路。

今年我有許多寬松的目標，其中一些已經(jīng)實現(xiàn)：

向我自己證明我有能力進行學術研究。我想我做到了。這一年我學到了很多關于構建 ML 系統(tǒng)的技巧和研究的技巧。我對自己的研究方向也有了更好的了解。我看到自己仍在思考問題，掌握了基本技能。我能夠完成所有的研究步驟，并有信心指導學生們。

創(chuàng)建一個機器學習驅動的企業(yè)。我在這個目標上失敗了。我探索了很多想法，和很多人交談，但沒有找到答案。這在一定程度上是因為這個目標并沒有集中在解決一個真正的問題上；我從來沒有發(fā)現(xiàn)一個我非常想解決的問題。

提高我搭建機器學習系統(tǒng)的技能。我確實做到了。在每一篇已發(fā)表的文章（以及一堆未發(fā)表的文章）后面都有大量的代碼、閱讀文章和調試模型。我花了大量時間在訓練和數(shù)據(jù)基礎設施上。我的實現(xiàn)技能大大提高了，我對系統(tǒng)為什么不能工作以及如何處理它有很強的直覺。

制作一份學術級的研究報告。我沒有達到這個目標。到今年年底，我已經(jīng)建立了嘗試這一點的技能和研究問題清單，我的最后一個大項目沒有產(chǎn)生積極的結果。我沒時間嘗試更多的解決方案。不過，它確實教會了我很多關于擴大 TPU 訓練的知識。我想花更多的時間來實現(xiàn)這個目標。

一位朋友在這一年給我的一條建議是，為了我的興趣，尋找世界上最好的人，并向他們學習。我仍然不知道如何在沒有博士學位的情況下完成這項工作，但這并不意味著這是不可能的。

我時常反省自己的中心目標是什么。一個持久的答案是「創(chuàng)造我引以為傲的東西」。我堅持自己的高標準，隨著我的學習水平的提高而提高，因此我傾向于認為我所有的工作都不夠好。感謝所有幫助我走上這條道路的人。