Kaggle大神經(jīng)驗分享丨如何用15個月沖到排行榜的首位

在最新的Kaggle用戶排行榜上，排名第一位的ID是Bestfitting，他本人叫Shubin Dai。Shubin Dai在兩年前加入Kaggle，目前生活在中國湖南省長沙。他是一名數(shù)據(jù)科學(xué)家、工程師，目前領(lǐng)導(dǎo)一家為銀行提供軟件解決方案的公司。在工作之余，除了Kaggle，Dai還是一名狂熱的山地車手，喜歡戶外運動。

最近Shubin Dai接受了Kaggle團隊的專訪，分享了他在參加Kaggle競賽時的心得與體會。

Q1: 可以介紹以下自己和相關(guān)背景嗎？

我的專業(yè)是計算機科學(xué)，在軟件開發(fā)方面有超過10年的經(jīng)驗。目前我負責(zé)領(lǐng)導(dǎo)一個團隊，專門為銀行提供數(shù)據(jù)處理和分析的方案。

自大學(xué)以來，我對利用數(shù)學(xué)知識構(gòu)建程序，從而來解決問題十分感興趣。我一直在閱讀計算機科學(xué)方面的書籍和論文，并且很高興見證了過去十年中機器學(xué)習(xí)和深度學(xué)習(xí)方面的進展。

Q2: 你是如何開始參加Kaggle比賽的？

正如之前所說的，我一直在閱讀大量機器學(xué)習(xí)和深度學(xué)習(xí)方面的書籍和論文，但發(fā)現(xiàn)很難將我學(xué)到的算法應(yīng)用于小型數(shù)據(jù)集。我發(fā)現(xiàn)Kaggle是一個很棒的平臺，當中有各種有趣的數(shù)據(jù)集、算法和精彩的探討。我迫不及待想進行嘗試，我第一個參加的比賽是“預(yù)測紅帽商業(yè)價值”(Predicting Red Hat Business Value)。

Q3: 在參加新的比賽時，你首先會做什么？

在比賽開始的第一個星期，我會創(chuàng)建一個解決方案文檔，在比賽進行中，我會不斷對文檔進行更新。為此，首先我需要了解比賽和手上的數(shù)據(jù)，然后研究類似的Kaggle比賽和相關(guān)論文。

Q4: 在比賽時，你會做哪些步驟呢？

1. 仔細閱讀比賽的概述和數(shù)據(jù)的描述；

2. 查找類似的Kaggle比賽。作為剛加入Kaggle社區(qū)不久的新手，我對所有的Kaggle比賽進行了搜索和分析；

3. 研究類似比賽的解決方案；

4. 閱讀相關(guān)論文，確保我跟進該領(lǐng)域的最新進展；

5. 分析數(shù)據(jù)，并構(gòu)建可靠的交叉驗證；

6. 進行數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練；

7. 進行結(jié)果分析，包括預(yù)測分布、錯誤分析、困難樣本等；

8. 根據(jù)分析，精心設(shè)計模型或設(shè)計新模型；

9. 基于數(shù)據(jù)分析和結(jié)果分析，通過設(shè)計模型增加多樣性，或解決困難樣本；

10. 模型集成；

11. 必要時返回前面某個步驟。

Q5: 你最喜歡的機器學(xué)習(xí)算法是什么？

我會逐個選擇算法，但在進行集成時我更喜歡用簡單的算法，如嶺回歸(ridge regression)。在深度學(xué)習(xí)的比賽中，在開始我總是喜歡使用resnet-50或設(shè)計類似的結(jié)構(gòu)。

Q6: 你最喜歡的機器學(xué)習(xí)庫是什么？

在計算機視覺比賽中，我非常喜歡用pytorch。在自然語言處理或時間序列比賽中，我喜歡用TensorFlow或keras。在進行分析時，我會使用seaborn，以及scipy庫。很多情況下scikit-learn和XGB都是不錯的選擇。

Q7: 你會如何進行超參數(shù)調(diào)整呢？

我根據(jù)對數(shù)據(jù)和算法的理論理解來調(diào)整參數(shù)，如果我無法解釋結(jié)果變好或變壞的原因，我不會輕易使用。

在深度習(xí)比賽中，我經(jīng)常會搜索相關(guān)論文，查找在類似情況下其他人會怎么做。

而且，我會比較參數(shù)更改前后的結(jié)果，例如預(yù)測分布、受影響的樣本等。

Q8: 你是如確定交叉驗證方法和最終的提交模型？

有了好的交叉驗證方法就成功了一半。在找到好的方法來評估模型前，我不會進入下一步。

為了構(gòu)建可靠的交叉驗證方法，你必須很好地理解數(shù)據(jù)和所面臨的挑戰(zhàn)。我還會檢查，并確保驗證集與訓(xùn)練集和測試集有類似的分布，我會確保我的模型本地交叉驗證和公共排行榜上都有不錯的改進。

在時間序列比賽中，我會留出數(shù)據(jù)作為驗證集。

通常，我會以一種保守方式來選擇最終的提交模型。我會選擇對可靠模型進行加權(quán)平均后的集成模型，并確定出其中相對冒險的模型。在我看來，更多的參數(shù)意味著更多的風(fēng)險。但我不會選擇我無法解釋的模型，即使它的公共排行榜得分很高。

Q9: 簡而言之，怎樣才能贏得比賽？

需要良好的交叉驗證方法。以及從其他比賽中學(xué)習(xí)，閱讀相關(guān)論文，還需要自律和心里承受力。

Q10: 你最喜歡哪類Kaggle比賽？為什么？

我最喜歡自然保護和醫(yī)療相關(guān)的比賽。我覺得我有必要為改善我們的生活和保護地球做些什么。

Q11: 機器學(xué)習(xí)中，你對哪個子領(lǐng)域最感興趣？

我對深度學(xué)習(xí)的各種進步都很感興趣。我想利用深度學(xué)習(xí)解決除計算機視覺和自然語言處理之外的問題，因此在我參加的比賽和日常工作中，我會使用到深度學(xué)習(xí)。

Q12: 對你而言，在解決數(shù)據(jù)科學(xué)問題時，專業(yè)知識有多重要？

老實說，我不認為專業(yè)知識會有太多的作用，原因如下：

1. Kaggle提供的比賽數(shù)據(jù)對每個人都很公平；

2. 僅使用成熟的方法贏得比賽是很難的，尤其是對于深度學(xué)習(xí)的比賽。因此我們需要更多創(chuàng)造性的解決方案;

3. 數(shù)據(jù)本身更重要，盡管我們可能需要閱讀一些相關(guān)的材料。

但是也有一些例外。例如，在Planet Amazon比賽中，我從我在熱帶雨林的經(jīng)歷中獲得了一些想法，但這些經(jīng)驗并不能稱為專業(yè)知識。

Q13: 你認為你最有競爭力的比賽技巧是什么？

我認為是在比賽開始時準備解決方案文檔。我會列一份清單，包括面臨的挑戰(zhàn)、應(yīng)該閱讀的解決方案和論文、可能的風(fēng)險、可能的交叉驗證方法、可能的數(shù)據(jù)增強方法以及加強模型多樣性的方式。而且，我會不斷更新文檔。幸運的是，這些文檔在我之后的比賽中都很很大的幫助。

Q14: 在工作中，你是如何運用數(shù)據(jù)科學(xué)的? Kaggle比賽有所幫助嗎？

我的團隊嘗試通過機器學(xué)習(xí)解決各種銀行業(yè)務(wù)問題，比如預(yù)測銀行網(wǎng)點的訪客；預(yù)測ATM應(yīng)準備的現(xiàn)金；產(chǎn)品推薦；操作風(fēng)險控制等。

Kaggle比賽也改變了我的工作方式，當我為解決問題尋找解決方案時，我會尋找類似的Kaggle比賽，因為那些都是寶貴的資源。同時我還建議我的同事們研究類似的解決方案，從中獲得啟發(fā)。

Q15: 你如何權(quán)衡模型復(fù)雜性和訓(xùn)練/測試運行時間？

以下是我的看法：

1. 只有當這方面出現(xiàn)問題時，培訓(xùn)/測試運行時間才值得關(guān)注。當正確率很重要時，不用太擔心模型的復(fù)雜性。如果獲得訓(xùn)練數(shù)據(jù)需要好幾個月的時間，那么我們需要充分的利用。

2. 現(xiàn)在，只對弱模型進行集成很難贏得比賽。如果你想成為第一名，你需要多個很好的單一模型。如果我想在比賽中確保第一名，我會設(shè)計幾個不同的模型，并且在排行榜上能達到前10名，有時甚至是前3名。

3. 按照我的經(jīng)驗，我會在比賽中設(shè)計模型來探索這個問題的上限，然后選擇一個簡單的模型使其在實際情況下可行。我總會盡量向組織者提交一個簡單模型，并且與他們進行討論。我發(fā)現(xiàn)一些組織者甚至?xí)褂梦覀兊姆桨竵斫鉀Q他們面臨的其他問題。

4. 當訓(xùn)練/測試運行時間很重要時，Kaggle有很多機制來確保性能：kernel比賽、團隊規(guī)模限制、增加更多在計分時未計算的數(shù)據(jù)等。我相信Kaggle也會根據(jù)比賽目標改進規(guī)則。

Q16: 你是如何在Kaggle比賽不斷進步的？

有趣的比賽和Kaggle中強大的競爭對手讓我不斷進步。

Kaggle中有許多優(yōu)秀的競爭者，因此想贏得比賽并非易事，這不斷挑戰(zhàn)我的極限。去年，我盡可能多地完成比賽，并且猜測其他競爭者會做什么。為此，我必須閱讀大量材料，并構(gòu)建多功能模型。在比賽之后，我研究了其他競爭對手的解決方案。

Q17: 你有關(guān)注哪些最近或正在進行的機器學(xué)習(xí)比賽嗎？

今年我希望能參加Kaggle的深度強化學(xué)習(xí)比賽。

Q18: 你僅用15個月就上升到排行榜的第一名，你是怎么做到的？

首先，取得第一只是代表我在Kaggle所學(xué)到的知識，而且我也幸運。

在我的前幾次比賽中，我試圖將近年來學(xué)到的理論轉(zhuǎn)化為技巧，并從其他人那里學(xué)到很多。

在對Kaggle比賽有一定的了解之后，我開始思考如何用系統(tǒng)化的方式進行比賽，因為我在軟件工程方面有多年經(jīng)驗。

大約半年后，我獲得了首個獎項，并獲得了一些自信。我感覺我可能會在一年內(nèi)成為達到大師級別。在Planet Amazon比賽中，我試圖獲得金牌，當發(fā)現(xiàn)自己名列第一位時，我非常驚訝。

然后我覺得應(yīng)該繼續(xù)使用之前提到的策略和方法，從而取得更多的成功。在贏得Cdiscount比賽后，我爬升到了用戶排名榜的前列。

我從Kaggle平臺受益頗多，我從其他人那里學(xué)到了很多，Kaggle的用戶排名系統(tǒng)也激勵著我不斷進步。我也感到很幸運，我沒想到我能連續(xù)獲得6次獎項，在許多比賽中取得了前10名或前1％的成績。我可能很難再重復(fù)這個經(jīng)歷了。

但是，取得好的排名并不是我的目標。我把每場比賽都視為學(xué)習(xí)的機會，因此我會選擇我不太熟悉領(lǐng)域的比賽，這迫使我去年研讀了成百上千篇論文。

Q19: 你提到過，你喜歡研究之前比賽中評分最高的解決方案。你有什么特別的見解嗎？

我尊重所有的贏家和出色解決方案的貢獻者，我知道他們付出了非常多的努力。我總是以一種可敬的態(tài)度研究這些解決方案。