Kaggle大神經驗分享丨如何用15個月沖到排行榜的首位

在最新的Kaggle用戶排行榜上，排名第一位的ID是Bestfitting，他本人叫Shubin Dai。Shubin Dai在兩年前加入Kaggle，目前生活在中國湖南省長沙。他是一名數(shù)據(jù)科學家、工程師，目前領導一家為銀行提供軟件解決方案的公司。在工作之余，除了Kaggle，Dai還是一名狂熱的山地車手，喜歡戶外運動。

最近Shubin Dai接受了Kaggle團隊的專訪，分享了他在參加Kaggle競賽時的心得與體會。

Q1: 可以介紹以下自己和相關背景嗎？

我的專業(yè)是計算機科學，在軟件開發(fā)方面有超過10年的經驗。目前我負責領導一個團隊，專門為銀行提供數(shù)據(jù)處理和分析的方案。

自大學以來，我對利用數(shù)學知識構建程序，從而來解決問題十分感興趣。我一直在閱讀計算機科學方面的書籍和論文，并且很高興見證了過去十年中機器學習和深度學習方面的進展。

Q2: 你是如何開始參加Kaggle比賽的？

正如之前所說的，我一直在閱讀大量機器學習和深度學習方面的書籍和論文，但發(fā)現(xiàn)很難將我學到的算法應用于小型數(shù)據(jù)集。我發(fā)現(xiàn)Kaggle是一個很棒的平臺，當中有各種有趣的數(shù)據(jù)集、算法和精彩的探討。我迫不及待想進行嘗試，我第一個參加的比賽是“預測紅帽商業(yè)價值”(Predicting Red Hat Business Value)。

Q3: 在參加新的比賽時，你首先會做什么？

在比賽開始的第一個星期，我會創(chuàng)建一個解決方案文檔，在比賽進行中，我會不斷對文檔進行更新。為此，首先我需要了解比賽和手上的數(shù)據(jù)，然后研究類似的Kaggle比賽和相關論文。

Q4: 在比賽時，你會做哪些步驟呢？

1. 仔細閱讀比賽的概述和數(shù)據(jù)的描述；

2. 查找類似的Kaggle比賽。作為剛加入Kaggle社區(qū)不久的新手，我對所有的Kaggle比賽進行了搜索和分析；

3. 研究類似比賽的解決方案；

4. 閱讀相關論文，確保我跟進該領域的最新進展；

5. 分析數(shù)據(jù)，并構建可靠的交叉驗證；

6. 進行數(shù)據(jù)預處理、特征工程、模型訓練；

7. 進行結果分析，包括預測分布、錯誤分析、困難樣本等；

8. 根據(jù)分析，精心設計模型或設計新模型；

9. 基于數(shù)據(jù)分析和結果分析，通過設計模型增加多樣性，或解決困難樣本；

10. 模型集成；

11. 必要時返回前面某個步驟。

Q5: 你最喜歡的機器學習算法是什么？

我會逐個選擇算法，但在進行集成時我更喜歡用簡單的算法，如嶺回歸(ridge regression)。在深度學習的比賽中，在開始我總是喜歡使用resnet-50或設計類似的結構。

Q6: 你最喜歡的機器學習庫是什么？

在計算機視覺比賽中，我非常喜歡用pytorch。在自然語言處理或時間序列比賽中，我喜歡用TensorFlow或keras。在進行分析時，我會使用seaborn，以及scipy庫。很多情況下scikit-learn和XGB都是不錯的選擇。

Q7: 你會如何進行超參數(shù)調整呢？

我根據(jù)對數(shù)據(jù)和算法的理論理解來調整參數(shù)，如果我無法解釋結果變好或變壞的原因，我不會輕易使用。

在深度習比賽中，我經常會搜索相關論文，查找在類似情況下其他人會怎么做。

而且，我會比較參數(shù)更改前后的結果，例如預測分布、受影響的樣本等。

Q8: 你是如確定交叉驗證方法和最終的提交模型？

有了好的交叉驗證方法就成功了一半。在找到好的方法來評估模型前，我不會進入下一步。

為了構建可靠的交叉驗證方法，你必須很好地理解數(shù)據(jù)和所面臨的挑戰(zhàn)。我還會檢查，并確保驗證集與訓練集和測試集有類似的分布，我會確保我的模型本地交叉驗證和公共排行榜上都有不錯的改進。

在時間序列比賽中，我會留出數(shù)據(jù)作為驗證集。

通常，我會以一種保守方式來選擇最終的提交模型。我會選擇對可靠模型進行加權平均后的集成模型，并確定出其中相對冒險的模型。在我看來，更多的參數(shù)意味著更多的風險。但我不會選擇我無法解釋的模型，即使它的公共排行榜得分很高。

Q9: 簡而言之，怎樣才能贏得比賽？

需要良好的交叉驗證方法。以及從其他比賽中學習，閱讀相關論文，還需要自律和心里承受力。

Q10: 你最喜歡哪類Kaggle比賽？為什么？

我最喜歡自然保護和醫(yī)療相關的比賽。我覺得我有必要為改善我們的生活和保護地球做些什么。

Q11: 機器學習中，你對哪個子領域最感興趣？

我對深度學習的各種進步都很感興趣。我想利用深度學習解決除計算機視覺和自然語言處理之外的問題，因此在我參加的比賽和日常工作中，我會使用到深度學習。

Q12: 對你而言，在解決數(shù)據(jù)科學問題時，專業(yè)知識有多重要？

老實說，我不認為專業(yè)知識會有太多的作用，原因如下：

1. Kaggle提供的比賽數(shù)據(jù)對每個人都很公平；

2. 僅使用成熟的方法贏得比賽是很難的，尤其是對于深度學習的比賽。因此我們需要更多創(chuàng)造性的解決方案;

3. 數(shù)據(jù)本身更重要，盡管我們可能需要閱讀一些相關的材料。

但是也有一些例外。例如，在Planet Amazon比賽中，我從我在熱帶雨林的經歷中獲得了一些想法，但這些經驗并不能稱為專業(yè)知識。

Q13: 你認為你最有競爭力的比賽技巧是什么？

我認為是在比賽開始時準備解決方案文檔。我會列一份清單，包括面臨的挑戰(zhàn)、應該閱讀的解決方案和論文、可能的風險、可能的交叉驗證方法、可能的數(shù)據(jù)增強方法以及加強模型多樣性的方式。而且，我會不斷更新文檔。幸運的是，這些文檔在我之后的比賽中都很很大的幫助。

Q14: 在工作中，你是如何運用數(shù)據(jù)科學的? Kaggle比賽有所幫助嗎？

我的團隊嘗試通過機器學習解決各種銀行業(yè)務問題，比如預測銀行網點的訪客；預測ATM應準備的現(xiàn)金；產品推薦；操作風險控制等。

Kaggle比賽也改變了我的工作方式，當我為解決問題尋找解決方案時，我會尋找類似的Kaggle比賽，因為那些都是寶貴的資源。同時我還建議我的同事們研究類似的解決方案，從中獲得啟發(fā)。

Q15: 你如何權衡模型復雜性和訓練/測試運行時間？

以下是我的看法：

1. 只有當這方面出現(xiàn)問題時，培訓/測試運行時間才值得關注。當正確率很重要時，不用太擔心模型的復雜性。如果獲得訓練數(shù)據(jù)需要好幾個月的時間，那么我們需要充分的利用。

2. 現(xiàn)在，只對弱模型進行集成很難贏得比賽。如果你想成為第一名，你需要多個很好的單一模型。如果我想在比賽中確保第一名，我會設計幾個不同的模型，并且在排行榜上能達到前10名，有時甚至是前3名。

3. 按照我的經驗，我會在比賽中設計模型來探索這個問題的上限，然后選擇一個簡單的模型使其在實際情況下可行。我總會盡量向組織者提交一個簡單模型，并且與他們進行討論。我發(fā)現(xiàn)一些組織者甚至會使用我們的方案來解決他們面臨的其他問題。

4. 當訓練/測試運行時間很重要時，Kaggle有很多機制來確保性能：kernel比賽、團隊規(guī)模限制、增加更多在計分時未計算的數(shù)據(jù)等。我相信Kaggle也會根據(jù)比賽目標改進規(guī)則。

Q16: 你是如何在Kaggle比賽不斷進步的？

有趣的比賽和Kaggle中強大的競爭對手讓我不斷進步。

Kaggle中有許多優(yōu)秀的競爭者，因此想贏得比賽并非易事，這不斷挑戰(zhàn)我的極限。去年，我盡可能多地完成比賽，并且猜測其他競爭者會做什么。為此，我必須閱讀大量材料，并構建多功能模型。在比賽之后，我研究了其他競爭對手的解決方案。

Q17: 你有關注哪些最近或正在進行的機器學習比賽嗎？

今年我希望能參加Kaggle的深度強化學習比賽。

Q18: 你僅用15個月就上升到排行榜的第一名，你是怎么做到的？

首先，取得第一只是代表我在Kaggle所學到的知識，而且我也幸運。

在我的前幾次比賽中，我試圖將近年來學到的理論轉化為技巧，并從其他人那里學到很多。

在對Kaggle比賽有一定的了解之后，我開始思考如何用系統(tǒng)化的方式進行比賽，因為我在軟件工程方面有多年經驗。

大約半年后，我獲得了首個獎項，并獲得了一些自信。我感覺我可能會在一年內成為達到大師級別。在Planet Amazon比賽中，我試圖獲得金牌，當發(fā)現(xiàn)自己名列第一位時，我非常驚訝。

然后我覺得應該繼續(xù)使用之前提到的策略和方法，從而取得更多的成功。在贏得Cdiscount比賽后，我爬升到了用戶排名榜的前列。

我從Kaggle平臺受益頗多，我從其他人那里學到了很多，Kaggle的用戶排名系統(tǒng)也激勵著我不斷進步。我也感到很幸運，我沒想到我能連續(xù)獲得6次獎項，在許多比賽中取得了前10名或前1％的成績。我可能很難再重復這個經歷了。

但是，取得好的排名并不是我的目標。我把每場比賽都視為學習的機會，因此我會選擇我不太熟悉領域的比賽，這迫使我去年研讀了成百上千篇論文。

Q19: 你提到過，你喜歡研究之前比賽中評分最高的解決方案。你有什么特別的見解嗎？

我尊重所有的贏家和出色解決方案的貢獻者，我知道他們付出了非常多的努力。我總是以一種可敬的態(tài)度研究這些解決方案。