如何透徹的掌握一門機器學(xué)習(xí)算法

機器學(xué)習(xí)算法都是一個個復(fù)雜的體系，需要通過研究來理解。學(xué)習(xí)算法的靜態(tài)描述是一個好的開始，但是這并不足以使我們理解算法的行為，我們需要在動態(tài)中來理解算法。

機器學(xué)習(xí)算法的運行實驗，會使你對于不同類型問題得出的實驗結(jié)論，并對實驗結(jié)論與算法參數(shù)兩者的因果關(guān)系有一個直觀認識。

在這篇文章中，你將會知道怎么研究學(xué)習(xí)一個機器學(xué)習(xí)算法。你將會學(xué)到5個簡單步驟，你可以用來設(shè)計和完成你的第一個機器學(xué)習(xí)算法實驗

你會發(fā)現(xiàn)機器學(xué)習(xí)實驗不光是學(xué)者們的專利，你也可以；你也會知道實驗是通往精通的必經(jīng)之路，因為你可以從經(jīng)驗中學(xué)到因果關(guān)系的知識，這是其它地方學(xué)不到的。

什么是研究機器學(xué)習(xí)算法

當研究一個機器學(xué)習(xí)算法的時候，你的目標是找到可得到好結(jié)果的機器算法行為，這些結(jié)果是可以推廣到多個問題或者多個類型的問題上。

你通過對算法狀態(tài)做系統(tǒng)研究來研究學(xué)習(xí)機器學(xué)習(xí)算法。這項工作通過設(shè)計和運行可控實驗來完成

一旦你完成了一項實驗，你可以對結(jié)論作出解釋和提交。這些結(jié)論會讓你得以管窺在算法變化中因果關(guān)系。這就是算法行為和你獲得的結(jié)論間的關(guān)系。

怎樣研究學(xué)習(xí)機器學(xué)習(xí)算法

在這一部分，我們將學(xué)到5個簡單的步驟，你可以通過它來研究學(xué)習(xí)一個機器算法

1.選擇一個算法

選擇一個你有疑問的算法

這個算法可能是你正在某個問題上應(yīng)用的，或者你發(fā)現(xiàn)在其他環(huán)境中表現(xiàn)很好，將來你想使用

就實驗的意圖來說，使用現(xiàn)成的算法是有幫助的。這會給你一個底線：存在bug幾率最低

自己實現(xiàn)一個算法可能是了解算法過程的一個好的方式，但是，實驗期間，會引入額外的變量，比如bug，和大量必須為算法所做的微觀決策

2.確定一個問題

你必須有一個你試圖尋找答案的研究問題。問題越明確，問題越有用

給出的示例問題包括以下幾個方面：

KNN算法中，作為樣本空間中的一部分的K值在增大時有什么影響？

在SVM算法中，選擇不同的核函數(shù)在二分類問題上有什么影響 ？

在二分類問題中，邏輯回歸上的不同參數(shù)的縮放有什么影響 ？

在隨機森林模型中，在訓(xùn)練集上增加任意屬性對在分類準確性上有什么影響？

針對算法，設(shè)計你想回答的問題。仔細考慮，然后列出5個逐漸演變的問題，并且深入推敲那個最精確的

3.設(shè)計實驗

從你的問題中挑選出關(guān)鍵元素然后組成你的實驗內(nèi)容。 例如，拿上面的示例問題為例：“二元分類問題中邏輯回歸上的不同的參數(shù)縮放有什么影響？”

你從這個問題中挑出來用來設(shè)計實驗的元素是：

屬性縮放法：你可以采用像正態(tài)化、標準化，將某一屬性提升至乘方、取對數(shù)等方法

邏輯回歸：你想使用哪種已經(jīng)實現(xiàn)的邏輯回歸。

二元分類問題：存在數(shù)值屬性不同的二分類問題標準。需要準備多種問題，其中一些問題的規(guī)模是相同的（像電離層），然而其他一些問題的屬性有不同的縮放值（像糖尿病問題）。

性能： 類似分類準確性的模型性能分數(shù)是需要的

花時間仔細挑選你問題中的組成元素以便為你的問題給出最佳解答。

4. 進行試驗并且報告你的結(jié)論

完成你的實驗

如果算法是隨機的，你需要多次重復(fù)實驗操作并且記錄一個平均數(shù)和標準偏差

如果你試圖尋找在不同實驗（比如帶有不同的參數(shù)）之間結(jié)果的差異，你可能想要使用一種統(tǒng)計工具來標明差異是否統(tǒng)計上顯著的（就像學(xué)生的t檢驗）

一些工具像R和scikit-learn/SciPy完成這些類型的實驗，但是你需要把它們組合在一起，并且為實驗寫腳本。其他工具像Weka帶有圖形用戶界面，你所使用的工具不要影響問題和你實驗設(shè)計的嚴密

總結(jié)你的實驗結(jié)論。你可能想使用圖表。單獨呈現(xiàn)結(jié)果是不夠的，他們只是數(shù)字。你必須將數(shù)字和問題聯(lián)系起來，并且通過你的實驗設(shè)計提取出它們的意義

對實驗問題來說，實驗結(jié)果又暗示著什么呢？

保持懷疑的態(tài)度。你的結(jié)論上有留什么樣的漏洞和局限呢。不要逃避這一部分。知道局限性和知道實驗結(jié)果一樣重要

5. 重復(fù)

重復(fù)操作

繼續(xù)研究你選擇的算法。你甚至想要重復(fù)帶有不同參數(shù)或者不同的測試數(shù)據(jù)集的同一個實驗。你可能想要處理你試驗中的局限性

不要只停留在一個算法上，開始建立知識體系和對算法的直覺

通過使用一些簡單工具，提出好的問題，保持嚴謹和懷疑的態(tài)度，你對機器算法行為的理解很快就會到達世界級的水平

研究學(xué)習(xí)算法不僅僅是學(xué)者才能做的

你也可以學(xué)習(xí)研究機器學(xué)習(xí)算法。

你不需要一個很高的學(xué)位，你不需要用研究的方式訓(xùn)練，你也不需要成為一名學(xué)者

對每個擁有計算機和濃厚興趣的人來說，機器學(xué)習(xí)算法的系統(tǒng)研究學(xué)習(xí)是開放的。事實上，如果你主修機器學(xué)習(xí)，你一定會適應(yīng)機器學(xué)習(xí)算法的系統(tǒng)研究。知識根本不會自己出來，你需要靠自己的經(jīng)驗去得到

當談?wù)撃愕陌l(fā)現(xiàn)的適用性時，你需要保持懷疑和謹慎

你不一定提出獨一無二的問題。通過研究一般的問題，你也將會收獲很多，例如根據(jù)一些一般的標準數(shù)據(jù)集總結(jié)出一個參數(shù)的普遍影響。你保不住會發(fā)現(xiàn)某些具有最優(yōu)方法的常例的局限性甚至反例。

行動步驟

通過可控實驗?zāi)阒懒搜芯繉W(xué)習(xí)機器學(xué)習(xí)算法行為的重要性。你掌握了簡單的5個步驟，你可以在一個機器學(xué)習(xí)算法上設(shè)計和運行你的第一項實驗

采取行動。使用你在這篇博文中學(xué)到的步驟，來完成你的第一個機器學(xué)習(xí)實驗。一旦你完成了一個，甚至是很小的一個，你將會獲得自信，工具、能力來完成第二個以及更多