機器學習和 AI 領域必須了解的工具

關于數(shù)據(jù)科學，工具可能并不是那么熱門的話題。人們似乎更關注最新的聊天機器人技術以及深度學習框架。

但這顯然是不合理的。為什么不花些時間，挑選合適的工具呢？畢竟好的工具能夠讓你事半功倍。在本文中介紹了機器學習和 AI 方面的優(yōu)質(zhì)工具。

應該使用哪種語言？

這是一個有爭議的問題。存在很多不同的觀點。我個人的觀點可能不那么常見，我認為越多越好。你應該同時使用 R 語言和 Python。

為什么？R語言更擅長數(shù)據(jù)可視化，并且有大量的統(tǒng)計數(shù)據(jù)包。另一方面，Python可以幫助你將模型部署生產(chǎn)，并更好地與團隊中其他開發(fā)人員合作。

基本的軟件包

我們應該充分利用的優(yōu)秀開源社區(qū)。首先讓我們回顧一下數(shù)據(jù)科學工作的主要流程。

典型的機器學習工作流程

最重要的步驟是：數(shù)據(jù)獲取、數(shù)據(jù)清洗、可視化、建模、溝通。這些過程都需要用到庫。

數(shù)據(jù)清洗

針對數(shù)據(jù)清洗，R語言中有一個出色的包——dplyr。無可否認，它的語法有些奇怪。注意 ％>％ 與* nix中的（|）運算符的工作原理相同，前一個操作的輸出成為下一個操作的輸入。這樣，只需幾行代碼，你就可以構(gòu)建相當復雜且可讀的數(shù)據(jù)清洗操作。

另一方面，Python中可以用到Pandas。這個庫很大程度上借鑒了R語言，特別是數(shù)據(jù)框的概念（當中行是觀測，列是特征）。這需要一定的學習過程，但在習慣了之后，你可以在數(shù)據(jù)處理中做很多事情（甚至可以直接寫入數(shù)據(jù)庫）。

數(shù)據(jù)可視化

針對數(shù)據(jù)可視化，R語言中有ggplot2和plotly。ggplot2 非常強大，但級別較低。同樣它的語法很奇怪，你需要通過圖形語法來進行理解。plotly是一個較新的庫，具有 ggplot 的功能，只需要一行代碼就能進行交互。

Python中進行可視化的基礎包是 matplotlib。但它的語法有些奇怪，默認顏色也不那么理想，因此我建議你使用新的seaborn軟件包。Python缺少對模型性能的可視化，這里可以使用 yellowbrick 解決。你可以使用它來創(chuàng)建漂亮的圖表分類器進行評估，查看特征，甚至繪制文本模型。

使用 seaborn 對 iris 數(shù)據(jù)集進行繪制

API

使用R語言進行機器學習常常會遇到一個問題。幾乎所有模型都有不同的API，除非你記住所有的內(nèi)容，如果你只想測試不同算法，那么就需要打開好幾個文檔標簽。這個缺陷可以用 caret 和 mlr 解決，后者較新。我推薦用mlr，因為它更結(jié)構(gòu)化，維護也更積極。而且功能強大，具有分解數(shù)據(jù)、訓練、預測和性能評估功能。

Python中相應的庫是scikit-learn。這也是我最喜歡的庫，同時 scikit-learn 也備受一些科技公司的青睞 。它有一致的API，超過150種算法（包括神經(jīng)網(wǎng)絡），出色的文檔，主動維護和教程。

Python中的ROC/AUC圖，使用yellowbrick

集成開發(fā)環(huán)境

對于R語言來說，RStudio 是一個非常棒的工具，而且沒有其他的競爭工具。我們希望在Python中找到相應的工具，我篩選了十幾個(Spyder，PyCharm，Rodeo，spacemacs，Visual Studio，Canopy等等)，主要推薦當中的兩個工具：Jupyter Lab和Atom + Hydrogen。

Jupyter Lab很棒。但它仍然繼承了Jupyter Notebook 中存在的一些缺點，比如單元狀態(tài)，安全性，以及最嚴重的VCS集成問題。出于這個原因，我建議使用Atom + Hydrogen。你可以用它完成各種數(shù)據(jù)科學任務，比如檢查數(shù)據(jù)框和變量，繪圖等。

Atom + Hydrogen

EDA 工具

為什么需要？在數(shù)據(jù)科學過程中，尤其是起步階段，我們需要快速地探索數(shù)據(jù)。在進行可視化之前，我們需要探索，并通過最少的技術投入來實現(xiàn)。因此寫一大堆 seaborn、ggplot 代碼并不是最佳選擇，你需要使用 GUI 界面。因為不涉及任何代碼，業(yè)務人員也可以使用。有兩個非常棒的跨平臺工具，并且免費——Past和Orange。前者更側(cè)重于統(tǒng)計分析，后者更側(cè)重于建模。兩者都可以做很棒的數(shù)據(jù)可視化，因此完全符合我們的目標。

用Orange你能夠進行的操作

結(jié)語

通過對工具進行優(yōu)化，你能夠更高效地完成數(shù)據(jù)分析工作(但也不要以此為借口不去工作哦)。