機(jī)器學(xué)習(xí)和 AI 領(lǐng)域必須了解的工具

關(guān)于數(shù)據(jù)科學(xué)，工具可能并不是那么熱門的話題。人們似乎更關(guān)注最新的聊天機(jī)器人技術(shù)以及深度學(xué)習(xí)框架。

但這顯然是不合理的。為什么不花些時(shí)間，挑選合適的工具呢？畢竟好的工具能夠讓你事半功倍。在本文中介紹了機(jī)器學(xué)習(xí)和 AI 方面的優(yōu)質(zhì)工具。

應(yīng)該使用哪種語言？

這是一個(gè)有爭(zhēng)議的問題。存在很多不同的觀點(diǎn)。我個(gè)人的觀點(diǎn)可能不那么常見，我認(rèn)為越多越好。你應(yīng)該同時(shí)使用 R 語言和 Python。

為什么？R語言更擅長數(shù)據(jù)可視化，并且有大量的統(tǒng)計(jì)數(shù)據(jù)包。另一方面，Python可以幫助你將模型部署生產(chǎn)，并更好地與團(tuán)隊(duì)中其他開發(fā)人員合作。

基本的軟件包

我們應(yīng)該充分利用的優(yōu)秀開源社區(qū)。首先讓我們回顧一下數(shù)據(jù)科學(xué)工作的主要流程。

典型的機(jī)器學(xué)習(xí)工作流程

最重要的步驟是：數(shù)據(jù)獲取、數(shù)據(jù)清洗、可視化、建模、溝通。這些過程都需要用到庫。

數(shù)據(jù)清洗

針對(duì)數(shù)據(jù)清洗，R語言中有一個(gè)出色的包——dplyr。無可否認(rèn)，它的語法有些奇怪。注意 ％>％ 與* nix中的（|）運(yùn)算符的工作原理相同，前一個(gè)操作的輸出成為下一個(gè)操作的輸入。這樣，只需幾行代碼，你就可以構(gòu)建相當(dāng)復(fù)雜且可讀的數(shù)據(jù)清洗操作。

另一方面，Python中可以用到Pandas。這個(gè)庫很大程度上借鑒了R語言，特別是數(shù)據(jù)框的概念（當(dāng)中行是觀測(cè)，列是特征）。這需要一定的學(xué)習(xí)過程，但在習(xí)慣了之后，你可以在數(shù)據(jù)處理中做很多事情（甚至可以直接寫入數(shù)據(jù)庫）。

數(shù)據(jù)可視化

針對(duì)數(shù)據(jù)可視化，R語言中有g(shù)gplot2和plotly。ggplot2 非常強(qiáng)大，但級(jí)別較低。同樣它的語法很奇怪，你需要通過圖形語法來進(jìn)行理解。plotly是一個(gè)較新的庫，具有 ggplot 的功能，只需要一行代碼就能進(jìn)行交互。

Python中進(jìn)行可視化的基礎(chǔ)包是 matplotlib。但它的語法有些奇怪，默認(rèn)顏色也不那么理想，因此我建議你使用新的seaborn軟件包。Python缺少對(duì)模型性能的可視化，這里可以使用 yellowbrick 解決。你可以使用它來創(chuàng)建漂亮的圖表分類器進(jìn)行評(píng)估，查看特征，甚至繪制文本模型。

使用 seaborn 對(duì) iris 數(shù)據(jù)集進(jìn)行繪制

API

使用R語言進(jìn)行機(jī)器學(xué)習(xí)常常會(huì)遇到一個(gè)問題。幾乎所有模型都有不同的API，除非你記住所有的內(nèi)容，如果你只想測(cè)試不同算法，那么就需要打開好幾個(gè)文檔標(biāo)簽。這個(gè)缺陷可以用 caret 和 mlr 解決，后者較新。我推薦用mlr，因?yàn)樗Y(jié)構(gòu)化，維護(hù)也更積極。而且功能強(qiáng)大，具有分解數(shù)據(jù)、訓(xùn)練、預(yù)測(cè)和性能評(píng)估功能。

Python中相應(yīng)的庫是scikit-learn。這也是我最喜歡的庫，同時(shí) scikit-learn 也備受一些科技公司的青睞 。它有一致的API，超過150種算法（包括神經(jīng)網(wǎng)絡(luò)），出色的文檔，主動(dòng)維護(hù)和教程。

Python中的ROC/AUC圖，使用yellowbrick

集成開發(fā)環(huán)境

對(duì)于R語言來說，RStudio 是一個(gè)非常棒的工具，而且沒有其他的競(jìng)爭(zhēng)工具。我們希望在Python中找到相應(yīng)的工具，我篩選了十幾個(gè)(Spyder，PyCharm，Rodeo，spacemacs，Visual Studio，Canopy等等)，主要推薦當(dāng)中的兩個(gè)工具：Jupyter Lab和Atom + Hydrogen。

Jupyter Lab很棒。但它仍然繼承了Jupyter Notebook 中存在的一些缺點(diǎn)，比如單元狀態(tài)，安全性，以及最嚴(yán)重的VCS集成問題。出于這個(gè)原因，我建議使用Atom + Hydrogen。你可以用它完成各種數(shù)據(jù)科學(xué)任務(wù)，比如檢查數(shù)據(jù)框和變量，繪圖等。

Atom + Hydrogen

EDA 工具

為什么需要？在數(shù)據(jù)科學(xué)過程中，尤其是起步階段，我們需要快速地探索數(shù)據(jù)。在進(jìn)行可視化之前，我們需要探索，并通過最少的技術(shù)投入來實(shí)現(xiàn)。因此寫一大堆 seaborn、ggplot 代碼并不是最佳選擇，你需要使用 GUI 界面。因?yàn)椴簧婕叭魏未a，業(yè)務(wù)人員也可以使用。有兩個(gè)非常棒的跨平臺(tái)工具，并且免費(fèi)——Past和Orange。前者更側(cè)重于統(tǒng)計(jì)分析，后者更側(cè)重于建模。兩者都可以做很棒的數(shù)據(jù)可視化，因此完全符合我們的目標(biāo)。

用Orange你能夠進(jìn)行的操作

結(jié)語

通過對(duì)工具進(jìn)行優(yōu)化，你能夠更高效地完成數(shù)據(jù)分析工作(但也不要以此為借口不去工作哦)。