5個開源Python庫，點(diǎn)亮你的機(jī)器學(xué)習(xí)之路

機(jī)器學(xué)習(xí)令人興奮，但實(shí)際操作卻很困難也很復(fù)雜。它涉及到很多手動提升，如集合工作流，設(shè)置數(shù)據(jù)源，以及在內(nèi)部部署與云部署的資源之間切換等。

Python 是一款強(qiáng)大的工具語言，被廣泛應(yīng)用在大數(shù)據(jù)和機(jī)器學(xué)習(xí)之中。以下推薦了 5 個 Python 庫，幫你疏通機(jī)器學(xué)習(xí)之路。

PyWren

PyWren 允許你運(yùn)行基于 Python 的科學(xué)計(jì)算工作負(fù)載，為 AWS Lamba 函數(shù)提供多個實(shí)例。The New Stack 中項(xiàng)目的配置文件對 PyWren 的描述是，使用 AWS Lamba 作為強(qiáng)大的并行處理系統(tǒng)，處理可以切分為多個小任務(wù)的項(xiàng)目，從而不用占據(jù)大量的內(nèi)存或運(yùn)行空間。

此項(xiàng)目有個缺點(diǎn)是 lambda 函數(shù)運(yùn)行不能超過 300 秒。但如果是一份只需幾分鐘就能完成的工作，并且要在數(shù)據(jù)集中運(yùn)行上千次，那 PyWren 會是不錯的選擇，它能在一定程度上將用戶硬件上無法運(yùn)行的工作平行化至云端。

Tfdeploy

Google 的 TensorFlow 框架在發(fā)布了 1.0 版本之后進(jìn)入輝煌時期，這時人們要問了：如何才能在不使用 TensorFlow 本身的情況下，使用在 TensorFlow 上訓(xùn)練的框架？

Tfdeploy 能給你答案。它將經(jīng)過訓(xùn)練的 TensorFlow 模型導(dǎo)出為“簡單的基于 NumPy 的可調(diào)用對象”，即該模型可以在 Python 中使用，并以 Tfdeploy 和 NumPy math-and-stats 庫為唯一的依賴關(guān)系。大多數(shù)可以在 TensorFlow 中執(zhí)行的操作也可以在 Tfdeploy 中執(zhí)行，你可以通過標(biāo)準(zhǔn)的 Python metaphors 來擴(kuò)展庫的行為（如，重載類）。

Luigi

編寫批量作業(yè)只是處理數(shù)據(jù)堆的一部分，你還需要將所有作業(yè)串起來生成類似工作流和管道的東西。

Luigi 由 Spotify 創(chuàng)建，用于“解決與長期運(yùn)行成批處理作業(yè)有關(guān)的管道問題”。開發(fā)者可以通過 Luigi 采用多個不同且不相關(guān)的數(shù)據(jù)處理任務(wù)，如，Hive 查詢，Java 中的 Hadoop 任務(wù)，Scala 中的 Spark 任務(wù)，從數(shù)據(jù)庫轉(zhuǎn)儲 table 等，還可以創(chuàng)建一個端到端運(yùn)行它們的工作流。

對任務(wù)的整個描述以及依存性被打造為 Python 模塊，而不是作為 XML 配置文件或其他數(shù)據(jù)格式創(chuàng)建，因此可以集成到其他以 Python 為中心的項(xiàng)目中。

Kubelib

如果你使用 Kubernetes 作為機(jī)器學(xué)習(xí)作業(yè)的編排系統(tǒng)，那么你會祈禱 Kubernetes 產(chǎn)生的問題不要比解決的問題還多。Kubelib 為 Kubernetes 提供了一組 Pythonic 接口，最初是為了協(xié)助 Jenkins 腳本工作。但是它可以在沒有 Jenkins 的情況下使用，它可以處理 kubectl CLI 或 Kubernetes API 暴露的一切服務(wù)。

PyTorch

PyTorch 是一個 Torch7 團(tuán)隊(duì)開源的 Python 優(yōu)先的深度學(xué)習(xí)框架，提供兩個高級功能：強(qiáng)大的 GPU 加速 Tensor 計(jì)算（類似 numpy），構(gòu)建基于 tape 的自動升級系統(tǒng)上的深度神經(jīng)網(wǎng)絡(luò)。你可以重用你喜歡的 python 包，如 numpy、scipy 和 Cython ，在需要時擴(kuò)展 PyTorch。

通常使用Python是將其作為 numpy 的替代品，以使用強(qiáng)大的 GPU 能力，或作為一個深度學(xué)習(xí)研究平臺，提供最大的靈活性和速度。