數(shù)據(jù)科學(xué)和機器學(xué)習(xí)可以以不同程度的效率和生產(chǎn)力進行實踐。無論應(yīng)用領(lǐng)域或?qū)I(yè)，數(shù)據(jù)科學(xué)家--初學(xué)者或經(jīng)驗豐富的專業(yè)人員--都應(yīng)努力提高他/她在典型數(shù)據(jù)科學(xué)任務(wù)的所有方面的效率,

• 統(tǒng)計分析，
• 可視化，
• 模型選擇，特征工程，
• 代碼質(zhì)量測試，模塊化，
• 并行處理，
• 輕松的Web應(yīng)用程序部署

這意味著執(zhí)行所有這些任務(wù)，

• 以較高的速度
• 通過更快的調(diào)試
• 以同步的方式
• 通過充分利用任何和所有可用的硬件資源

在這個過程中你應(yīng)該期望學(xué)到什么？

讓我們假設(shè)有人正在教授“生產(chǎn)性數(shù)據(jù)科學(xué)”課程或?qū)懸槐娟P(guān)于它的書--使用Python作為語言框架。對這樣一門課程或一本書的典型期望應(yīng)該是什么？

本課程/書應(yīng)該面向那些希望超越執(zhí)行數(shù)據(jù)科學(xué)和機器學(xué)習(xí)任務(wù)的標準方式并利用Python數(shù)據(jù)科學(xué)生態(tài)系統(tǒng)的全部范圍以獲得更高生產(chǎn)力水平的人。

應(yīng)該教讀者如何在標準流程中尋找低效和瓶頸，以及如何跳出框框思考。

重復(fù)性數(shù)據(jù)科學(xué)任務(wù)的自動化是閱讀本書的讀者將培養(yǎng)的一個關(guān)鍵心態(tài)。在許多情況下，他們還將學(xué)習(xí)如何擴展現(xiàn)有的編碼實踐，以便在Python生態(tài)系統(tǒng)中已經(jīng)存在但在任何標準數(shù)據(jù)科學(xué)中都沒有教授的高級軟件工具的幫助下高效率地處理更大的數(shù)據(jù)集。

這不應(yīng)該是一個常規(guī)的Python烹飪書教學(xué)標準庫，如Numpy或Pandas。

相反，它應(yīng)該關(guān)注一些有用的技術(shù)，比如如何測量ML模型的內(nèi)存占用和執(zhí)行速度、質(zhì)量測試數(shù)據(jù)科學(xué)管道、模塊化應(yīng)用程序開發(fā)的數(shù)據(jù)科學(xué)管道，等等。它還應(yīng)該包括Python庫，這些庫非常適合于自動化和加速任何數(shù)據(jù)科學(xué)家的日常任務(wù)。

此外，它應(yīng)該涉及幫助數(shù)據(jù)科學(xué)家處理大型復(fù)雜數(shù)據(jù)集的工具和包，而不是遵循標準的Python數(shù)據(jù)科學(xué)技術(shù)智慧。

一些需要掌握的具體技巧

為了把事情具體化，讓我們總結(jié)一些學(xué)習(xí)和實踐生產(chǎn)性數(shù)據(jù)科學(xué)需要掌握的具體技能。我也嘗試著加入一些有代表性的文章的鏈接，作為每一項技能的參考。

1. 如何為data Science/ML編寫快速高效的代碼，以及如何度量它們的速度和效率(參見本文)
2. 如何構(gòu)建模塊化的、有表現(xiàn)力的數(shù)據(jù)科學(xué)管道以提高生產(chǎn)率(參見本文)
3. 如何為數(shù)據(jù)科學(xué)和ML模型編寫測試模塊(參見本文)
4. 如何有效地處理大型和復(fù)雜的數(shù)據(jù)集（這在傳統(tǒng)的DS工具中是很困難的）
5. 如何充分利用GPU和多核處理器來完成各種數(shù)據(jù)科學(xué)和分析任務(wù)，而不僅僅是專門的深度學(xué)習(xí)建模(參見本文)
6. 如何為data Science/ML思想或模型調(diào)優(yōu)的演示開發(fā)快速GUI應(yīng)用程序(請參閱本文)，或者如何在應(yīng)用程序級別輕松（快速）部署ML模型和數(shù)據(jù)分析代碼(請參閱本文)

一本關(guān)于這個主題的理想的書將…

1. 教授如何在標準數(shù)據(jù)科學(xué)代碼中查找低效和瓶頸以及如何跳出框框來解決這些問題。
2. 教授如何編寫模塊化、高效的數(shù)據(jù)分析和機器學(xué)習(xí)代碼，以提高多種情況下的生產(chǎn)力--探索性數(shù)據(jù)分析、可視化、深度學(xué)習(xí)等。
3. 涵蓋范圍廣泛的附帶主題，如軟件測試、模塊開發(fā)、GUI編程、ML模型部署作為web-app，這些對于初露頭角的數(shù)據(jù)科學(xué)家來說是非常寶貴的技能，在任何一本標準的數(shù)據(jù)科學(xué)書籍中都很難找到。
4. 包括并行計算（例如DASK、Ray)、可伸縮性（例如VAEX、Modin)和GPU驅(qū)動的數(shù)據(jù)科學(xué)堆棧(Rapids)。
5. 向讀者展示并引導(dǎo)他們了解數(shù)據(jù)科學(xué)工具的更大且不斷擴展的Python生態(tài)系統(tǒng)，這些工具與軟件工程和生產(chǎn)級部署的更廣泛方面相聯(lián)系。

一個具體的例子：GPU驅(qū)動的分布式數(shù)據(jù)科學(xué)

雖然GPU和分布式計算的使用在學(xué)術(shù)界和企業(yè)界被廣泛討論用于核心AI/ML任務(wù)，但他們發(fā)現(xiàn)它們在常規(guī)數(shù)據(jù)科學(xué)和數(shù)據(jù)工程任務(wù)中的應(yīng)用很少覆蓋。然而，使用GPU進行常規(guī)的日常統(tǒng)計分析或其他數(shù)據(jù)科學(xué)任務(wù)將大大有助于成為眾所周知的“高效數(shù)據(jù)科學(xué)家”。

例如，theRAPIDS軟件庫套件和Apis讓您--一個普通的數(shù)據(jù)科學(xué)家（不一定是深度學(xué)習(xí)從業(yè)者）--可以選擇和靈活地完全在GPU上執(zhí)行端到端數(shù)據(jù)科學(xué)和分析管道。

即使使用一個普通的GPU，這些庫在速度上也比普通的Python庫有了顯著的提高。當然，對于生產(chǎn)性數(shù)據(jù)科學(xué)工作流，我們應(yīng)該盡可能地采用這些方法。

類似地，有極好的開源機會可以超越Python語言的單核特性的限制，在不偏離典型的數(shù)據(jù)科學(xué)家角色的情況下接受并行計算范例。

摘要

我們討論了生產(chǎn)性數(shù)據(jù)科學(xué)工作流的實用程序和核心組件。我們想像一個關(guān)于這個主題的理想課程或書籍會給讀者提供什么。我們提到了一些具體的例子，并說明了這些好處。在要掌握的技能的上下文中還提供了一些相關(guān)的資源。

您可以查看作者的GitHub存儲庫以獲取機器學(xué)習(xí)和數(shù)據(jù)科學(xué)方面的代碼、思想和資源。如果你和我一樣，對人工智能/機器學(xué)習(xí)/數(shù)據(jù)科學(xué)充滿熱情，請在LinkedIn上添加我或在Twitter上關(guān)注我。