作者 | 李明江 張良均 周東平 張尚佳

來源 | 大數(shù)據(jù)DT

Python作為一個設計優(yōu)秀的程序語言，現(xiàn)在已廣泛應用于各種領域，依靠其強大的第三方類庫，Python在各個領域都能發(fā)揮巨大的作用。

一、數(shù)值計算

數(shù)值計算是數(shù)據(jù)挖掘、機器學習的基礎。Python提供多種強大的擴展庫用于數(shù)值計算，常用的數(shù)值計算庫如下所示。

1. NumPy

支持多維數(shù)組與矩陣運算，也針對數(shù)組運算提供大量的數(shù)學函數(shù)庫。通常與SciPy和Matplotlib一起使用，支持比Python更多種類的數(shù)值類型，其中定義的最重要的對象是稱為ndarray的n維數(shù)組類型，用于描述相同類型的元素集合，可以使用基于0的索引訪問集合中元素。

2. SciPy

在NumPy庫的基礎上增加了眾多的數(shù)學、科學及工程計算中常用的庫函數(shù),如線性代數(shù)、常微分方程數(shù)值求解、信號處理、圖像處理、稀疏矩陣等，可進行插值處理、信號濾波，以及使用C語言加速計算。

3. Pandas

基于NumPy的一種工具，為解決數(shù)據(jù)分析任務而生。納入大量庫和一些標準的數(shù)據(jù)模型，提供高效地操作大型數(shù)據(jù)集所需的工具及大量的能快速便捷處理數(shù)據(jù)的函數(shù)和方法，為時間序列分析提供很好的支持，提供多種數(shù)據(jù)結(jié)構(gòu)，如Series、Time-Series、DataFrame和Panel。

二、數(shù)據(jù)可視化

數(shù)據(jù)可視化是展示數(shù)據(jù)、理解數(shù)據(jù)的有效手段，常用的Python數(shù)據(jù)可視化庫如下所示。

4. Matplotlib

第一個Python可視化庫，有許多別的程序庫都是建立在其基礎上或者直接調(diào)用該庫，可以很方便地得到數(shù)據(jù)的大致信息，功能非常強大，但也非常復雜。

5. Seaborn

利用了Matplotlib，用簡潔的代碼來制作好看的圖表。與Matplotlib最大的區(qū)別為默認繪圖風格和色彩搭配都具有現(xiàn)代美感。

6. ggplot

基于R的一個作圖庫ggplot2，同時利用了源于《圖像語法》（The Grammar of Graphics）中的概念，允許疊加不同的圖層來完成一幅圖，并不適用于制作非常個性化的圖像，為操作的簡潔度而犧牲了圖像的復雜度。

7. Bokeh

跟ggplot一樣，Bokeh也基于《圖形語法》的概念。與ggplot不同之處為它完全基于Python而不是從R處引用。長處在于能用于制作可交互、可直接用于網(wǎng)絡的圖表。圖表可以輸出為JSON對象、HTML文檔或者可交互的網(wǎng)絡應用。

Bokeh也支持數(shù)據(jù)流和實時數(shù)據(jù)，為不同的用戶提供了3種控制水平：

• 最高的控制水平用于快速制圖，主要用于制作常用圖像；
• 中等控制水平與Matplotlib一樣允許開發(fā)人員控制圖像的基本元素（例如分布圖中的點）；
• 最低的控制水平主要面向開發(fā)人員和軟件工程師。沒有默認值，需要定義圖表的每一個元素。

8. Plotly

可以通過Python notebook使用，與Bokeh一樣致力于交互圖表的制作，但提供在別的庫中幾乎沒有的幾種圖表類型，如等值線圖、樹形圖和三維圖表。

9. pygal

與Bokeh和Plotly一樣，提供可直接嵌入網(wǎng)絡瀏覽器的可交互圖像。與其他兩者的主要區(qū)別在于可將圖表輸出為SVG格式，所有的圖表都被封裝成方法，且默認的風格也很漂亮，用幾行代碼就可以很容易地制作出漂亮的圖表。

10. geoplotlib

用于制作地圖和地理相關數(shù)據(jù)的工具箱?？捎脕碇谱鞫喾N地圖，比如等值區(qū)域圖、熱度圖、點密度圖。必須安裝Pyglet（一個面向?qū)ο缶幊探涌冢┓娇墒褂谩?/span>

11. missingno

用圖像的方式快速評估數(shù)據(jù)缺失的情況，可根據(jù)數(shù)據(jù)的完整度對數(shù)據(jù)進行排序或過濾，或者根據(jù)熱度圖或樹狀圖對數(shù)據(jù)進行修正。

三、Web開發(fā)

Web應用開發(fā)可以說是目前軟件開發(fā)中最重要的部分。Python提供各種Web開發(fā)框架，幫助使用者快速實現(xiàn)功能開發(fā)。常用的Python網(wǎng)絡開發(fā)類庫如下所示。

12. Django

一個高級的Python Web框架，支持快速開發(fā)，提供從模板引擎到ORM所需的一切東西，使用該庫構(gòu)建App時，必須遵循Django的方式。

13. Socket

一個套接字通訊底層庫，用于在服務器和客戶端間建立TCP或UDP連接，通過連接發(fā)送請求與響應。

14. Flask

一個基于Werkzeug、Jinja 2的Python輕量級框架（microframework），默認配備Jinja模板引擎，也包含其他模板引擎或ORM供選擇，適合用來編寫API服務（RESTful rervices）。

15. Twisted

一個使用Python實現(xiàn)的基于事件驅(qū)動的網(wǎng)絡引擎框架，建立在deferred object之上，一個通過異步架構(gòu)實現(xiàn)的高性能的引擎，不適用于編寫常規(guī)的Web Apps，更適用于底層網(wǎng)絡。

16. Tornado

一個由FriendFeed開發(fā)的Python Web框架和異步網(wǎng)絡庫，采用非阻塞網(wǎng)絡I/O模型，可以處理數(shù)以千計的網(wǎng)絡連接。對于long polling、WebSockets和其他需要長時間實時連接的Apps，Tornado是一個理想的Web框架，它介于Django和Flask之間，能很好地處理C10K問題。

四、數(shù)據(jù)庫管理

數(shù)據(jù)庫是企業(yè)用于存放數(shù)據(jù)的主要工具，數(shù)據(jù)庫管理包括了數(shù)據(jù)定義、數(shù)據(jù)操作、數(shù)據(jù)庫運行管理、數(shù)據(jù)組織、數(shù)據(jù)庫庫保護、數(shù)據(jù)庫維護等。Python提供了所有主流關系數(shù)據(jù)庫管理接口，常用的Python MySQL連接庫及其簡介如下所示。

17. MySQL-python

又稱MySQLdb，是Python連接MySQL最流行的一個驅(qū)動，很多框架也基于此庫進行開發(fā)。只支持Python 2.x，且安裝時有許多前置條件。由于該庫基于C語言開發(fā)，在Windows平臺上的安裝非常不友好，經(jīng)常出現(xiàn)失敗的情況，現(xiàn)在基本不推薦使用，取代品為衍生版本。

18. mysqlclient

完全兼容MySQLdb，同時支持Python 3.x，是Django ORM的依賴工具，可使用原生SQL來操作數(shù)據(jù)庫，安裝方式與MySQLdb一致。

19. PyMySQL

純Python實現(xiàn)的驅(qū)動，速度比MySQLdb慢，最大的特點為安裝方式簡潔，同時也兼容MySQL-python。

20. SQLAlchemy

一種既支持原生SQL，又支持ORM的工具。ORM是Python對象與數(shù)據(jù)庫關系表的一種映射關系，可有效提高寫代碼的速度，同時兼容多種數(shù)據(jù)庫系統(tǒng)，如SQLite、MySQL、PostgreSQL，代價為性能上的一些損失。

五、自動化運維

運維的主要內(nèi)容包括保障業(yè)務長期穩(wěn)定運行、保障數(shù)據(jù)安全可靠、自動化完成部署任務。Python能夠滿足絕大部分自動化運維的需求，目前在Linux運維中已用Python實現(xiàn)的應用如下所示。

21. jumpsever跳板機

一種由Python編寫的開源跳板機（堡壘機）系統(tǒng)，實現(xiàn)了跳板機的基本功能，包含認證、授權(quán)和審計，集成了Ansible、批量命令等。

支持WebTerminal Bootstrap編寫，界面美觀，自動收集硬件信息，支持錄像回放、命令搜索、實時監(jiān)控、批量上傳下載等功能，基于SSH協(xié)議進行管理，客戶端無須安裝agent。主要用于解決可視化安全管理，因完全開源，容易再次開發(fā)。

22. Magedu分布式監(jiān)控系統(tǒng)

一種用Python開發(fā)的自動化監(jiān)控系統(tǒng)，可監(jiān)控常用系統(tǒng)服務、應用、網(wǎng)絡設備，可在一臺主機上監(jiān)控多個不同服務，不同服務的監(jiān)控間隔可以不同，同一個服務在不同主機上的監(jiān)控間隔、報警閾值可以不同，并提供數(shù)據(jù)可視化界面。

23. Magedu的CMDB

一種用Python開發(fā)的硬件管理系統(tǒng)，包含采集硬件數(shù)據(jù)、API、頁面管理3部分功能，主要用于自動化管理筆記本、路由器等常見設備的日常使用。由服務器的客戶端采集硬件數(shù)據(jù)，將硬件信息發(fā)送至API，API負責將獲取的數(shù)據(jù)保存至數(shù)據(jù)庫中，后臺管理程序負責對服務器信息進行配置和展示。

24. 任務調(diào)度系統(tǒng)

一種由Python開發(fā)的任務調(diào)度系統(tǒng)，主要用于自動化地將一個服務進程分布到其他多個機器的多個進程中，一個服務進程可作為調(diào)度者依靠網(wǎng)絡通信完成這一工作。

25. Python運維流程系統(tǒng)

一種使用Python語言編寫的調(diào)度和監(jiān)控工作流的平臺，內(nèi)部用于創(chuàng)建、監(jiān)控和調(diào)整數(shù)據(jù)管道。允許工作流開發(fā)人員輕松創(chuàng)建、維護和周期性地調(diào)度運行工作流，包括了如數(shù)據(jù)存儲、增長分析、Email發(fā)送、A/B測試等諸多跨多部門的用例。

六、GUI編程

GUI（Graphical User Interface，圖形用戶界面）是指采用圖形方式顯示的計算機操作用戶界面。Python提供多個圖形開發(fā)界面的庫用于GUI編程，常用Python GUI庫如下所示。

26. Tkinter

一個Python的標準GUI庫，可以快速地創(chuàng)建GUI應用程序，可以在大多數(shù)的UNIX平臺下使用，同樣可以應用在Windows和Macintosh系統(tǒng)中，Tkinter 8.0的后續(xù)版本可以實現(xiàn)本地窗口風格，并良好地運行在絕大多數(shù)平臺中。

27. wxPython

一款開源軟件跨平臺GUI庫wxWidgets的Python封裝和Python模塊，是Python語言的一套優(yōu)秀的GUI圖形庫，允許程序員很方便地創(chuàng)建完整的、功能健全的GUI用戶界面。

28. PyQt

一個創(chuàng)建GUI應用程序的工具庫，是Python編程語言和Qt的成功融合，可以運行在所有主要操作系統(tǒng)上，包括UNIX、Windows和Mac。PyQt采用雙許可證，開發(fā)人員可以選擇GPL和商業(yè)許可，從PyQt的版本4開始，GPL許可證可用于所有支持的平臺。

29. PySide

一個跨平臺的應用程式框架Qt的Python綁定版本，提供與PyQt類似的功能，并相容API，但與PyQt不同處為其使用LGPL授權(quán)。

七、機器學習

Python作為一門理想的集成語言，將各種技術(shù)綁定在一起，除了為用戶提供更方便的功能之外，還是一個理想的粘合平臺，在開發(fā)人員與外部庫的低層次集成人員之間搭建連接，以便用C/C++實現(xiàn)更高效的算法。

對于研究人員者而言，使用Python編程可以快速遷移代碼并進行改動，而無須花費過多的精力在修改代碼與代碼規(guī)范上。開發(fā)者在Python中封裝了很多優(yōu)秀的依賴庫，其中NumPy和SciPy庫提供了目前解決機器學習問題所需的標準配置。

Python目前集成了大量的機器學習框架，其中常用機器學習庫如下所示。

30. Scikit-Learn

Scikit-Learn基于NumPy和SciPy，是專門為機器學習建造的一個Python模塊，提供了大量用于數(shù)據(jù)挖掘和分析的工具，包括數(shù)據(jù)預處理、交叉驗證、算法與可視化算法等一系列接口。

Sklearn的基本功能可分為6個部分：

• 分類
• 回歸
• 聚類
• 數(shù)據(jù)降維
• 模型選擇
• 數(shù)據(jù)預處理

其中集成了大量分類、回歸和聚類的算法，包括支持向量機、邏輯回歸、樸素貝葉斯、隨機森林、Gradient Boosting、K-means和DBSCAN等。

31. Orange3

Orange3是一個基于組件的數(shù)據(jù)挖掘和機器學習軟件套裝，支持Python進行腳本開發(fā)。它包含一系列的數(shù)據(jù)可視化、檢索、預處理和建模技術(shù)，具有一個良好的用戶界面，同時也可以作為Python的一個模塊使用。

用戶可通過數(shù)據(jù)可視化進行數(shù)據(jù)分析，包括統(tǒng)計分布圖、柱狀圖、散點圖，以及更深層次的決策樹、分層聚簇、熱點圖、MDS（多維度分析）、線性預測等，并可使用Orange自帶的各類附加功能組件進行NLP、文本挖掘、構(gòu)建網(wǎng)絡分析、推斷高頻數(shù)據(jù)集和關聯(lián)規(guī)則數(shù)據(jù)分析。

32. XGBoost

XGBoost是專注于梯度提升算法的機器學習函數(shù)庫，因其優(yōu)良的學習效果及高效的訓練速度而獲得廣泛的關注。XGBoost支持并行處理，比起同樣實現(xiàn)了梯度提升算法的Scikit-Learn庫，其性能提升10倍以上。XGBoost可以處理回歸、分類和排序等多種任務。

33. NuPIC

NuPIC是專注于時間序列的一個機器學習平臺，其核心算法為HTM算法，相比于深度學習，其更為接近人類大腦的運行結(jié)構(gòu)。HTM算法的理論依據(jù)主要是人腦中處理高級認知功能的新皮質(zhì)部分的運作原理。NuPIC可用于預測及異常檢測，適用面非常廣，僅要求輸入時間序列即可。

34. Milk

Milk（Machine Learning Toolkit）是Python中的一個機器學習工具包。

Milk注重提升運行速度與降低內(nèi)存占用，因此大部分對性能敏感的代碼都是使用C++編寫的，為了便利性在此基礎上提供Python接口。重點提供監(jiān)督分類方法，如SVMs、KNN、隨機森林和決策樹，也支持無監(jiān)督學習算法，如K-means和密切關系傳播。

八、深度學習

深度學習作為機器學習的分支，綻放了耀眼的光芒。由于Python的易用性與可擴展性，眾多深度學習框架提供了Python接口，其中較為流行的深度學習庫如下所示。

35. Caffe

Caffe（Convolutional Architecture for Fast Feature Embedding）是一個以表達式、速度和模塊化為核心的深度學習框架，具備清晰、可讀性高和快速的特性，在視頻、圖像處理方面應用較多。

Caffe中的網(wǎng)絡結(jié)構(gòu)與優(yōu)化都以配置文件形式定義，容易上手，無須通過代碼構(gòu)建網(wǎng)絡；網(wǎng)絡訓練速度快，能夠訓練大型數(shù)據(jù)集與State-of-the-art的模型；模塊化的組件可以方便地拓展到新的模型與學習任務上。

36. Theano

Theano誕生于2008年，是一個高性能的符號計算及深度學習庫，被認為是深度學習庫的始祖之一，也被認為是深度學習研究和應用的重要標準之一。其核心是一個數(shù)學表達式的編譯器，專門為處理大規(guī)模神經(jīng)網(wǎng)絡訓練的計算而設計。

Theano很好地整合了NumPy，可以直接使用NumPy的ndarray，使得API接口學習成本大為降低；其計算穩(wěn)定性好，可以精準地計算輸出值很小的函數(shù)，如log(1+x)；可動態(tài)地生成C或者CUDA代碼，用來編譯成高效的機器代碼。

37. TensorFlow

TensorFlow是相對高階的機器學習庫，其核心代碼使用C++編寫，并支持自動求導，使得用戶可以方便地設計神經(jīng)網(wǎng)絡結(jié)構(gòu)，不需要親自編寫C++或CUDA代碼，也無須通過反向傳播求解梯度。由于底層使用C++語言編寫，運行效率得到了保證，并簡化了線上部署的復雜度。

除了核心代碼的C++接口以外，TensorFlow還有官方的Python、Go和Java接口以外，用戶可以在一個硬件配置較好的機器中用Python進行實驗，并在資源比較緊張的嵌入式環(huán)境或需要低延遲的環(huán)境中用C++部署模型。

TensorFlow不只局限于神經(jīng)網(wǎng)絡，其數(shù)據(jù)流式圖還支持非常自由的算法表達，也可以輕松實現(xiàn)深度學習以外的機器學習算法。

38. Keras

Keras是一個高度模塊化的神經(jīng)網(wǎng)絡庫，使用Python實現(xiàn)，并可以同時運行在TensorFlow和Theano上。

Keras專精于深度學習，其提供了到目前為止最方便的API，用戶僅需將高級的模塊拼在一起便可設計神經(jīng)網(wǎng)絡，大大降低了編程開銷（code overhead）與理解開銷（cognitive overhead）。

Keras同時支持卷積網(wǎng)絡和循環(huán)網(wǎng)絡，支持級聯(lián)的模型或任意的圖結(jié)構(gòu)的模型，從CPU上計算切換到GPU加速無須任何代碼的改動。簡化了編程的復雜度的同時，在性能上絲毫不遜色于TensorFlow和Theano。