玩轉數據分析，必知必會的7款Python工具

如果你有志于做一個數據專家，你就應該保持一顆好奇心，總是不斷探索，學習，問各種問題。在線入門教程和視頻教程能幫你走出第一步，但是最好的方式就是通過熟悉各種已經在生產環(huán)境中使用的工具而為成為一個真正的數據專家做好充分準備。

我咨詢了我們真正的數據專家，收集整理了他們認為所有數據專家都應該會的七款 Python 工具。The Galvanize Data Science 和 GalvanizeU 課程注重讓學生們花大量的時間沉浸在這些技術里。當你找第一份工作的時候，你曾經投入的時間而獲得的對工具的深入理解將會使你有更大的優(yōu)勢。下面就了解它們一下吧：

　　IPython

IPython 是一個在多種編程語言之間進行交互計算的命令行 shell，最開始是用 python 開發(fā)的，提供增強的內省，富媒體，擴展的 shell 語法，tab 補全，豐富的歷史等功能。IPython 提供了如下特性：

更強的交互 shell(基于 Qt 的終端)

一個基于瀏覽器的記事本，支持代碼，純文本，數學公式，內置圖表和其他富媒體

支持交互數據可視化和圖形界面工具

靈活，可嵌入解釋器加載到任意一個自有工程里

簡單易用，用于并行計算的高性能工具

由數據分析總監(jiān)，Galvanize 專家 Nir Kaldero 提供。

GraphLab Greate 是一個 Python 庫，由 C++ 引擎支持，可以快速構建大型高性能數據產品。

這有一些關于 GraphLab Greate 的特點：

可以在您的計算機上以交互的速度分析以 T 為計量單位的數據量。

在單一平臺上可以分析表格數據、曲線、文字、圖像。

最新的機器學習算法包括深度學習，進化樹和 factorization machines 理論。

可以用 Hadoop Yarn 或者 EC2 聚類在你的筆記本或者分布系統(tǒng)上運行同樣的代碼。

借助于靈活的 API 函數專注于任務或者機器學習。

在云上用預測服務便捷地配置數據產品。

為探索和產品監(jiān)測創(chuàng)建可視化的數據。

由 Galvanize 數據科學家 Benjamin Skrainka 提供。

　　Pandas

pandas 是一個開源的軟件，它具有 BSD 的開源許可，為 Python 編程語言提供高性能，易用數據結構和數據分析工具。在數據改動和數據預處理方面，Python 早已名聲顯赫，但是在數據分析與建模方面，Python 是個短板。Pands 軟件就填補了這個空白，能讓你用 Python 方便地進行你所有數據的處理，而不用轉而選擇更主流的專業(yè)語言，例如 R 語言。

整合了勁爆的 IPyton 工具包和其他的庫，它在 Python 中進行數據分析的開發(fā)環(huán)境在處理性能，速度，和兼容方面都性能卓越。Pands 不會執(zhí)行重要的建模函數超出線性回歸和面板回歸;對于這些，參考 statsmodel 統(tǒng)計建模工具和 scikit-learn 庫。為了把 Python 打造成頂級的統(tǒng)計建模分析環(huán)境，我們需要進一步努力，但是我們已經奮斗在這條路上了。

由 Galvanize 專家，數據科學家 Nir Kaldero 提供。

　　PuLP

線性編程是一種優(yōu)化，其中一個對象函數被最大程度地限制了。PuLP 是一個用 Python 編寫的線性編程模型。它能產生線性文件，能調用高度優(yōu)化的求解器，GLPK，COIN CLP/CBC，CPLEX，和GUROBI，來求解這些線性問題。

由 Galvanize 數據科學家 Isaac Laughlin 提供

　　Matplotlib

matplotlib 是基于 Python 的 2D(數據)繪圖庫，它產生(輸出)出版級質量的圖表，用于各種打印紙質的原件格式和跨平臺的交互式環(huán)境。matplotlib 既可以用在 python 腳本， python 和 ipython 的 shell 界面 (ala MATLAB? 或 Mathematica?)，web 應用服務器，和6類 GUI 工具箱。

matplotlib 嘗試使容易事情變得更容易，使困難事情變?yōu)榭赡?。你只需要少量幾行代碼，就可以生成圖表，直方圖，能量光譜(power spectra)，柱狀圖，errorcharts，散點圖(scatterplots)等，。

為簡化數據繪圖，pyplot 提供一個類 MATLAB 的接口界面，尤其是它與 IPython 共同使用時。對于高級用戶，你可以完全定制包括線型，字體屬性，坐標屬性等，借助面向對象接口界面，或項 MATLAB 用戶提供類似(MATLAB)的界面。

Galvanize 公司的首席科學官 Mike Tamir 供稿。

　　Scikit-Learn

Scikit-Learn 是一個簡單有效地數據挖掘和數據分析工具(庫)。關于最值得一提的是，它人人可用，重復用于多種語境。它基于 NumPy，SciPy 和 mathplotlib 等構建。Scikit 采用開源的 BSD 授權協議，同時也可用于商業(yè)。Scikit-Learn 具備如下特性：

分類(Classification) – 識別鑒定一個對象屬于哪一類別

回歸(Regression) – 預測對象關聯的連續(xù)值屬性

聚類(Clustering) – 類似對象自動分組集合

降維(Dimensionality Reduction) – 減少需要考慮的隨機變量數量

模型選擇(Model Selection) –比較、驗證和選擇參數和模型

預處理(Preprocessing) – 特征提取和規(guī)范化

Galvanize 公司數據科學講師，Isaac Laughlin提供

　　Spark

Spark 由一個驅動程序構成，它運行用戶的 main 函數并在聚類上執(zhí)行多個并行操作。Spark 最吸引人的地方在于它提供的彈性分布數據集(RDD)，那是一個按照聚類的節(jié)點進行分區(qū)的元素的集合，它可以在并行計算中使用。RDDs 可以從一個 Hadoop 文件系統(tǒng)中的文件(或者其他的 Hadoop 支持的文件系統(tǒng)的文件)來創(chuàng)建，或者是驅動程序中其他的已經存在的標量數據集合，把它進行變換。用戶也許想要 Spark 在內存中永久保存 RDD，來通過并行操作有效地對 RDD 進行復用。最終，RDDs 無法從節(jié)點中自動復原。

Spark 中第二個吸引人的地方在并行操作中變量的共享。默認情況下，當 Spark 在并行情況下運行一個函數作為一組不同節(jié)點上的任務時，它把每一個函數中用到的變量拷貝一份送到每一任務。有時，一個變量需要被許多任務和驅動程序共享。Spark 支持兩種方式的共享變量：廣播變量，它可以用來在所有的節(jié)點上緩存數據。另一種方式是累加器，這是一種只能用作執(zhí)行加法的變量，例如在計數器中和加法運算中。