python之所以這么火，是因?yàn)樗膽?yīng)用廣泛，之所以應(yīng)用廣泛，是因?yàn)樗性S多功能強(qiáng)大的庫(kù)。對(duì)于不是專(zhuān)業(yè)數(shù)據(jù)分析人員的我們，平時(shí)在工作和生活中，主要是用python來(lái)獲取信息，制作可視化報(bào)表，但是專(zhuān)業(yè)的數(shù)據(jù)工程師就需要使用一些更專(zhuān)業(yè)的python庫(kù)。今天小編跟大家分享的這篇文章就是數(shù)據(jù)工程師需要掌握的18個(gè)python庫(kù)，希望對(duì)大家有所幫助。

文章來(lái)源：早起Python

作者：劉早起早起

本文對(duì)python中在數(shù)據(jù)分析中需要掌握的庫(kù)進(jìn)行了整理，一起來(lái)看看吧！

目錄

• 數(shù)據(jù)獲取
• Selenium
• Scrapy
• Beautiful Soup
• 數(shù)據(jù)清洗
• Spacy
• NumPy
• Pandas
• 數(shù)據(jù)可視化
• Matplotlib
• Pyecharts
• 數(shù)據(jù)建模
• Scikit-learn
• PyTorch
• TensorFlow
• 模型檢查
• Lime
• 音頻數(shù)據(jù)處理
• Librosa
• 圖像數(shù)據(jù)處理
• OpenCV-Python
• Scikit-image
• 數(shù)據(jù)通信
• Pymongo
• 數(shù)據(jù)分析結(jié)果web部署
• Flask
• Django

數(shù)據(jù)獲取

Selenium

Selenium是一個(gè)Web測(cè)試自動(dòng)化框架，最初是為軟件測(cè)試人員創(chuàng)建的。它提供了Web驅(qū)動(dòng)程序API，供瀏覽器與用戶(hù)操作交互并返回響應(yīng)。它運(yùn)行時(shí)會(huì)直接實(shí)例化出一個(gè)瀏覽器，完全模擬用戶(hù)的操作，比如點(diǎn)擊鏈接、輸入表單，點(diǎn)擊按鈕提交等。所以我們使用它可以很方便的來(lái)登錄網(wǎng)站和爬取數(shù)據(jù)。

可以使用 brew install selenium 的方式來(lái)快速安裝selenium。

數(shù)據(jù)獲取

Scrapy

Scrapy是Python開(kāi)發(fā)的一個(gè)快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點(diǎn)并從頁(yè)面中提取結(jié)構(gòu)化的數(shù)據(jù)。其吸引人的地方在于任何人都可以根據(jù)需求方便的修改。它也提供了多種類(lèi)型爬蟲(chóng)的基類(lèi)，如BaseSpider、sitemap爬蟲(chóng)等，最新版本又提供了web2.0爬蟲(chóng)的支持。我們可以啟用選擇器（例如XPath，CSS）從網(wǎng)頁(yè)中提取數(shù)據(jù)。

我們需要先安裝Twisted，因?yàn)橹苯影惭bscrapy的話(huà)，安裝會(huì)失敗。所以使用 pip install Twisted-18.9.0-cp37-cp37m-win32.whl 來(lái)安裝，然后使用pip install scrapy 來(lái)安裝scrapy就可以了

數(shù)據(jù)獲取

Beautiful Soup

Beautiful Soup也是一個(gè)從網(wǎng)站爬取數(shù)據(jù)的庫(kù)，他提供一些簡(jiǎn)單的、python式的函數(shù)用來(lái)處理導(dǎo)航、搜索、修改分析樹(shù)等功能。它是一個(gè)工具箱，通過(guò)解析文檔為用戶(hù)提供需要抓取的數(shù)據(jù)，因?yàn)楹?jiǎn)單，所以不需要多少代碼就可以寫(xiě)出一個(gè)完整的應(yīng)用程序。

可以使用 brew install beautifulsoup4 的方式來(lái)快速安裝bf4。

數(shù)據(jù)清洗

Spacy

spacy可以用于進(jìn)行分詞，命名實(shí)體識(shí)別，詞性識(shí)別等等，最核心的數(shù)據(jù)結(jié)構(gòu)是Doc和Vocab。Doc對(duì)象包含Token的序列和Token的注釋?zhuān)琕ocab對(duì)象是spaCy使用的詞匯表，用于存儲(chǔ)語(yǔ)言中共享的數(shù)據(jù)，spaCy通過(guò)集中存儲(chǔ)字符串，單詞向量和詞匯屬性等，避免存儲(chǔ)數(shù)據(jù)的多個(gè)副本。

數(shù)據(jù)清洗

NumPy

NumPy(Numerical Python) 是 Python 語(yǔ)言的一個(gè)擴(kuò)展程序庫(kù)，支持大量的維度數(shù)組與矩陣運(yùn)算，此外也針對(duì)數(shù)組運(yùn)算提供大量的數(shù)學(xué)函數(shù)庫(kù)。對(duì)數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算和邏輯運(yùn)算時(shí)，NumPy 是非常有用的。在用 Python 對(duì) n維數(shù)組和矩陣進(jìn)行運(yùn)算時(shí)，NumPy 提供了大量有用特征。

數(shù)據(jù)清洗

Pandas

pandas 是基于NumPy 的一種工具，該工具是為了解決數(shù)據(jù)分析任務(wù)而創(chuàng)建的。Pandas 納入了大量庫(kù)和一些標(biāo)準(zhǔn)的數(shù)據(jù)模型，提供了高效地操作大型數(shù)據(jù)集所需的工具。pandas提供了大量能使我們快速便捷地處理數(shù)據(jù)的函數(shù)和方法。你很快就會(huì)發(fā)現(xiàn)，它是使Python成為強(qiáng)大而高效的數(shù)據(jù)分析環(huán)境的重要因素之一。

數(shù)據(jù)可視化

Matplotlib

matplotlib是受MATLAB的啟發(fā)構(gòu)建的。MATLAB是數(shù)據(jù)繪圖領(lǐng)域廣泛使用的語(yǔ)言和工具。MATLAB語(yǔ)言是面向過(guò)程的。利用函數(shù)的調(diào)用，MATLAB中可以輕松的利用一行命令來(lái)繪制，然后再用一系列的函數(shù)調(diào)整結(jié)果。它有一套完全仿照MATLAB的函數(shù)形式的繪圖接口，在matplotlib.pyplot模塊中。這套函數(shù)接口方便MATLAB用戶(hù)過(guò)度到matplotlib。

數(shù)據(jù)可視化

Pyecharts

Echarts 是一個(gè)由百度開(kāi)源的數(shù)據(jù)可視化工具，憑借著良好的交互性，精巧的圖表設(shè)計(jì)，得到了眾多開(kāi)發(fā)者的認(rèn)可，當(dāng) Python 遇到了 Echarts，就變成了 PyEcharts，目的就是為了與 Python 進(jìn)行對(duì)接，方便在 Python 中直接使用數(shù)據(jù)生成圖。

數(shù)據(jù)建模

Scikit-learn

scikit-learn包含眾多頂級(jí)機(jī)器學(xué)習(xí)算法，主要有六大基本功能，分別是分類(lèi)、回歸、聚類(lèi)、數(shù)據(jù)降維、模型選擇和數(shù)據(jù)預(yù)處理。scikit-learn擁有非常活躍的用戶(hù)社區(qū)，基本上其所有的功能都有非常詳盡的文檔供用戶(hù)查閱?？梢匝凶xscikit-learn的用戶(hù)指南及文檔，對(duì)其算法的使用有更充分的了解。

數(shù)據(jù)建模

Pytorch

PyTorch是美國(guó)互聯(lián)網(wǎng)巨頭Facebook在深度學(xué)習(xí)框架Torch的基礎(chǔ)上使用Python重寫(xiě)的一個(gè)全新的深度學(xué)習(xí)框架，它更像NumPy的替代產(chǎn)物，不僅繼承了NumPy的眾多優(yōu)點(diǎn)，還支持GPUs計(jì)算，在計(jì)算效率上要比NumPy有更明顯的優(yōu)勢(shì)；不僅如此，PyTorch還有許多高級(jí)功能，比如擁有豐富的API，可以快速完成深度神經(jīng)網(wǎng)絡(luò)模型的搭建和訓(xùn)練。

數(shù)據(jù)建模

Tensorflow

TensorFlow是一個(gè)采用數(shù)據(jù)流圖（data flow graphs），用于數(shù)值計(jì)算、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的開(kāi)源軟件庫(kù)。節(jié)點(diǎn)（Nodes）在圖中表示數(shù)學(xué)操作，圖中的線(xiàn)（edges）則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor）。它靈活的架構(gòu)讓你可以在多種平臺(tái)上展開(kāi)計(jì)算，例如臺(tái)式計(jì)算機(jī)中的一個(gè)或多個(gè)CPU（或GPU），服務(wù)器，移動(dòng)設(shè)備等等。

模型檢查

Lime

LIME能夠解釋所有我們可以獲得預(yù)測(cè)概率的模型(在R中，也就是每一個(gè)與預(yù)測(cè)(type=“prob”)一起工作的模型)。它利用了這樣一個(gè)事實(shí)，即線(xiàn)性模型很容易解釋?zhuān)驗(yàn)樗鼈兓?a href='/map/tezheng/' style='color:#000;font-size:inherit;'>特征和類(lèi)標(biāo)簽之間的線(xiàn)性關(guān)系：將復(fù)模型函數(shù)用局部擬合線(xiàn)性模型逼近原訓(xùn)練集的排列。

音頻數(shù)據(jù)處理

Librosa

librosa是一個(gè)非常強(qiáng)大的python語(yǔ)音信號(hào)處理的第三方庫(kù)，用于音頻、音樂(lè)分析、處理和些常見(jiàn)的時(shí)頻處理、特征提取、繪制聲音圖形等功能應(yīng)有盡有，功能十分強(qiáng)大。學(xué)會(huì)librosa后再也不用用python去實(shí)現(xiàn)那些復(fù)雜的算法了，只需要一句語(yǔ)句就能輕松實(shí)現(xiàn)。

圖像數(shù)據(jù)處理

OpenCV

OpenCV是計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用最廣泛的開(kāi)源工具包，基于C/C++，支持Linux/Windows/MacOS/Android/iOS，并提供了Python，Matlab和Java等語(yǔ)言的接口，因?yàn)槠湄S富的接口，優(yōu)秀的性能和商業(yè)友好的使用許可，不管是學(xué)術(shù)界還是業(yè)界中都非常受歡迎。

可以在 anaconda 中來(lái)安裝OpenCV

圖像數(shù)據(jù)處理

Scikit-imag

scikit-image 是一種開(kāi)源的用于圖像處理的 Python 包。它包括分割，幾何變換，色彩操作，分析，過(guò)濾等算法。它用作集成到python運(yùn)算環(huán)境結(jié)合一些科學(xué)運(yùn)算庫(kù)（Numpy，Scipy)

安裝sudo apt-get install python-skimage 

源碼 git clone https://github.com/scikit-image/scikit-image.git

數(shù)據(jù)庫(kù)相關(guān)

Pymongo

MongoDB是由C++語(yǔ)言編寫(xiě)的非關(guān)系型數(shù)據(jù)庫(kù)，是一個(gè)基于分布式文件存儲(chǔ)的開(kāi)源數(shù)據(jù)庫(kù)系統(tǒng)，其內(nèi)容存儲(chǔ)形式類(lèi)似JSON對(duì)象，它的字段值可以包含其他文檔、數(shù)組及文檔數(shù)組，非常靈活。而要使用python進(jìn)行操作就需要pymongo。

安裝pip3 install pymongo 

連接client = pymongo.MongoClient(host='localhost', port='ip') 

數(shù)據(jù)分析結(jié)果可視化部署

Flask

Flask是一個(gè)輕量級(jí)的可定制框架，使用Python語(yǔ)言編寫(xiě)，較其他同類(lèi)型框架更為靈活、輕便、安全且容易上手。另外，F(xiàn)lask還有很強(qiáng)的定制性，用戶(hù)可以根據(jù)自己的需求來(lái)添加相應(yīng)的功能，在保持核心功能簡(jiǎn)單的同時(shí)實(shí)現(xiàn)功能的豐富與擴(kuò)展，其強(qiáng)大的插件庫(kù)可以讓用戶(hù)實(shí)現(xiàn)個(gè)性化的網(wǎng)站定制，開(kāi)發(fā)出功能強(qiáng)大的網(wǎng)站。

數(shù)據(jù)分析結(jié)果可視化部署

Django

Django是高水準(zhǔn)的Python編程語(yǔ)言驅(qū)動(dòng)的一個(gè)開(kāi)源模型．視圖，控制器風(fēng)格的Web應(yīng)用程序框架，它起源于開(kāi)源社區(qū)。使用這種架構(gòu)，程序員可以方便、快捷地創(chuàng)建高品質(zhì)、易維護(hù)、數(shù)據(jù)庫(kù)驅(qū)動(dòng)的應(yīng)用程序。另外，在Django框架中，還包含許多功能強(qiáng)大的第三方插件，使得Django具有較強(qiáng)的可擴(kuò)展性。

安裝pip install Django 

文檔 https://docs.djangoproject.com/en/3.0/