原文來源 | Huy Nguyen  

譯文來源 | 開源中國  
雖然你所寫的每個(gè)Python程序并不總是需要嚴(yán)密的性能分析，但是當(dāng)這樣的問題出現(xiàn)時(shí)，如果能知道Python生態(tài)系統(tǒng)中的許多種工具，這樣總是可以讓人安心的。
分析一個(gè)程序的性能可以歸結(jié)為回答4個(gè)基本的問題：
1.它運(yùn)行的有多塊？
2.那里是速度的瓶頸？
3.它使用了多少內(nèi)存？
4.哪里發(fā)生了內(nèi)存泄漏？
下面，我們將用一些很酷的工具，深入細(xì)節(jié)的回答這些問題。
使用time工具粗糙定時(shí)
首先，我們可以使用快速然而粗糙的工具：古老的unix工具time，來為我們的代碼檢測運(yùn)行時(shí)間。

上面三個(gè)輸入變量的意義在文章 stackoverflow article 中有詳細(xì)介紹。簡單的說：
real – 表示實(shí)際的程序運(yùn)行時(shí)間
user – 表示程序在用戶態(tài)的cpu總時(shí)間
sys – 表示在內(nèi)核態(tài)的cpu總時(shí)間
通過sys和user時(shí)間的求和，你可以直觀的得到系統(tǒng)上沒有其他程序運(yùn)行時(shí)你的程序運(yùn)行所需要的CPU周期。
若sys和user時(shí)間之和遠(yuǎn)遠(yuǎn)少于real時(shí)間，那么你可以猜測你的程序的主要性能問題很可能與IO等待相關(guān)。
使用計(jì)時(shí)上下文管理器進(jìn)行細(xì)粒度計(jì)時(shí)
我們的下一個(gè)技術(shù)涉及訪問細(xì)粒度計(jì)時(shí)信息的直接代碼指令。這是一小段代碼，我發(fā)現(xiàn)使用專門的計(jì)時(shí)測量是非常重要的：
timer.py

為了使用它，你需要用Python的with關(guān)鍵字和Timer上下文管理器包裝想要計(jì)時(shí)的代碼塊。它將會(huì)在你的代碼塊開始執(zhí)行的時(shí)候啟動(dòng)計(jì)時(shí)器，在你的代碼塊結(jié)束的時(shí)候停止計(jì)時(shí)器。
這是一個(gè)使用上述代碼片段的例子：

我經(jīng)常將這些計(jì)時(shí)器的輸出記錄到文件中，這樣就可以觀察我的程序的性能如何隨著時(shí)間進(jìn)化。
使用分析器逐行統(tǒng)計(jì)時(shí)間和執(zhí)行頻率
Robert Kern有一個(gè)稱作line_profiler的不錯(cuò)的項(xiàng)目，我經(jīng)常使用它查看我的腳步中每行代碼多快多頻繁的被執(zhí)行。
想要使用它，你需要通過pip安裝該python包：

一旦安裝完成，你將會(huì)使用一個(gè)稱做“l(fā)ine_profiler”的新模組和一個(gè)“kernprof.py”可執(zhí)行腳本。
想要使用該工具，首先修改你的源代碼，在想要測量的函數(shù)上裝飾@profile裝飾器。不要擔(dān)心，你不需要導(dǎo)入任何模組。kernprof.py腳本將會(huì)在執(zhí)行的時(shí)候?qū)⑺詣?dòng)地注入到你的腳步的運(yùn)行時(shí)。
primes.py

一旦你已經(jīng)設(shè)置好了@profile裝飾器，使用kernprof.py執(zhí)行你的腳步。

-l選項(xiàng)通知kernprof注入@profile裝飾器到你的腳步的內(nèi)建函數(shù)，-v選項(xiàng)通知kernprof在腳本執(zhí)行完畢的時(shí)候顯示計(jì)時(shí)信息。上述腳本的輸出看起來像這樣：

尋找具有高Hits值或高Time值的行。這些就是可以通過優(yōu)化帶來最大改善的地方。
程序使用了多少內(nèi)存？
現(xiàn)在我們對(duì)計(jì)時(shí)有了較好的理解，那么讓我們繼續(xù)弄清楚程序使用了多少內(nèi)存。我們很幸運(yùn)，F(xiàn)abian Pedregosa模仿Robert Kern的line_profiler實(shí)現(xiàn)了一個(gè)不錯(cuò)的內(nèi)存分析器。
首先使用pip安裝：

（這里建議安裝psutil包，因?yàn)樗梢源蟠蟾纳苖emory_profiler的性能）。
就像line_profiler，memory_profiler也需要在感興趣的函數(shù)上面裝飾@profile裝飾器：

想要觀察你的函數(shù)使用了多少內(nèi)存，像下面這樣執(zhí)行：

一旦程序退出，你將會(huì)看到看起來像這樣的輸出：

line_profiler和memory_profiler的IPython快捷方式
memory_profiler和line_profiler有一個(gè)鮮為人知的小竅門，兩者都有在IPython中的快捷命令。你需要做的就是在IPython會(huì)話中輸入以下內(nèi)容：

在這樣做的時(shí)候你需要訪問魔法命令%lprun和%mprun，它們的行為類似于他們的命令行形式。主要區(qū)別是你不需要使用@profiledecorator來修飾你要分析的函數(shù)。只需要在IPython會(huì)話中像先前一樣直接運(yùn)行分析：

這樣可以節(jié)省你很多時(shí)間和精力，因?yàn)槟愕脑创a不需要為使用這些分析命令而進(jìn)行修改。
內(nèi)存泄漏在哪里？
cPython解釋器使用引用計(jì)數(shù)做為記錄內(nèi)存使用的主要方法。這意味著每個(gè)對(duì)象包含一個(gè)計(jì)數(shù)器，當(dāng)某處對(duì)該對(duì)象的引用被存儲(chǔ)時(shí)計(jì)數(shù)器增加，當(dāng)引用被刪除時(shí)計(jì)數(shù)器遞減。當(dāng)計(jì)數(shù)器到達(dá)零時(shí)，cPython解釋器就知道該對(duì)象不再被使用，所以刪除對(duì)象，釋放占用的內(nèi)存。
如果程序中不再被使用的對(duì)象的引用一直被占有，那么就經(jīng)常發(fā)生內(nèi)存泄漏。
查找這種“內(nèi)存泄漏”最快的方式是使用Marius Gedminas編寫的objgraph，這是一個(gè)極好的工具。該工具允許你查看內(nèi)存中對(duì)象的數(shù)量，定位含有該對(duì)象的引用的所有代碼的位置。
一開始，首先安裝objgraph：

一旦你已經(jīng)安裝了這個(gè)工具，在你的代碼中插入一行聲明調(diào)用調(diào)試器：

最普遍的對(duì)象是哪些？
在運(yùn)行的時(shí)候，你可以通過執(zhí)行下述指令查看程序中前20個(gè)最普遍的對(duì)象：

哪些對(duì)象已經(jīng)被添加或刪除？
我們也可以查看兩個(gè)時(shí)間點(diǎn)之間那些對(duì)象已經(jīng)被添加或刪除：

誰引用著泄漏的對(duì)象？
繼續(xù)，你還可以查看哪里包含給定對(duì)象的引用。讓我們以下述簡單的程序做為一個(gè)例子：

想要看看哪里包含變量x的引用，執(zhí)行objgraph.show_backref()函數(shù)：

該命令的輸出應(yīng)該是一副PNG圖像，保存在/tmp/backrefs.png，它看起來是像這樣：

在運(yùn)行的時(shí)候，你可以通過執(zhí)行下述指令查看程序中前20個(gè)最普遍的對(duì)象：最下面有紅字的盒子是我們感興趣的對(duì)象。我們可以看到，它被符號(hào)x引用了一次，被列表y引用了三次。如果是x引起了一個(gè)內(nèi)存泄漏，我們可以使用這個(gè)方法，通過跟蹤它的所有引用，來檢查為什么它沒有自動(dòng)的被釋放。
回顧一下，objgraph 使我們可以：
顯示占據(jù)python程序內(nèi)存的頭N個(gè)對(duì)象
顯示一段時(shí)間以后哪些對(duì)象被刪除活增加了
在我們的腳本中顯示某個(gè)給定對(duì)象的所有引用
努力與精度
在本帖中，我給你顯示了怎樣用幾個(gè)工具來分析python程序的性能。通過這些工具與技術(shù)的武裝，你可以獲得所有需要的信息，來跟蹤一個(gè)python程序中大多數(shù)的內(nèi)存泄漏，以及識(shí)別出其速度瓶頸。
對(duì)許多其他觀點(diǎn)來說，運(yùn)行一次性能分析就意味著在努力目標(biāo)與事實(shí)精度之間做出平衡。如果感到困惑，那么就實(shí)現(xiàn)能適應(yīng)你目前需求的最簡單的解決方案。
參考
stack overflow – time explained（堆棧溢出 – 時(shí)間解釋）
line_profiler（線性分析器）
memory_profiler（內(nèi)存分析器）
objgraph（對(duì)象圖）
end