CDA數(shù)據(jù)分析師 出品

相信大家在做一些算法經(jīng)常會(huì)被龐大的數(shù)據(jù)量所造成的超多計(jì)算量需要的時(shí)間而折磨的痛苦不已，接下來我們圍繞四個(gè)方法來幫助大家加快一下Python的計(jì)算時(shí)間，減少大家在算法上的等待時(shí)間。今天給大家介紹Numba這一塊的內(nèi)容。

1.簡介

所以什么是Numba呢？Numba是Python的即時(shí)編譯器，也就是說當(dāng)你調(diào)用Python

函數(shù)時(shí)，你的全部或部分代碼都會(huì)被計(jì)時(shí)轉(zhuǎn)換成為機(jī)器碼進(jìn)行執(zhí)行，然后它就會(huì)以你的本機(jī)機(jī)器碼速度運(yùn)行，Numba由Anaconda公司贊助，并得到了許多組織的支持。

使用Numba，你可以加速所有以集中計(jì)算的、計(jì)算量大的python函數(shù)（例如循環(huán)）的速度。它還支持numpy庫！因此，你也可以在計(jì)算中使用numpy，并加快整體計(jì)算的速度，因?yàn)?a href='/map/python/' style='color:#000;font-size:inherit;'>python中的循環(huán)非常慢。你還可以使用python標(biāo)準(zhǔn)庫中的數(shù)學(xué)庫的許多功能，例如sqrt等。

2.為什么選擇Numba？

所以，為什么要選擇Numba？特別是當(dāng)存在有許多其他編譯器，例如cython或任何其他類似的編譯器，或類似pypy的東西時(shí)。

選擇Numba的理由很簡單，那就是因?yàn)槟悴恍枰x開使用Python編寫代碼的舒適區(qū)。是的，你沒看錯(cuò)，你不需要為了加速數(shù)據(jù)的運(yùn)行速度而改變你的代碼，這與從具有類型定義的相似cython代碼獲得的加速相當(dāng)。那不是更好么？

你只需要在函數(shù)周圍添加一個(gè)熟悉的Python功能，也就是裝飾器（包裝器）。目前類的裝飾器也在開發(fā)之中。

所以，你只需要添加一個(gè)裝飾器就可以了。例如：

from numba import jit@jitdef function(x): # 循環(huán)或數(shù)值密集型的計(jì)算 return x

它看起來仍然像是純python代碼，不是嗎？

3. Numba如何工作？

Numb使用LLVM編譯器基礎(chǔ)結(jié)構(gòu)，從純Python代碼生成優(yōu)化的機(jī)器碼。使用Numba的代碼運(yùn)行速度與C，C ++或Fortran中的類似代碼相媲美。

這是代碼的編譯方式：

首先，獲取，優(yōu)化Python函數(shù)并將其轉(zhuǎn)換為Numba的中間表示形式，然后類似于Numpy的類型推斷一樣進(jìn)行類型判斷（因此python float為float64），然后將其轉(zhuǎn)換為LLVM可解釋的代碼。然后，該代碼被饋送到LLVM的即時(shí)編譯器以發(fā)出機(jī)器代碼。

你可以根據(jù)需要在運(yùn)行時(shí)生成代碼或在CPU（默認(rèn)）或GPU上導(dǎo)入代碼。

4.使用基本的Numba功能（只需要@jit！）

小菜一碟！

為了獲得最佳的性能，numba建議在你的jit包裝器中使用參數(shù)nopython = True，但它根本不會(huì)使用Python解釋器?；蛘吣阋部梢允褂聾njit。如果你使用nopython = True的包裝器失敗并出現(xiàn)錯(cuò)誤，則可以使用簡單的@jit包裝器，該包裝器將編譯部分代碼，對(duì)其進(jìn)行循環(huán)，然后將其轉(zhuǎn)換為函數(shù)，再編譯為機(jī)器碼，然后將其余部分交給python解釋器。

因此，你只需要執(zhí)行以下操作：

from numba import njit, jit@njit # 或者@jit(nopython=True)def function(a, b): # 循環(huán)或數(shù)值密集型計(jì)算 return result

使用@jit時(shí)，請確保你的代碼具有Numba可以編譯的內(nèi)容，例如計(jì)算密集型循環(huán)，使用它支持的庫（Numpy）及其支持的函數(shù)。否則，它將無法編譯任何內(nèi)容。

首先，numba在首次用作機(jī)器代碼后還會(huì)緩存這些函數(shù)。因此，在第一次使用之后，它會(huì)變得更快，因?yàn)槟銦o需再次編譯該代碼，因?yàn)槟闶褂玫膮?shù)類型和你之前使用的相同。

而且，如果你的代碼是可以并行化運(yùn)行的，那么也可以將parallel = True作為參數(shù)傳遞，但是必須跟參數(shù)nopython = True結(jié)合使用。目前，它僅可以在CPU上工作。

你也可以指定你想要的函數(shù)簽名，但是它不會(huì)編譯你給他的任何其他類型的參數(shù)，比如：

你還可以指定你希望函數(shù)具有的函數(shù)簽名，但是對(duì)于提供給它的任何其他類型的參數(shù)，它將不會(huì)編譯。例如：

from numba import jit, int32@jit(int32(int32, int32))def function(a, b): #循環(huán)或數(shù)值型密集型計(jì)算 return result#或者你還沒有導(dǎo)入類型的名稱#你可以將他們作為字符串傳遞@jit('int32(int32, int32)')def function(a, b): #循環(huán)或數(shù)值型密集型計(jì)算 return result

現(xiàn)在，你的函數(shù)將只接受兩個(gè)int32并返回一個(gè)int32。這樣，你可以更好地控制自己的函數(shù)。你甚至可以根據(jù)需要傳遞多個(gè))函數(shù)簽名。

你還可以使用numba提供的其他裝飾器：

1. @vectorize：允許將標(biāo)量參數(shù)用作numpy ufunc，

1. @guvectorize：產(chǎn)生NumPy廣義ufuncs

1. @stencil：將函數(shù)聲明為類似模板操作的內(nèi)核，

1. @jitclass：對(duì)于支持jit的類，

1. @cfunc：聲明一個(gè)用作本機(jī)回調(diào)的函數(shù)（從C / C ++等調(diào)用），

1. @overload：注冊自己的函數(shù)實(shí)現(xiàn)以在nopython模式下使用，例如@overload(scipy.special.j0)。

Numba還具有預(yù)先（AOT）編譯功能，它生成一個(gè)編譯后的擴(kuò)展模塊，該模塊不依賴于Numba。但：

1. 它只允許使用常規(guī)函數(shù)（不能使用ufuncs），

1. 你必須指定一個(gè)函數(shù)簽名。你只能指定一個(gè)，因?yàn)樵S多指定使用不同的名稱。

它還會(huì)為你的CPU架構(gòu)系列生成通用代碼。

5. @vectorize包裝器

通過使用@vectorize包裝器，你可以將對(duì)標(biāo)量進(jìn)行操作的函數(shù)轉(zhuǎn)換為數(shù)組，例如，如果你正在使用math僅在標(biāo)量上運(yùn)行的python 庫，則可以對(duì)數(shù)組使用。這提供了類似于numpy數(shù)組操作（ufuncs）的速度。例如：

@vectorizedef func(a, b): # 對(duì)標(biāo)量進(jìn)行運(yùn)算 return result

你還可以將target參數(shù)傳遞給此包裝器，該包裝器的值可以等于parallel用于并行化代碼，cuda用于在cuda / GPU上運(yùn)行代碼的值。

@vectorize(target="parallel")def func(a, b): # 對(duì)標(biāo)量進(jìn)行運(yùn)算 return result

假設(shè)你的代碼具有足夠的計(jì)算密集性或數(shù)組足夠大，則使用numpy進(jìn)行矢量化target = "parallel"或"cuda"通常比numpy實(shí)現(xiàn)運(yùn)行得更快。如果不是這樣的話，這將花費(fèi)大量時(shí)間來制作線程和為不同的線程拆分元素，這可能會(huì)超過整個(gè)過程的實(shí)際計(jì)算時(shí)間。因此，工作應(yīng)該足夠繁重才能加快速度。

6.在GPU上運(yùn)行函數(shù)

你也可以像包裝器一樣傳遞@jit來在cuda / GPU上運(yùn)行函數(shù)。為此，你將必須numba庫中導(dǎo)入cuda。但是在GPU上運(yùn)行代碼不會(huì)像以前那樣容易。為了在GPU上的數(shù)百個(gè)甚至數(shù)千個(gè)線程上運(yùn)行函數(shù)，它需要完成一些初始計(jì)算。你必須聲明和管理網(wǎng)格，塊和線程的層次結(jié)構(gòu)。但是這并不難。

要在GPU上執(zhí)行一個(gè)函數(shù)，你必須定義一個(gè) kernel function（內(nèi)核函數(shù)）或一個(gè)device function(設(shè)備函數(shù))。首先，讓我們看一下kernel function（核函數(shù))。

關(guān)于內(nèi)核函數(shù)需要記住的幾點(diǎn)：

a）內(nèi)核在被調(diào)用時(shí)顯式聲明其線程層次結(jié)構(gòu)，即塊數(shù)和每個(gè)塊的線程數(shù)。你可以編譯一次內(nèi)核，然后使用不同的塊和網(wǎng)格大小多次調(diào)用它。

b）內(nèi)核無法返回值。因此，你將不得不在原始數(shù)組上進(jìn)行更改，或者傳遞另一個(gè)數(shù)組來存儲(chǔ)結(jié)果。對(duì)于計(jì)算標(biāo)量，你將必須傳遞一個(gè)一元數(shù)組。

# 定義一個(gè)內(nèi)核函數(shù)from numba import cuda@cuda.jitdef func(a, result): # 然后是一些CUDA相關(guān)的計(jì)算 # 你的計(jì)算密集的代碼 # 你的答案儲(chǔ)存在'result'中

因此，要啟動(dòng)內(nèi)核，你將必須傳遞兩個(gè)東西：

1. 每個(gè)塊的線程數(shù)，

1. 塊的數(shù)量。

例如：

threadsperblock = 32blockspergrid = (array.size + (threadsperblock - 1)) // threadsperblockfunc[blockspergrid, threadsperblock](array)

每個(gè)線程中的內(nèi)核函數(shù)必須知道它在哪個(gè)線程中，知道它負(fù)責(zé)數(shù)組的哪個(gè)元素。通過Numba，只需一次調(diào)用即可輕松獲得元素的這些位置。

@cuda.jitdef func(a, result): pos = cuda.grid(1) # 對(duì)一維數(shù)組 # x, y = cuda.grid(2) # 對(duì)二維數(shù)組 if pos < a.shape[0]: result[pos] = a[pos] * (some computation)

為了節(jié)省將numpy數(shù)組復(fù)制到特定設(shè)備并再次將結(jié)果存儲(chǔ)在numpy數(shù)組中的時(shí)間，Numba提供了一些函數(shù)來聲明和發(fā)送數(shù)組到特定的設(shè)備，如：numba.cuda.device_array，numba.cuda.device_array_like，numba.cuda.to_device，等等，以節(jié)省不必要的時(shí)間復(fù)制到cpu（除非必要）。

另一方面，device function只能從設(shè)備內(nèi)部（通過內(nèi)核或其他設(shè)備函數(shù)）好處是，你可以從device function返回一個(gè)值。因此，你可以使用此函數(shù)的返回值來計(jì)算kernel function或device function的一些內(nèi)容。

from numba import cuda@cuda.jit(device=True)def device_function(a, b): return a + b

Numba 在其cuda庫中還具有原子操作，隨機(jī)數(shù)生成器，共享內(nèi)存實(shí)現(xiàn)（以加快數(shù)據(jù)訪問速度）等。

ctypes / cffi / cython互操作性：

· cffi- 在nopython模式下支持CFFI函數(shù)的調(diào)用。

· ctypes — 在nopython模式下支持ctypes包裝器函數(shù)的調(diào)用…

· Cython導(dǎo)出的函數(shù)是可調(diào)用的。

下一期我們來看加快Python算法的另一種方法——數(shù)據(jù)并行化！