
CDA數(shù)據(jù)分析師 出品
相信大家在做一些算法經(jīng)常會被龐大的數(shù)據(jù)量所造成的超多計算量需要的時間而折磨的痛苦不已,接下來我們圍繞四個方法來幫助大家加快一下Python的計算時間,減少大家在算法上的等待時間。下面為大家講述有關PyTorch的內(nèi)容。
在PyTorch模塊中,我將展示如何使用torch和檢查、初始化GPU設備pycuda,以及如何使算法更快。
PyTorch是建立在torch的機器學習庫。它得到了Facebook AI研究小組的支持。在最近開發(fā)之后,由于它的簡單性,動態(tài)圖形以及它本質(zhì)上是Python,它在被開發(fā)出來之后變得非常流行。它的速度仍然沒有落后,在很多情況下可以說是表現(xiàn)的非常好的。
pycuda允許你從python訪問Nvidia的CUDA并行計算API。
要檢查是否有cuda可用的設備Torch,可以簡單地運行一下下面的代碼:
import torch torch.cuda.is_available() # True
要獲取設備的基本信息,可以使用torch.cuda。但是,要獲取有關設備的更多信息,可以使用pycuda,這是一個圍繞CUDA庫開發(fā)的python包裝器。你可以使用:
import torch import pycuda.driver as cuda cuda.init() ##獲取默認設備的Id torch.cuda.current_device() # 0 cuda.Device(0).name() # '0'是你的GPU的id # Tesla K80
或者你可以這么用:
torch.cuda.get_device_name(0)#獲取ID為'0'的名稱設備 #'Tesla K80'
我編寫了一個簡單的類來獲取有關cuda兼容GPU的信息:
#一個簡單的類來了解你的cuda設備 import pycuda.driver as cuda import pycuda.autoinit #必須使用它的功能 cuda.init() # 需要使用它的功能 class aboutCudaDevices(): def __init__(self): pass def num_devices(self): """返回連接的設備數(shù)量.""" return cuda.Device.count() def devices(self): """獲取所有連接設備的信息.""" num = cuda.Device.count() print("%d device(s) found:"%num) for i in range(num): print(cuda.Device(i).name(), "(Id: %d)"%i) def mem_info(self): """獲得所有設備的可用內(nèi)存和總內(nèi)存.""" available, total = cuda.mem_get_info() print("Available: %.2f GB\nTotal: %.2f GB"%(available/1e9, total/1e9)) def attributes(self, device_id=0): """獲取設備Id的屬性 = device_id""" return cuda.Device(device_id).get_attributes() def __repr__(self): """類表示為連接到它們的設備的數(shù)量.""" num = cuda.Device.count() string = "" string += ("%d device(s) found:\n"%num) for i in range(num): string += ( " %d) %s (Id: %d)\n"%((i+1),cuda.Device(i).name(),i)) string += (" Memory: %.2f GB\n"%(cuda.Device(i).total_memory()/1e9)) return string # 你可以通過輸入它的名字來打印輸出(__repr__): aboutCudaDevices() # 1 設備(年代): # 1) Tesla K80 (Id: 0) # Memory: 12.00 GB
要獲取當前的內(nèi)存使用情況,你可以使用pyTorch的函數(shù):
import torch #返回當前的GPU內(nèi)存使用 # 一個給定設備的容量(以字節(jié)為單位) torch.cuda.memory_allocated() #函數(shù)管理的當前的GPU內(nèi)存 #以字節(jié)為給定設備緩存的分配器 torch.cuda.memory_cached()
在運行應用程序后,可以使用一個簡單的命令來清除緩存:
# 釋放緩存分配器當前持有的所有為占用的緩存內(nèi)存 # 以便這些內(nèi)存可以在其他GPU應用程序中可以使用 # 并且可以在NVIDIA-SMI中可以進行查看 torch.cuda.empty_cache()
但是,使用這個命令不會通過張量釋放占用的GPU內(nèi)存,因此它無法增加可用于PyTorch的GPU內(nèi)存量。
這些內(nèi)存方法僅適用于GPU。所以這才是真正需要它的地方。
使用.cuda函數(shù)。
如果你想要在CPU上存儲一些內(nèi)容,可以簡單地編寫代碼:
a = torch.DoubleTensor([1., 2.])
這個向量是存儲在CPU上的,你對它執(zhí)行的任何操作都是在CPU上執(zhí)行完成的。而要將其轉(zhuǎn)移到GPU上,你只需要執(zhí)行以下操作.cuda:
a = torch.FloatTensor([1., 2.]).cuda()
或者,
a = torch.cuda.FloatTensor([1., 2.])
這將為它選擇默認設備,該默認設備可通過以下命令查看:
torch.cuda.current_device() #0
或者,你也可以執(zhí)行以下操作:
a.get_device() #0
你也可以將一個模型發(fā)送到GPU設備。例如,考慮一個簡單的模塊nn.Sequential:
sq = nn.Sequential( nn.Linear(20,20), nn.ReLU(), nn.Linear( 20,4 ),nn.Softmax() )
要將其發(fā)送到GPU設備,只需執(zhí)行以下操作:
model = sq.cuda()
你可以檢查它是否在GPU設備上,為此,你必須檢查它的參數(shù)是否在GPU設備上,例如:
#可以在這里進行討論: discuss.pytorch.org/t/how-to-check-if-model-is-on-cuda next(model.parameters()).is_cuda # True
你可以為當前應用/存儲選擇一個GPU,該GPU可以與你上一個應用/存儲選擇的GPU不同。
正如在第(2)部分中已經(jīng)看到的那樣,我們可以獲得所有與cuda兼容的設備及其Id使用pycuda的情況,在此我們就不再贅述了。
考慮到你有3個cuda兼容的設備,你可以初始化和分配tensors到一個特定的設備,就像這樣。
cuda0 = torch.device('cuda:0') cuda1 = torch.device('cuda:1') cuda2 = torch.device('cuda:2') # 如果你只使用 'cuda' , 張量/型號將會被發(fā)送到默認(當前)設備。(默認值= 0) x = torch.Tensor([1., 2.], device=cuda1) # 或者 x = torch.Tensor([1., 2.]).to(cuda1) # 或者 x = torch.Tensor([1., 2.]).cuda(cuda1) # 筆記: # 如果你想改變默認設備,那么請使用: torch.cuda.set_device(2) # 設備Id為'2'的地方 # 如果你只想使用3個GPU中的2個,那么你必須設置環(huán)境變量CUDA_VISIBLE_DEVICES 等于"0,2",如果你只想使用第一個和第三個GPU的話 #現(xiàn)在如果你想要檢查有多少個GPU時,它將顯示兩個(0,1) import os os.environ["CUDA_VISIBLE_DEVICES"] = "0,2"
當你對這些Tensors 進行任何操作時,無論選擇什么設備,都可以執(zhí)行該操作,結果會和Tensor保存在同一個設備上。
x = torch.Tensor([1., 2.]).to(cuda2) y = torch.Tensor([3., 4.]).to(cuda2) # 這個Tensor(張量)只會保存在'cuda2' 中 z = x + y
如果你有多個GPU,則可以在其中劃分應用程序的工作,但是他們之間的通信會帶來開銷。但是,如果你不需要過多的進行傳遞信息,那你可以嘗試一下。
實際上還有一個問題。在PyTorch中的所有GPU操作中,默認情況下都是異步的。盡管在CPU和GPU或兩個GPU之間復制數(shù)據(jù)時確實進行了必要的同步,但是,如果你在命令torch.cuda.Stream()的幫助下創(chuàng)建自己的數(shù)據(jù)流,那么你講不得不處理指令的同步
舉一個PyTorch文檔中的例子,這是不正確的:
cuda = torch.device('cuda') s = torch.cuda.Stream() # 創(chuàng)建一個新的數(shù)據(jù)流. A = torch.empty((100, 100), device=cuda).normal_(0.0, 1.0) with torch.cuda.stream(s): # 因為 sum() 可能會在normal_()結束之前開始執(zhí)行! B = torch.sum(A)
如果你想充分利用多個GPU,那么你可以:
在數(shù)據(jù)并行性中,我們將數(shù)據(jù)(從數(shù)據(jù)生成器中獲得的一個批次的數(shù)據(jù))分割為較小的小型批次的數(shù)據(jù),然后將其發(fā)送到多個GPU進行并行計算。
在PyTorch中,數(shù)據(jù)并行中是使用torch.nn.DataParallel實現(xiàn)的
我們將看到一個簡單的例子來了解實際情況。為此,我們將必須使用nn.parallel的某些功能:
#將模塊復制到設備id中的設備 replicas = nn.parallel.replicate(module, device_ids) #將輸入分配到設備id中的設備 inputs = nn.parallel.scatter(input, device_ids) #將模型應用于相應的輸入 outputs = nn.parallel.parallel_apply(replicas, inputs) #收集所有設備的結果到output_device result = nn.parallel.gather(outputs, output_device)
或者,只需要簡單地:
model = nn.DataParallel(model, device_ids=device_ids) result = model(input)
訓練集數(shù)據(jù)+Val w/數(shù)據(jù)加載器+SSD中對真實數(shù)據(jù)的數(shù)據(jù)擴充
方式1*V100/CUDA 9/CuDNN 74*V100/CUDA 9/CuDNN 7Pytorch27分鐘10分鐘Keras(TF)38分鐘18分鐘Tensorflow33分鐘22分鐘Chainer29分鐘8分鐘MXNet(Gluon)29分鐘10分鐘
訓練集W/在內(nèi)存中的綜合數(shù)據(jù)
方式1*V100/CUDA 9/CuDnn 74*V100/CUDA 9 / CuDNN 7Pytorch25分鐘8分鐘Keras(TF)36分鐘15分鐘Tensorflow25分鐘14分鐘Chainer27分鐘7分鐘MxNet(Gluon)28分鐘8分鐘
現(xiàn)在,你可以清楚的看到,即使必須在開始和結束時與主設備進行通信,并行處理也絕對是有幫助的。并且僅在多GPU情況下,PyTorch比所有結果提供結果的時間更快僅僅略低于Chainer。Pytorch只需要通過對DataParallel的一次調(diào)用,就會使其變得簡單。
torch.multiprocessing是Python multiprocessing模塊的包裝,其API與原始模塊100%兼容。因此,你可以在此處使用Python的多處理模塊中的Queue',Pipe',Array'等。此外,為了使其更快,他們添加了一個方法,share_memory_()該方法允許數(shù)據(jù)進入一個狀態(tài),任何進程都可以直接使用它,因此將該數(shù)據(jù)作為參數(shù)傳遞給不同的進程將不會復制該數(shù)據(jù)。
你可以共享Tensors,模型的parameters,也可以根據(jù)需要在CPU或GPU上共享它們。
來自Pytorch的警告:(關于GPU上的共享) CUDA API要求導出到其他進程的分配只要在被其他進程使用時就保持有效。你應該小心并確保你共享的CUDA Tensors在必要時不會超出范圍。這對于共享模型參數(shù)應該不是問題,但是傳遞其他類型的數(shù)據(jù)時應格外小心。請注意,此限制不適用于共享CPU內(nèi)存。
你可以在此處的“池和進程”部分中使用上面的方法,并且要獲得更快的速度,可以使用share_memory_()方法Tensor在所有進程之間共享(例如)而不被復制。
# import torch.multiprocessing as mp def train(model): for data, labels in data_loader: optimizer.zero_grad() loss_fn(model(data), labels).backward() optimizer.step() # 這一步將更新共享參數(shù) model = nn.Sequential(nn.Linear(n_in, n_h1), nn.ReLU(), nn.Linear(n_h1, n_out)) model.share_memory() # 需要 'fork' 方法工作 processes = [] for i in range(4): # No. 的過程 p = mp.Process(target=train, args=(model,)) p.start() processes.append(p) for p in processes: p.join()
下一期我們繼續(xù)看加快Python計算的另一種方法——Numba~
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03