2018-10-24
閱讀量:
927
pandas怎么讀取一個很大的文件?
如果一個文件很大很大,pandas如何讀取這個文件的數(shù)據(jù)?
處理很大的文件時,或找出大文件中的參數(shù)集以便于后續(xù)處理時,可以讀取文件一小部分或者逐塊對文件迭代讀取。
如果只想讀取幾行(避免讀取整個文件),通過nrows進行指定即可,語法如下:
import pandas as pd
pd.read_csv('some_file.csv',nrows=num) #num 是你要讀取多少行,some_file.csv你要讀取的文件
要逐塊讀取文件需要指定塊 chunksize的大小,單位為行。
chunkers = pd.read_csv('some_file.csv',chunksize=num)#num每塊多少行
返回的chunkers對象可以對其迭代,每次返回的就是一個chunksize行的整塊,如
for chunker in chunkers:
chunker #一塊一塊的讀取
這樣就可以用pandas處理大數(shù)據(jù)了






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
0條評論
0條評論