文章轉(zhuǎn)載自：微信公眾號(hào) Python的樂趣

作者：一粒米飯

比如像電商行業(yè)，每月有上百萬(wàn)條訂單發(fā)貨數(shù)據(jù)需要與倉(cāng)庫(kù)的數(shù)據(jù)進(jìn)行核對(duì)計(jì)算，涉及到數(shù)據(jù)計(jì)算，篩選，匹配等步驟，用excel表超級(jí)卡，并且經(jīng)?？ㄋ?。

這時(shí)如果你會(huì)Python，十幾行代碼就可以搞定。

這里需要兩個(gè)Python庫(kù)，一個(gè)是os庫(kù)，一個(gè)是pandas庫(kù)。

os庫(kù)

os是Python內(nèi)置庫(kù)，不需要額外安裝，只要用import導(dǎo)入就可以用了。os模塊封裝了常見的文件和目錄操作，利用它可以輕松的對(duì)系統(tǒng)上的目錄和文件進(jìn)行各種操作，比如獲取當(dāng)前目錄、列舉當(dāng)前文件夾中的所有文件和文件夾、判斷文件或目錄是否存在、刪除文件等，具體見下圖。

pandas庫(kù)

pandas是第三方庫(kù)，需要手動(dòng)安裝才能使用。pandas是專門用來(lái)做數(shù)據(jù)分析的強(qiáng)大類庫(kù)，可以方便地從csv、Excel和其他文本文件以及數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行加和、求平均值、求方差、計(jì)算最大值最小值等數(shù)據(jù)分析，支持生成Excel等格式文件或進(jìn)行可視化操作，函數(shù)如下：

其中讀Excel需要依賴xlrd庫(kù)，寫Excel依賴openpyxl，pandas、xlrd和openpyxl安裝命令如下：

$ pip install xlrd openpyxl pandas

下面開始進(jìn)行數(shù)據(jù)處理...

這里假設(shè)數(shù)據(jù)是按日期命名的Excel文件并且放在excel_data文件夾中,每個(gè)Excel文件包含用戶ID、商品ID、商品屬性列表、購(gòu)買數(shù)量這幾列信息。

文件夾中的所有文件如下，在linux下用ls命令列舉excel_data下所有文件：

$ ls excel_data

結(jié)果：

20120702.xlsx 20131018.xlsx 20150203.xlsx 20170416.xlsx
20120703.xlsx 20131019.xlsx 20150204.xlsx 20170417.xlsx
20120704.xlsx 20131020.xlsx 20150205.xlsx 20170418.xlsx
20120705.xlsx 20131021.xlsx 20160101.xlsx 20170419.xlsx
...

實(shí)現(xiàn)的思路是利用os庫(kù)獲取所有的Excel文件，然后用pandas依次讀取所有文件并合并到一起進(jìn)行數(shù)據(jù),計(jì)算出每個(gè)商品的總量以及銷量前十的商品。

1.列舉所有Excel文件

import os
files = os.listdir("excel_data")

2.用pandas讀取所有數(shù)據(jù)并合并到一起

import pandas as pd
df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files]
data = pd.concat(df_list)

3.統(tǒng)計(jì)每個(gè)商品的數(shù)量

sum_of_product = data[["商品ID", "購(gòu)買數(shù)量"]].groupby(["商品ID"]).sum()
sum_of_product

結(jié)果

購(gòu)買數(shù)量
商品ID	
1662	1
201826	17
203319	67
203320	494
203322	332
...	...

122680025	21
122680026	8
122690023	16
122692024	48
122696024	5

獲取銷量前十的商品

sum_of_product.sort_values('購(gòu)買數(shù)量', ascending=False).head(10)

結(jié)果：

商品ID	      購(gòu)買數(shù)量
50018831	56632
50007016	8291
50011993	6351
50013636	6340
50003700	6325
211122	5823
50010558	5248
50016006	4948
50006602	4692
50002524	4123

完整代碼如下：

import os
import pandas as pd

# 獲取所有Excel文件并讀取數(shù)據(jù)
files = os.listdir("excel_data")
df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files]
data = pd.concat(df_list)

# 統(tǒng)計(jì)每個(gè)商品的數(shù)量，并輸出到Excel文件中
sum_of_product = data[["商品ID", "購(gòu)買數(shù)量"]].groupby(["商品ID"]).sum()
sum_of_product.to_excel("各個(gè)商品數(shù)量統(tǒng)計(jì).xlsx")

# 統(tǒng)計(jì)銷量前十的商品
sum_of_product.sort_values('購(gòu)買數(shù)量', ascending=False).head(10)

結(jié)果：

商品ID	購(gòu)買數(shù)量
50018831	56632
50007016	8291
50011993	6351
50013636	6340
50003700	6325
211122	5823
50010558	5248
50016006	4948
50006602	4692
50002524	4123

教程就到這里，不足之處歡迎交流指正