
相信接觸過Excel的小伙伴都知道,Excel有一個(gè)非常強(qiáng)大的功能“數(shù)據(jù)透視表”,使用數(shù)據(jù)透視表可以自由選擇不同字段,用不同的聚合函數(shù)進(jìn)行匯總,并建立交叉表格,用以從不同層面觀察數(shù)據(jù)。這么強(qiáng)大的功能,在Python中怎么去實(shí)現(xiàn)呢?
不用擔(dān)心,Python的"數(shù)據(jù)分析小能手"Pandas很貼心地為我們提供了一個(gè)快速實(shí)現(xiàn)數(shù)據(jù)透視表功能的方法——pivot_table()。事不宜遲,讓我們趕緊看看如何在Python中實(shí)現(xiàn)數(shù)據(jù)透視表!
為幫助大家更好地理解,在講解如何使用pivot_table( )實(shí)現(xiàn)透視表前,我們先導(dǎo)入示例數(shù)據(jù),在接下來的講解中都使用此數(shù)據(jù)作為例子。
# 導(dǎo)入示例數(shù)據(jù) <<< data =pd.read_csv("data.csv") <<< data.head() 月份 項(xiàng)目 部門 金額 剩余金額 0 1月 水費(fèi) 市場部 1962.37 8210.58 1 2月 水費(fèi) 市場部 690.69 9510.60 2 2月 電費(fèi) 市場部 2310.12 5384.92 3 2月 電費(fèi) 運(yùn)營部 -1962.37 7973.10 4 2月 電費(fèi) 開發(fā)部 1322.33 6572.16
下面我將帶大家使用pivot_table( )一步一步實(shí)現(xiàn)數(shù)據(jù)透視表的操作。
首先,原數(shù)據(jù)有5個(gè)字段,我們在做數(shù)據(jù)透視表之前必須理解每個(gè)字段的意思,明確清楚自己需要得到什么信息。
假設(shè)我們想看看不同月份所花費(fèi)的水電費(fèi)金額是多少,這時(shí)我們需要把字段“月份”設(shè)置為索引,將字段“金額”設(shè)置為我們需要看的值,具體代碼如下:
<<< data.pivot_table(index=['月份'],values=['金額']) 金額 月份 10月 3723.940000 11月 2900.151667 12月 10768.262857 1月 1962.370000 2月 1432.280000 3月 3212.106667 4月 4019.175000 5月 4051.480000 6月 6682.632500 7月 11336.463333 8月 17523.485000 9月 10431.960000
參數(shù)index為設(shè)置的索引列表,即分組依據(jù),需要用中括號[ ]將索引字段括起來;參數(shù)values為分組后進(jìn)行計(jì)算的字段列表,也需要用中括號[ ]括起來。這兩個(gè)參數(shù)的值可以是一個(gè)或多個(gè)字段,即按照多個(gè)字段進(jìn)行分組和對多個(gè)字段進(jìn)行計(jì)算匯總。例如,設(shè)置index=['項(xiàng)目','部門']代表求不同項(xiàng)目不同部門下的金額。
<<< data.pivot_table(index=['項(xiàng)目','部門'],values=['金額']) 金額 項(xiàng)目 部門 水費(fèi) 市場部 3614.318125 開發(fā)部 2358.205000 運(yùn)營部 5896.213333 電費(fèi) 市場部 6094.748235 開發(fā)部 1322.330000 運(yùn)營部 7288.615000 采暖費(fèi) 市場部 5068.380000 運(yùn)營部 55978.000000
若設(shè)置values=['金額','剩余金額'],即求不同項(xiàng)目不同部門下金額和剩余金額的值。
<<< data.pivot_table(index=['項(xiàng)目','部門'],values=['金額','剩余金額']) 剩余金額 金額 項(xiàng)目 部門 水費(fèi) 市場部 7478.423125 3614.318125 開發(fā)部 6866.490000 2358.205000 運(yùn)營部 7224.033333 5896.213333 電費(fèi) 市場部 7645.535882 6094.748235 開發(fā)部 6572.160000 1322.330000 運(yùn)營部 8821.895000 7288.615000 采暖費(fèi) 市場部 6572.030000 5068.380000 運(yùn)營部 7908.560000 55978.000000
同時(shí),如果我們想以交叉表的形式查看不同項(xiàng)目和不同部門下的消費(fèi)金額,這時(shí)就要將字段‘部門’設(shè)置為列名,進(jìn)行交叉查看,具體代碼如下:
<<< data.pivot_table(index=['項(xiàng)目'],columns=['部門'],values=['金額']) 金額 部門 市場部 開發(fā)部 運(yùn)營部 項(xiàng)目 水費(fèi) 3614.318125 2358.205 5896.213333 電費(fèi) 6094.748235 1322.330 7288.615000 采暖費(fèi) 5068.380000 NaN 55978.000000
通過上面的示例,我們可以看到某個(gè)分組下不存在記錄會(huì)被標(biāo)記為NAN,例如上述中采暖部和開發(fā)部不存在金額這一字段的記錄,則會(huì)標(biāo)記為NAN。如果不希望被標(biāo)記為NAN,我們可以通過設(shè)置參數(shù)fill_value=0來用數(shù)值0替代這部分的缺失值。
<<< data.pivot_table(index=['項(xiàng)目'],columns=['部門'],values=['金額'],fill_value=0) 金額 部門 市場部 開發(fā)部 運(yùn)營部 項(xiàng)目 水費(fèi) 3614.318125 2358.205 5896.213333 電費(fèi) 6094.748235 1322.330 7288.615000 采暖費(fèi) 5068.380000 0.000 55978.000000
在上面的示例中,我們都是默認(rèn)分組后對值進(jìn)行求平均值計(jì)算,假如我們想查看不同項(xiàng)目不同部門下金額的總和該怎么實(shí)現(xiàn)呢?
通過設(shè)置參數(shù)aggfunc=np.sum即可對分組后的值進(jìn)行求和操作,參數(shù)aggfunc代表分組后值的匯總方式,可傳入numpy庫中的聚合方法。
<<< data.pivot_table(index=['項(xiàng)目'],columns=['部門'],values=['金額'],fill_value=0,aggfunc=np.sum) 金額 部門 市場部 開發(fā)部 運(yùn)營部 項(xiàng)目 水費(fèi) 57829.09 4716.41 17688.64 電費(fèi) 103610.72 1322.33 29154.46 采暖費(fèi) 5068.38 0.00 55978.00
除了常見的求和、求平均值這兩種聚合方法,我們還可能接觸到以下這幾種:
描述方法標(biāo)準(zhǔn)差np.std()方差np.var()所有元素相乘np.prod()中數(shù)np.median()冪運(yùn)算np.power()開方np.sqrt()最小值np.min()最大值np.max()以e為底的指數(shù)np.exp(10)對數(shù)np.log(10)
與前面介紹的參數(shù)index,columns,value一樣,參數(shù)aggfunc傳入的值也是一個(gè)列表,表示可傳入一個(gè)或多個(gè)值。當(dāng)傳入多個(gè)值時(shí),表示對該值進(jìn)行多種匯總方式,例如同時(shí)求不同項(xiàng)目不同部門下金額的求和值和平均值:
<<< data.pivot_table(index=['項(xiàng)目'],columns=['部門'],values=['金額'],fill_value=0,aggfunc=[np.sum,np.max]) sum amax 金額 金額 部門 市場部 開發(fā)部 運(yùn)營部 市場部 開發(fā)部 運(yùn)營部 項(xiàng)目 水費(fèi) 57829.09 4716.41 17688.64 16807.58 2941.28 6273.56 電費(fèi) 103610.72 1322.33 29154.46 18239.39 1322.33 26266.60 采暖費(fèi) 5068.38 0.00 55978.00 5068.38 0.00 55978.00
同時(shí),如果我們想對不同字段進(jìn)行不同的匯總方式,可通過對參數(shù)aggfunc傳入字典來實(shí)現(xiàn),例如我們可以同時(shí)對不同項(xiàng)目不同部門下,對字段金額求總和值,對字段剩余金額求平均值:
<<< data.pivot_table(index=['項(xiàng)目'],columns=['部門'],values=['金額','剩余金額'],fill_value=0,aggfunc={'金額':np.sum,'剩余金額':np.max}) 剩余金額 金額 部門 市場部 開發(fā)部 運(yùn)營部 市場部 開發(fā)部 運(yùn)營部 項(xiàng)目 水費(fèi) 9510.60 8719.34 7810.38 57829.09 4716.41 17688.64 電費(fèi) 9625.27 6572.16 9938.82 103610.72 1322.33 29154.46 采暖費(fèi) 6572.03 0.00 7908.56 5068.38 0.00 55978.00
另外,在進(jìn)行以上功能的同時(shí),pivot_table還為我們提供了一個(gè)求所有行及所有列對應(yīng)合計(jì)值的參數(shù)margins,當(dāng)設(shè)置參數(shù)margins=True時(shí),會(huì)在輸出結(jié)果的最后添加一行'All',表示根據(jù)columns進(jìn)行分組后每一項(xiàng)的列總計(jì)值;以及在輸出結(jié)果的最后添加一列'All',表示根據(jù)index進(jìn)行分組后每一項(xiàng)的行總計(jì)值。
<<< pd.set_option('precision',0) <<< data.pivot_table(index=['項(xiàng)目'],columns=['部門'],values=['金額','剩余金額'],fill_value=0,aggfunc={'金額':np.sum,'剩余金額':np.max},margins=True) 剩余金額 金額 部門 市場部 開發(fā)部 運(yùn)營部 All 市場部 開發(fā)部 運(yùn)營部 All 項(xiàng)目 水費(fèi) 9511 8719 7810 9511 57829 4716 17689 80234 電費(fèi) 9625 6572 9939 9939 103611 1322 29154 134088 采暖費(fèi) 6572 0 7909 7909 5068 0 55978 61046 All 9625 8719 9939 9939 166508 6039 102821 275368
上面詳細(xì)介紹了如何在python中通過pivot_table( )方法實(shí)現(xiàn)數(shù)據(jù)透視表的功能,那么,與數(shù)據(jù)透視表原理相同,顯示方式不同的‘數(shù)據(jù)透視圖’又該怎么實(shí)現(xiàn)呢?
實(shí)現(xiàn)方法非常簡單,將上述進(jìn)行pivot_table操作后的對象進(jìn)行實(shí)例化,再對實(shí)例化后的對象進(jìn)行plot繪圖操作即可,具體代碼如下:
<<< df=data.pivot_table(index=['項(xiàng)目'],columns=['部門'],values='金額',fill_value=0) <<< df.plot(kind='bar')
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10