
相信接觸過Excel的小伙伴都知道,Excel有一個非常強大的功能“數(shù)據(jù)透視表”,使用數(shù)據(jù)透視表可以自由選擇不同字段,用不同的聚合函數(shù)進行匯總,并建立交叉表格,用以從不同層面觀察數(shù)據(jù)。這么強大的功能,在Python中怎么去實現(xiàn)呢?
不用擔(dān)心,Python的"數(shù)據(jù)分析小能手"Pandas很貼心地為我們提供了一個快速實現(xiàn)數(shù)據(jù)透視表功能的方法——pivot_table()。事不宜遲,讓我們趕緊看看如何在Python中實現(xiàn)數(shù)據(jù)透視表!
為幫助大家更好地理解,在講解如何使用pivot_table( )實現(xiàn)透視表前,我們先導(dǎo)入示例數(shù)據(jù),在接下來的講解中都使用此數(shù)據(jù)作為例子。
# 導(dǎo)入示例數(shù)據(jù) <<< data =pd.read_csv("data.csv") <<< data.head() 月份 項目 部門 金額 剩余金額 0 1月 水費 市場部 1962.37 8210.58 1 2月 水費 市場部 690.69 9510.60 2 2月 電費 市場部 2310.12 5384.92 3 2月 電費 運營部 -1962.37 7973.10 4 2月 電費 開發(fā)部 1322.33 6572.16
下面我將帶大家使用pivot_table( )一步一步實現(xiàn)數(shù)據(jù)透視表的操作。
首先,原數(shù)據(jù)有5個字段,我們在做數(shù)據(jù)透視表之前必須理解每個字段的意思,明確清楚自己需要得到什么信息。
假設(shè)我們想看看不同月份所花費的水電費金額是多少,這時我們需要把字段“月份”設(shè)置為索引,將字段“金額”設(shè)置為我們需要看的值,具體代碼如下:
<<< data.pivot_table(index=['月份'],values=['金額']) 金額 月份 10月 3723.940000 11月 2900.151667 12月 10768.262857 1月 1962.370000 2月 1432.280000 3月 3212.106667 4月 4019.175000 5月 4051.480000 6月 6682.632500 7月 11336.463333 8月 17523.485000 9月 10431.960000
參數(shù)index為設(shè)置的索引列表,即分組依據(jù),需要用中括號[ ]將索引字段括起來;參數(shù)values為分組后進行計算的字段列表,也需要用中括號[ ]括起來。這兩個參數(shù)的值可以是一個或多個字段,即按照多個字段進行分組和對多個字段進行計算匯總。例如,設(shè)置index=['項目','部門']代表求不同項目不同部門下的金額。
<<< data.pivot_table(index=['項目','部門'],values=['金額']) 金額 項目 部門 水費 市場部 3614.318125 開發(fā)部 2358.205000 運營部 5896.213333 電費 市場部 6094.748235 開發(fā)部 1322.330000 運營部 7288.615000 采暖費 市場部 5068.380000 運營部 55978.000000
若設(shè)置values=['金額','剩余金額'],即求不同項目不同部門下金額和剩余金額的值。
<<< data.pivot_table(index=['項目','部門'],values=['金額','剩余金額']) 剩余金額 金額 項目 部門 水費 市場部 7478.423125 3614.318125 開發(fā)部 6866.490000 2358.205000 運營部 7224.033333 5896.213333 電費 市場部 7645.535882 6094.748235 開發(fā)部 6572.160000 1322.330000 運營部 8821.895000 7288.615000 采暖費 市場部 6572.030000 5068.380000 運營部 7908.560000 55978.000000
同時,如果我們想以交叉表的形式查看不同項目和不同部門下的消費金額,這時就要將字段‘部門’設(shè)置為列名,進行交叉查看,具體代碼如下:
<<< data.pivot_table(index=['項目'],columns=['部門'],values=['金額']) 金額 部門 市場部 開發(fā)部 運營部 項目 水費 3614.318125 2358.205 5896.213333 電費 6094.748235 1322.330 7288.615000 采暖費 5068.380000 NaN 55978.000000
通過上面的示例,我們可以看到某個分組下不存在記錄會被標(biāo)記為NAN,例如上述中采暖部和開發(fā)部不存在金額這一字段的記錄,則會標(biāo)記為NAN。如果不希望被標(biāo)記為NAN,我們可以通過設(shè)置參數(shù)fill_value=0來用數(shù)值0替代這部分的缺失值。
<<< data.pivot_table(index=['項目'],columns=['部門'],values=['金額'],fill_value=0) 金額 部門 市場部 開發(fā)部 運營部 項目 水費 3614.318125 2358.205 5896.213333 電費 6094.748235 1322.330 7288.615000 采暖費 5068.380000 0.000 55978.000000
在上面的示例中,我們都是默認分組后對值進行求平均值計算,假如我們想查看不同項目不同部門下金額的總和該怎么實現(xiàn)呢?
通過設(shè)置參數(shù)aggfunc=np.sum即可對分組后的值進行求和操作,參數(shù)aggfunc代表分組后值的匯總方式,可傳入numpy庫中的聚合方法。
<<< data.pivot_table(index=['項目'],columns=['部門'],values=['金額'],fill_value=0,aggfunc=np.sum) 金額 部門 市場部 開發(fā)部 運營部 項目 水費 57829.09 4716.41 17688.64 電費 103610.72 1322.33 29154.46 采暖費 5068.38 0.00 55978.00
除了常見的求和、求平均值這兩種聚合方法,我們還可能接觸到以下這幾種:
描述方法標(biāo)準(zhǔn)差np.std()方差np.var()所有元素相乘np.prod()中數(shù)np.median()冪運算np.power()開方np.sqrt()最小值np.min()最大值np.max()以e為底的指數(shù)np.exp(10)對數(shù)np.log(10)
與前面介紹的參數(shù)index,columns,value一樣,參數(shù)aggfunc傳入的值也是一個列表,表示可傳入一個或多個值。當(dāng)傳入多個值時,表示對該值進行多種匯總方式,例如同時求不同項目不同部門下金額的求和值和平均值:
<<< data.pivot_table(index=['項目'],columns=['部門'],values=['金額'],fill_value=0,aggfunc=[np.sum,np.max]) sum amax 金額 金額 部門 市場部 開發(fā)部 運營部 市場部 開發(fā)部 運營部 項目 水費 57829.09 4716.41 17688.64 16807.58 2941.28 6273.56 電費 103610.72 1322.33 29154.46 18239.39 1322.33 26266.60 采暖費 5068.38 0.00 55978.00 5068.38 0.00 55978.00
同時,如果我們想對不同字段進行不同的匯總方式,可通過對參數(shù)aggfunc傳入字典來實現(xiàn),例如我們可以同時對不同項目不同部門下,對字段金額求總和值,對字段剩余金額求平均值:
<<< data.pivot_table(index=['項目'],columns=['部門'],values=['金額','剩余金額'],fill_value=0,aggfunc={'金額':np.sum,'剩余金額':np.max}) 剩余金額 金額 部門 市場部 開發(fā)部 運營部 市場部 開發(fā)部 運營部 項目 水費 9510.60 8719.34 7810.38 57829.09 4716.41 17688.64 電費 9625.27 6572.16 9938.82 103610.72 1322.33 29154.46 采暖費 6572.03 0.00 7908.56 5068.38 0.00 55978.00
另外,在進行以上功能的同時,pivot_table還為我們提供了一個求所有行及所有列對應(yīng)合計值的參數(shù)margins,當(dāng)設(shè)置參數(shù)margins=True時,會在輸出結(jié)果的最后添加一行'All',表示根據(jù)columns進行分組后每一項的列總計值;以及在輸出結(jié)果的最后添加一列'All',表示根據(jù)index進行分組后每一項的行總計值。
<<< pd.set_option('precision',0) <<< data.pivot_table(index=['項目'],columns=['部門'],values=['金額','剩余金額'],fill_value=0,aggfunc={'金額':np.sum,'剩余金額':np.max},margins=True) 剩余金額 金額 部門 市場部 開發(fā)部 運營部 All 市場部 開發(fā)部 運營部 All 項目 水費 9511 8719 7810 9511 57829 4716 17689 80234 電費 9625 6572 9939 9939 103611 1322 29154 134088 采暖費 6572 0 7909 7909 5068 0 55978 61046 All 9625 8719 9939 9939 166508 6039 102821 275368
上面詳細介紹了如何在python中通過pivot_table( )方法實現(xiàn)數(shù)據(jù)透視表的功能,那么,與數(shù)據(jù)透視表原理相同,顯示方式不同的‘數(shù)據(jù)透視圖’又該怎么實現(xiàn)呢?
實現(xiàn)方法非常簡單,將上述進行pivot_table操作后的對象進行實例化,再對實例化后的對象進行plot繪圖操作即可,具體代碼如下:
<<< df=data.pivot_table(index=['項目'],columns=['部門'],values='金額',fill_value=0) <<< df.plot(kind='bar')
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03