圖解Pandas透視表和交叉表

圖解Pandas透視表pivot_table

大家好,我是Peter呀~

終於開始Pandas進階內容的寫作了。相信很多人都應該知道透視表,在Excel會經常去製作它,來實現數據的分組彙總統計。在Pandas中,我們把它稱之爲pivot_table。

透視表的製作靈活性高,可以隨意定製我們想要的的計算統計要求,一般在製作報表神器的時候常用。

下面通過具體的例子來對比Excel和Pandas中透視表的實現方法。

Excel透視表

下面是在Excel表格中使用消費數據製作的透視表(部分數據截圖),我們統計的是不同性別不同日期下的消費金額和小費,同時還顯示了總計的數據。

那如果是使用pandas該如何來實現呢???

參數

pandas中實現透視表使用的是:pandas.pivot_table

pd.pivot_table(data,  # 製作透視表的數據
               values=None,  # 值
               index=None,  # 行索引
               columns=None,  # 列屬性
               aggfunc='mean',   # 使用的函數,默認是均值
               fill_value=None,  # 缺失值填充
               margins=False, # 是否顯示總計
               dropna=True,   # 缺失值處理
               margins_name='All', # 總計顯示爲All
               observed=False,  
               sort=True  # 排序功能  版本1.3.0纔有
              )

最重要的參數還是:values、index、columns、aggfunce,甚至包含margins、margins_name

附上官網學習地址:https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.pivot_table.html

透視表pivot_table

參數index

index表示的是我們生成透視表指定的行索引

1、單層索引

2、多層行索引

參數values

在上面index參數的使用中,我們沒有指定values參數,pandas會默認將全部的數值型數據進行透視表的計算,現在指定參數計算的數據:

  • 帶上values,只會顯示我們指定的數據
  • 不帶上values,數值型的數據彙總結果全部顯示

參數columns

columns是一個顯示列屬性信息的參數

如果我們將day放在index參數中,會是什麼樣子呢?

相當於是:將上面的寬表格式轉成了下面的長表格式

再對比下兩種不同的形式:

參數aggfunc

aggfunc是一個很靈活的參數,它是用來指定我們彙總想用哪種函數,默認是均值mean,我們也可以使用求和sum、最值max等。多個函數需要放在一個列表中。

我們將默認求平均mean的情況與求和的情況進行對比:

均值和sum求和之間的關係:

我們可以在aggfunc函數中指定多個函數,將這些函數放在同一個列表中:

  • 求和:np.sum
  • 求均值:mean
  • 求個數:size

再看一個例子:

參數margins、margins_name

這兩個參數的作用是對透視表中的分組數據進行彙總顯示。需要注意的是:只有margins=True,參數margins_name的設置纔會生效。

修改彙總顯示的名字:

如果有列字段,也會顯示彙總的數據:

交叉表crosstab()

交叉表可以理解成一種特殊的透視表,專門用於計算分組的頻率。

參數

交叉表中每個參數的解釋,很多還是和透視表相同的:

pandas.crosstab(index, # 行索引,必須是數組結構數據,或者Series,或者是二者的列表形式
                columns, # 列字段;數據要求同上
                values=None,  # 待透視的數據
                rownames=None,  # 行列名字
                colnames=None,  
                aggfunc=None,  # 透視的函數
                margins=False,  # 彙總及名稱設置
                margins_name='All', 
                dropna=True, # 捨棄缺失值
                normalize=False  # 數據歸一化;可以是布爾值、all、index、columns、或者{0,1}
               )

對最後一個參數的解釋:如何選擇歸一化的標準

  • If passed ‘all’ or True, will normalize over all values:使用all,對全部的數值型數據歸一化
  • If passed ‘index’ will normalize over each row:使用index,僅在行上歸一化
  • If passed ‘columns’ will normalize over each column:使用columns,僅在列上歸一化
  • If margins is True, will also normalize margin values:如果margins=True,總計值也會參與歸一化

參數使用

當然,有時候透視表和交叉表是可以實現相同的功能:

groupby實現

其實透視表或者交叉表的本質還是分組彙總統計結果,我們也可以利用groupby來實現:

1、先分組統計

2、軸旋轉unstack

上面的結果格式上不是很友好,使用的是多層次索引,我們使用軸旋轉函數unstack將行轉成列:

groupby和透視表比較

最後再用一個例子來比較下groupby和透視表:

備忘錄

這個網上非常流行的一張圖解Pandas透視表函數的圖形,它利用一份簡單的數據,清晰明瞭地講解了pivot_table函數的每個參數的含義,保存備用!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章