python--pandas分組聚合

groupby 方法是pandas中的分組方法，對(duì)數(shù)據(jù)框采用 groupby 方法后，返回的是 DataFrameGroupBy 對(duì)象，一般分組操作后會(huì)進(jìn)行聚合操作。

創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括織金網(wǎng)站建設(shè)、織金網(wǎng)站制作、織金網(wǎng)頁制作以及織金網(wǎng)絡(luò)營(yíng)銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，織金網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到織金省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

對(duì)數(shù)據(jù)框按 A 列進(jìn)行分組，產(chǎn)生分組數(shù)據(jù)框。分組數(shù)據(jù)框是可迭代對(duì)象，可以進(jìn)行循環(huán)遍歷，可以看出在循環(huán)中，每個(gè)元素的類型是元組，

元組的第一個(gè)元素是分組值，第二個(gè)元素是對(duì)應(yīng)的分組數(shù)據(jù)框。

可以對(duì)分組后的數(shù)據(jù)框直接使用聚合方法 agg ，對(duì)分組數(shù)據(jù)框的每一列計(jì)算統(tǒng)計(jì)函數(shù)值。

可以根據(jù)數(shù)據(jù)框外的序列數(shù)據(jù)對(duì)數(shù)據(jù)框進(jìn)行分組，需要注意 序列長(zhǎng)度需要與數(shù)據(jù)框行數(shù)相同 。

可以根據(jù)數(shù)據(jù)框的多列對(duì)數(shù)據(jù)框進(jìn)行分組。

根據(jù) A , B 列進(jìn)行分組，然后求和。

可以根據(jù)索引對(duì)數(shù)據(jù)框進(jìn)行分組，需要設(shè)置 level 參數(shù)。

數(shù)據(jù)框只有一層索引，設(shè)置參數(shù) level=0 。

當(dāng)數(shù)據(jù)框索引有多層時(shí)，也可以根據(jù)需求設(shè)置 level 參數(shù)，完成分組聚合。

設(shè)置 level 參數(shù)，如需要根據(jù)第一層索引，即 id1 進(jìn)行分組，可以設(shè)置 level=0 或 level='id1' 完成分組聚合。

分組后一般會(huì)進(jìn)行聚合操作，用 agg 方法進(jìn)行聚合。

對(duì)分組后數(shù)據(jù)框使用單個(gè)函數(shù)進(jìn)行聚合，單個(gè)聚合函數(shù)會(huì)對(duì)每列進(jìn)行計(jì)算，然后合并返回。聚合函數(shù)以字符串的形式傳入。

可以對(duì)分組后的數(shù)據(jù)指定列進(jìn)行分組聚合。需要注意 子列需要用[]包裹 。

聚合函數(shù)也可以傳入自定義的匿名函數(shù)。

聚合函數(shù)可以是多個(gè)函數(shù)。聚合時(shí)，多個(gè)聚合函數(shù)會(huì)對(duì)每列進(jìn)行計(jì)算，然后合并返回。聚合函數(shù)以列表的形式傳入。

聚合返回后的數(shù)據(jù)列名有兩層索引，第一層是聚合的列名，第二層是使用的聚合函數(shù)名。如果需要對(duì)返回的聚合函數(shù)名重命名，

需要在傳參時(shí)，傳入元組，第一個(gè)元素為聚合函數(shù)名，第二個(gè)元素為聚合函數(shù)。

同樣，也可以傳入匿名函數(shù)。

如果需要對(duì)不同的列進(jìn)行不同的聚合計(jì)算，則需要傳入字典的形式。

可以重命名聚合后的列名，注意 只能對(duì)一列傳入一個(gè)聚合函數(shù)時(shí)有效 。

python可以做數(shù)據(jù)分析，好處是什么呢？怎么學(xué)習(xí)？

鏈接：

提取碼：7234

煉數(shù)成金:Python數(shù)據(jù)分析。Python是一種面向?qū)ο?、直譯式計(jì)算機(jī)程序設(shè)計(jì)語言。也是一種功能強(qiáng)大而完善的通用型語言，已經(jīng)具有十多年的發(fā)展歷史，成熟且穩(wěn)定。Python 具有腳本語言中最豐富和強(qiáng)大的類庫，足以支持絕大多數(shù)日常應(yīng)用。 Python語法簡(jiǎn)捷而清晰，具有豐富和強(qiáng)大的類庫。它常被昵稱為膠水語言，它能夠很輕松的把用其他語言制作的各種模塊（尤其是C/C++）輕松地聯(lián)結(jié)在一起。

課程將從Python的基本使用方法開始，一步步講解，從ETL到各種數(shù)據(jù)分析方法的使用，并結(jié)合實(shí)例，讓學(xué)員能從中借鑒學(xué)習(xí)。

課程目錄：

Python基礎(chǔ)

Python的概覽——Python的基本介紹、安裝與基本語法、變量類型與運(yùn)算符

了解Python流程控制——條件、循環(huán)語句與其他語句

常用函數(shù)——函數(shù)的定義與使用方法、主要內(nèi)置函數(shù)的介紹

.....

Python氣象數(shù)據(jù)處理進(jìn)階之Xarray(5)：數(shù)據(jù)整合（分組，合并...）

這部分同pandas的gorupby函數(shù)基本相同，實(shí)現(xiàn)對(duì)數(shù)據(jù)的分組歸類等等。

split·將數(shù)據(jù)分為多個(gè)獨(dú)立的組。

apply·對(duì)各個(gè)組進(jìn)行操作。

combine·將各個(gè)組合并為一個(gè)數(shù)據(jù)對(duì)象。

創(chuàng)建一個(gè)dataset

我對(duì)官網(wǎng)的例子加以修改以便更好的理解。

解釋下數(shù)據(jù)結(jié)構(gòu)，創(chuàng)建了一個(gè)二維數(shù)據(jù)u(lat, lon)，坐標(biāo)數(shù)據(jù)為latitude 和country ，強(qiáng)調(diào)一下這里創(chuàng)建的是dataset,而不是dataArray，分不清的可以再看看本系列的第一篇文章。坐標(biāo)數(shù)據(jù)不等于u的坐標(biāo)。創(chuàng)建coords部分都指明了latitude 和 country 都是針對(duì)lat的擴(kuò)展。

我們可以這樣理解，對(duì)于緯度的分類，我們可以按緯度的大小分，也就是"latitude": [10, 20, 30, 40] ； 我們也可以對(duì)緯度所在的國(guó)家分，"country": ("x", list("abba") ，那比如我們想求某個(gè)國(guó)家的數(shù)據(jù)的平均時(shí)就十分方便。

下邊我們進(jìn)行分組：

說明第0和第4個(gè)數(shù)是國(guó)家a的，第2和第3是國(guó)家b的。

.groups換成.mean() 則就是對(duì)分組求平均，以此類推。

必須添加一個(gè)list才可以將其分類結(jié)果打印出來。直接打印DatasetGroupBy object是不能輸出結(jié)果的。

那么針對(duì)經(jīng)緯度的坐標(biāo)的分組怎么實(shí)現(xiàn)呢，比如說選出區(qū)間在多少到多少之間的？

.groupby_bins() 函數(shù)可以解決這一問題。

還是這個(gè)數(shù)據(jù)，"latitude": [10, 20, 30, 40]

那我們想以25為界，分為兩組，0-25，25-50

在進(jìn)行了分組后，要對(duì)各個(gè)分組進(jìn)行計(jì)算。

我們先從dataset 中取出 u 這個(gè)dataarray

比如是實(shí)現(xiàn)前邊提到的按國(guó)家進(jìn)行數(shù)據(jù)平均,或者標(biāo)準(zhǔn)化

也可以通過map()函數(shù)使用一些自定義的函數(shù)，比如說標(biāo)準(zhǔn)化，

這個(gè)用法是官方提供的，但是我的Xarray版本過低，還不支持這種用法(Xarray會(huì)定期更新，以至于可能我介紹過的一些方法有了更簡(jiǎn)便的操作，大家可以在評(píng)論區(qū)留言)。

強(qiáng)調(diào)一句，Xarray官方的更新是比較快的，很可能我寫在這里的函數(shù)官方又給出了更新的版本，但是我沒辦法做到時(shí)刻與官方最新同步，所以如果遇到問題，最好的解決辦法還是去查閱官方文檔的對(duì)應(yīng)部分。

Python 數(shù)據(jù)處理（三十九）—— groupby（過濾）

filter 方法可以返回原始對(duì)象的子集.

例如，我們想提取分組內(nèi)的和大于 3 的所有分組的元素

filter 的參數(shù)必須是一個(gè)函數(shù)，函數(shù)參數(shù)是每個(gè)分組，并且返回 True 或 False

例如，提取元素個(gè)數(shù)大于 2 的分組

另外，我們也可以過濾掉不滿足條件的組，而是返回一個(gè)類似索引對(duì)象。在這個(gè)對(duì)象中，沒有通過的分組的元素被 NaN 填充

對(duì)于具有多列的 DataFrames ，過濾器應(yīng)明確指定一列作為過濾條件

在進(jìn)行聚合或轉(zhuǎn)換時(shí)，你可能想對(duì)每個(gè)分組調(diào)用一個(gè)實(shí)例方法，例如

但是，如果需要傳遞額外的參數(shù)時(shí)，它會(huì)變得很冗長(zhǎng)。我們可以直接使用分派到組對(duì)象上的方法

實(shí)際上這生成了一個(gè)函數(shù)包裝器，在調(diào)用時(shí)，它接受所有傳遞的參數(shù)，并在每個(gè)分組上進(jìn)行調(diào)用。

然后，這個(gè)結(jié)果可以和 agg 和 transform 結(jié)合在一起使用

在上面的例子中，我們按照年份分組，然后對(duì)每個(gè)分組中使用 fillna 補(bǔ)缺失值

nlargest 和 nsmallest 可以在 Series 類型的 groupby 上使用

對(duì)分組數(shù)據(jù)的某些操作可能并不適合聚合或轉(zhuǎn)換。或者說，你可能只是想讓 GroupBy 來推斷如何合并結(jié)果

我們可以使用 apply 函數(shù)，例如

改變返回結(jié)果的維度

在 Series 上使用 apply 類似

對(duì)于之前的示例數(shù)據(jù)

假設(shè)，我們想按 A 分組并計(jì)算組內(nèi)的標(biāo)準(zhǔn)差，但是 B 列的數(shù)據(jù)我們并不關(guān)心。

如果我們的函數(shù)不能應(yīng)用于某些列，則會(huì)隱式的刪除這些列，所以

直接計(jì)算標(biāo)準(zhǔn)差并不會(huì)報(bào)錯(cuò)

可以使用分類變量進(jìn)行分組，分組的順序會(huì)按照分類變量的順序

可以使用 pd.Grouper 控制分組，對(duì)于如下數(shù)據(jù)

可以按照一定的頻率對(duì)特定列進(jìn)行分組，就像重抽樣一樣

可以分別對(duì)列或索引進(jìn)行分組

類似于 Series 和 DataFrame ，可以使用 head 和 tail 獲取分組前后幾行

在 Series 或 DataFrame 中可以使用 nth() 來獲取第 n 個(gè)元素，也可以用于獲取每個(gè)分組的某一行

如果你要選擇非空項(xiàng)，可以使用關(guān)鍵字參數(shù) dropna ，如果是 DataFrame ，需要指定為 any 或 all (類似于 DataFrame.dropna(how='any|all') )

與其他方法一樣，使用 as_index=False 分組名將不會(huì)作為索引

你也可以傳入一個(gè)整數(shù)列表，一次性選取多行

使用 cumcount 方法，可以查看每行在分組中出現(xiàn)的順序

可以使用 ngroup() 查看分組的順序，該順序與 cumcount 的順序相反。

注意 ：該順序與迭代時(shí)的分組順序一樣，并不是第一次觀測(cè)到的順序

Python分組

前言分組原理

核心：

1.不論分組鍵是數(shù)組、列表、字典、Series、函數(shù)，只要其與待分組變量的軸長(zhǎng)度一致都可以傳入groupby進(jìn)行分組。

2.默認(rèn)axis=0按行分組，可指定axis=1對(duì)列分組。

對(duì)數(shù)據(jù)進(jìn)行分組操作的過程可以概括為：split-apply-combine三步：

1.按照鍵值（key）或者分組變量將數(shù)據(jù)分組。

2.對(duì)于每組應(yīng)用我們的函數(shù)，這一步非常靈活，可以是python自帶函數(shù)，可以是我們自己編寫的函數(shù)。

3.將函數(shù)計(jì)算后的結(jié)果聚合。

1 分組模式及其對(duì)象

1.1 分組的一般模式

三個(gè)要素:分組依據(jù)、數(shù)據(jù)來源、操作及其返回結(jié)果

df.groupby(分組依據(jù))[數(shù)據(jù)來源].使用操作

1.2 分組依據(jù)的本質(zhì)

1.3Groupby 對(duì)象

通過 ngroups 屬性，可以訪問分為了多少組:

通過 groups 屬性，可以返回從 組名映射到 組索引列表的字典:

當(dāng) size 作為 DataFrame 的屬性時(shí)，返回的是表長(zhǎng)乘以表寬的大小，但在 groupby 對(duì)象上表示統(tǒng)計(jì)每個(gè)組的 元素個(gè)數(shù):

通過 get_group 方法可以直接獲取所在組對(duì)應(yīng)的行，此時(shí)必須知道組的具體名字:

1.4 分組的三大操作

分組的三大操作:聚合、變換和過濾

2.聚合函數(shù)

2.1內(nèi)置聚合函數(shù)

包括如下函數(shù): max/min/mean/median/count/all/any/idxmax/idxmin/mad/nunique/skew/quantile/sum/std/var/sem/size/prod

2.2agg 方法

【a】使用多個(gè)函數(shù)

當(dāng)使用多個(gè)聚合函數(shù)時(shí)，需要用列表的形式把內(nèi)置聚合函數(shù)的對(duì)應(yīng)的字符串傳入，先前提到的所有字符串都是合法的。

【b】對(duì)特定的列使用特定的聚合函數(shù)

對(duì)于方法和列的特殊對(duì)應(yīng)，可以通過構(gòu)造字典傳入 agg 中實(shí)現(xiàn)，其中字典以列名為鍵，以聚合字符串或字符串列表為值。

【c】使用自定義函數(shù)

在 agg 中可以使用具體的自定義函數(shù)，需要注意傳入函數(shù)的參數(shù)是之前數(shù)據(jù)源中的列，逐列進(jìn)行計(jì)算

【d】聚合結(jié)果重命名 如果想要對(duì)結(jié)果進(jìn)行重命名，只需要將上述函數(shù)的位置改寫成元組，元組的第一個(gè)元素為新的名字，第二個(gè)位置為原來的函數(shù)，包括聚合字符串和自定義函數(shù)

3 變換和過濾

3.1 變換函數(shù)與 transform 方法

變 換 函 數(shù) 的 返 回 值 為 同 長(zhǎng) 度 的 序 列， 最 常 用 的 內(nèi) 置 變 換 函 數(shù) 是 累 計(jì) 函 數(shù):cum- count/cumsum/cumprod/cummax/cummin ，它們的使用方式和聚合函數(shù)類似，只不過完成的是組內(nèi) 累計(jì)操作。

3.2 組索引與過濾

過濾在分組中是對(duì)于組的過濾，而索引是對(duì)于行的過濾

組過濾作為行過濾的推廣，指的是如果對(duì)一個(gè)組的全體所在行進(jìn)行統(tǒng)計(jì)的結(jié)果返回 True 則會(huì)被保留，F(xiàn)alse 則該組會(huì)被過濾，最后把所有未被過濾的組其對(duì)應(yīng)的所在行拼接起來作為 DataFrame 返回。

在 groupby 對(duì)象中，定義了 filter 方法進(jìn)行組的篩選，其中自定義函數(shù)的輸入?yún)?shù)為數(shù)據(jù)源構(gòu)成的 DataFrame 本身，在之前例子中定義的 groupby 對(duì)象中，傳入的就是 df[['Height', 'Weight']] ，因此所有表方法和屬性 都可以在自定義函數(shù)中相應(yīng)地使用，同時(shí)只需保證自定義函數(shù)的返回為布爾值即可。

4 跨列分組

4.1 apply 的引入

4.2 apply 的使用

在設(shè)計(jì)上，apply 的自定義函數(shù)傳入?yún)?shù)與 filter 完全一致，只不過后者只允許返回布爾值

【a】標(biāo)量情況:結(jié)果得到的是 Series ，索引與 agg 的結(jié)果一致

【b】Series 情況:得到的是 DataFrame ，行索引與標(biāo)量情況一致，列索引為 Series 的索引

【c】DataFrame 情況:得到的是 DataFrame ，行索引最內(nèi)層在每個(gè)組原先 agg 的結(jié)果索引上，再加一層返 回的 DataFrame 行索引，同時(shí)分組結(jié)果 DataFrame 的列索引和返回的 DataFrame 列索引一致

網(wǎng)頁標(biāo)題：python數(shù)據(jù)分組函數(shù) python數(shù)據(jù)分組統(tǒng)計(jì)
瀏覽地址：http://www.rwnh.cn/article16/dodoidg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、面包屑導(dǎo)航、網(wǎng)站設(shè)計(jì)公司、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)