python聚合函数详解 python聚合函数有哪些

数据蛙-Python进阶

这是漫长的一周，本周完成了Python的进阶模块，主要是pandas、numpy、matplotlib、seaborn、pyecharts这些模块的学习以及一个实际的案例python聚合函数详解：商品销售情况分析，之前一直觉得课程难度不够，但到这一周难度就大大提高了。尤其是案例练习中的RFM模型和用户生命周期建立，看懂不难但是自己写一直出错，在不断出错不断尝试中知识得到了积累，另外可视化部分没有什么练习题，希望后面可以加上一些这方面的练习，接下来分模块来总结一下学习的内容。

重新设置索引python聚合函数详解：df.set_index()

Series格式转换为DataFrame：df.to_frame()

文件读取：pd.read_csv(filepath, header = 0,skiprows=[1,2]) 

使用位置做索引：df.loc[0]        使用列表做索引：df.loc[[0,1,2]]

使用切片做索引：df.loc[0:4]        使用bool类型索引：df[df['年龄']30]

loc 是基于索引值的，切片是左闭右闭的

iloc 是基于位置的，切片是左闭右开的

修改列索引：df.rename(columns={'姓名':'name', '年龄':'age'},inplace=True)

替换一个值：df.replace({'name':{'小明':'xiaoming'}},inplace=True)

对数据进行排序：df.sort_values('age')

累加求和：df.cumsum(0)

删除列：del df['player']         删除行：df.drop(labels=0) labels 是行列的名字

数据拼接：pd.concat([left,right],axis=1)

# 指定列进行关联，默认是 inner join     result = pd.merge(left,right,on='key')

#多个关联条件：result = pd.merge(left, right, on=['key1', 'key2'])

#左连接：result = pd.merge(left, right, how='left', on=['key1', 'key2'])

# 列名不一样的关联：pd.merge(left,right,left_on = ['key1','key2'],right_on = ['key3','key4'])

#单个分组：groups = df.groupby('district')

# 作用多个聚合函数：groups.agg([np.mean,np.sum,np.std])

# 针对具体列聚合 groups.age.agg([np.mean,np.sum,np.std])

# 不同列不同聚合函数 groups.agg({"age":np.mean,"novip_buy_times":np.sum})

分组后该列值求和显示：groups['vip_buy_times'].transform('sum')

通常用于求占比：transform(lambda x: x /sum(x))

# 填充指定值：np.full([3,4],1)

# 起始为10，5为步长，30为结尾取不到：np.arange(10, 30, 5)

#随机矩阵：np.random.random((2,3))

# 平均划分：np.linspace( 0, 2*pi, 100 )

# 类型及转换：vector.astype('float')

# 多维变一维：matrix.ravel()

# 矩阵的扩展：a = np.arange(0, 40, 10)    b = np.tile(a, (3, 5))    # 行变成3倍，列变成5倍

# 水平拼接：np.hstack((a,b))  竖直拼接：np.vstack((a,b))

# 竖直分割：np.hsplit(a,3)    #水平分割：np.vsplit(a,3)

8. Select the data in rows [3, 4, 8] and in columns ['animal', 'age'].

A：df.loc[df.index[[3,4,8]],['animal','age']]

行采用位置，列采用普通索引，这里利用index函数将位置变化为具体的普通索引，再利用loc函数

19. The 'priority' column contains the values 'yes' and 'no'. Replace this column with a column of boolean values: 'yes' should be True and 'no' should be False

A1：df['priority'].replace(['yes','no'],[True,False],inplace=True) 用replace函数替换

A2：df['priority'] = df['priority'].map({'yes': True, 'no': False}) 用map函数替换

最大最小值的索引：df.idxmax、df.idxmin

找出最大最小的前N个数：nlargest()和nsmallest() 

将原表分组 并设置分段区间 pd.cut(df['A'], np.arange(0, 101, 10))

resample函数 日期重采样：s.resample('M').mean()

TimeGrouper 重组：s.groupby(pd.TimeGrouper('4M')).idxmax()

split 分割函数：temp = df['From_To'].str.split('_', expand=True) True为DataFrame

两个DataFrame拼接用join：df = df.join(temp)

import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签

plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

%matplotlib inline 直接显示

折线图：plt.plot(x,y,color = 'r')

柱状图：plt.bar(x,y)  plt.barh(x,y) 多个bar x设置不同 堆积图 bottom设置不同

散点图：plt.scatter(x, y, c=colors, alpha=0.5, s = area)

直方图：plt.hist(a,bins= 20) bin代表分隔的最小单位

plt.legend() 显示图例

for a,b in zip(X+W[i],data[i]):

    plt.text(a,b,"%.0f"% b,ha="center",va= "bottom") 添加数据标签

plt.annotate('注释文本',xy=(1, np.sin(1)),xytext=(2, 0.5), fontsize=16,arrowprops=dict(arrowstyle="-")) 添加注释文本

plt.xlabel("Group") x轴标题

plt.ylabel("Num") y轴标题

fig, axes = plt.subplots(nrows=2, ncols=2,facecolor='darkslategray')  绘制多个图形

axes[0,0] axes[0,1] axes[1,0] axes[1,1]

pylab.rcParams['figure.figsize'] = (10, 6) # 调整图片大小

动态展示图表

from pyecharts.charts import Bar

from pyecharts import options as opts

** pyecharts 绘图的五个步骤：**

创建图形对象：bar = Bar()

添加绘图数据：bar.add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])

                         bar.add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])

                         bar.add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])

配置系列参数：对标签、线型等的一些设置

配置全局参数：bar.set_global_opts(title_opts=opts.TitleOpts(title="销售情况"))

渲染图片：生成本地 HTML 文件 bar.render("mycharts.html")  bar.render()

notebook 渲染：bar.render_notebook()

bar = (Bar()

    .add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])

    .add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])

    .add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])

    .set_global_opts(title_opts=opts.TitleOpts(title="某商场销售情况"))

)

bar.render_notebook()

柱状图：Bar()

条形图：bar.reversal_axis() #翻转XY轴，将柱状图转换为条形图

折线图：from pyecharts.charts import Line  line=Line()

饼图：from pyecharts.charts import Page, Pie    Pie() 

转换日期类型：df['order_dt']=pd. to_datetime (df.order_dt,format="%Y%m%d")

将日期转换为月为单位：df['month']=df.order_dt.values. astype('datetime64[M]') 所有日期显示为当月第一天

去除日期单元值：order_diff/ np.timedelta64(1,'D')

过滤部分极值：grouped_user.sum() .query('order_products100') .order_amount

数据透视表：rfm=df.pivot_table( index ='user_id', values =['order_products','order_amount'], aggfunc ={'order_amount':'sum','order_products':'sum'})

map() 方法是pandas.series.map()方法, 对DF中的元素级别的操作, 可以对df的某列或某多列

applymap(func) 也是DF的属性, 对整个DF所有元素应用func操作

purchase_r=pivoted_counts.applymap(lambda x: 1 if x1 else np.NaN if x==0 else 0)

apply(func) 是DF的属性, 对DF中的行数据或列数据应用func操作,也可用于Series

apply(lambda x:x.cumsum()/x.sum())    累计占比

apply(lambda x:x/x.sum(),axis=0)     每一列中每行数据占比

下周开始进入数据分析思维的课程，很期待后面的课程以及项目，加油！

相关问答

Q1: python(pandas模块)？

1.什么是pandas? numpy模块和pandas模块都是用于处理数据的模块。 numpy主要用于针对数组进行统计计算,处理数字数据比较方便。 pandas除了可以处理数字数据,还可...

Q2: 68 个 Python 内置函数详解

内置函数就是Python给你提供的，拿来直接用的函数，比如print.，input等。

截止到python版本3.6.2 ，python一共提供了68个内置函数，具体如下

本文将这68个内置函数综合整理为12大类，正在学习Python基础的读者一定不要错过，建议收藏学习！

（1）列表和元组

（2）相关内置函数

（3）字符串

frozenset 创建一个冻结的集合，冻结的集合不能进行添加和删除操作。

语法：sorted(Iterable, key=函数(排序规则), reverse=False)

语法：fiter(function. Iterable)

function: 用来筛选的函数. 在filter中会自动的把iterable中的元素传递给function. 然后根据function返回的True或者False来判断是否保留留此项数据 , Iterable: 可迭代对象

搜索公众号顶级架构师后台回复“面试”，送你一份惊喜礼包。

语法 : map(function, iterable)

可以对可迭代对象中的每一个元素进行映射. 分别去执行 function

hash : 获取到对象的哈希值(int, str, bool, tuple). hash算法:(1) 目的是唯一性 (2) dict 查找效率非常高, hash表.用空间换的时间 比较耗费内存

Q3: 利用Python进行数据分析(9)-重采样resample和频率转换

Python-for-data-重新采样和频率转换

重新采样指的是将时间序列从一个频率转换到另一个频率的过程。

但是也并不是所有的采样方式都是属于上面的两种

pandas中使用resample方法来实现频率转换，下面是resample方法的参数详解：

将数据聚合到一个规则的低频上，例如将时间转换为每个月，"M"或者"BM"，将数据分成一个月的时间间隔。

每个间隔是半闭合的，一个数据只能属于一个时间间隔。时间间隔的并集必须是整个时间帧

默认情况下，左箱体边界是包含的。00:00的值是00：00到00：05间隔内的值

产生的时间序列按照每个箱体左边的时间戳被标记。

传递span class="mark"label="right"/span可以使用右箱体边界标记时间序列

向loffset参数传递字符串或者日期偏置

在金融数据中，为每个数据桶计算4个值是常见的问题：

通过span class="girk"ohlc聚合函数/span能够得到四种聚合值列的DF数据

低频转到高频的时候会形成缺失值

ffill() ：使用前面的值填充， limit 限制填充的次数

Q4: python--pandas分组聚合

groupby 方法是pandas中的分组方法，对数据框采用 groupby 方法后，返回的是 DataFrameGroupBy 对象，一般分组操作后会进行聚合操作。

对数据框按 A 列进行分组，产生分组数据框。分组数据框是可迭代对象，可以进行循环遍历，可以看出在循环中，每个元素的类型是元组，

元组的第一个元素是分组值，第二个元素是对应的分组数据框。

可以对分组后的数据框直接使用聚合方法 agg ，对分组数据框的每一列计算统计函数值。

可以根据数据框外的序列数据对数据框进行分组，需要注意 序列长度需要与数据框行数相同 。

可以根据数据框的多列对数据框进行分组。

根据 A , B 列进行分组，然后求和。

可以根据索引对数据框进行分组，需要设置 level 参数。

数据框只有一层索引，设置参数 level=0 。

当数据框索引有多层时，也可以根据需求设置 level 参数，完成分组聚合。

设置 level 参数，如需要根据第一层索引，即 id1 进行分组，可以设置 level=0 或 level='id1' 完成分组聚合。

分组后一般会进行聚合操作，用 agg 方法进行聚合。

对分组后数据框使用单个函数进行聚合，单个聚合函数会对每列进行计算，然后合并返回。聚合函数以字符串的形式传入。

可以对分组后的数据指定列进行分组聚合。需要注意 子列需要用[]包裹 。

聚合函数也可以传入自定义的匿名函数。

聚合函数可以是多个函数。聚合时，多个聚合函数会对每列进行计算，然后合并返回。聚合函数以列表的形式传入。

聚合返回后的数据列名有两层索引，第一层是聚合的列名，第二层是使用的聚合函数名。如果需要对返回的聚合函数名重命名，

需要在传参时，传入元组，第一个元素为聚合函数名，第二个元素为聚合函数。

同样，也可以传入匿名函数。

如果需要对不同的列进行不同的聚合计算，则需要传入字典的形式。

可以重命名聚合后的列名，注意 只能对一列传入一个聚合函数时有效 。

Q5: Python聚合函数使用

#encoding=utf-8

 

def getRows():

    names = ["A", "B"]

    rows = [

        [1, 'm'],

        [2, 'm'],

        [3, 'q'],

        [3, 'q'],

        [2, 'q'],

        [1, 's'],

        [4, 's'],

        [2, 's'],

        [1, 's'],

        [3, 'm']

    ]

    rs = []

    for row in rows:

        rs.append(dict(zip(names, row)))

    return rs

 

 

def count():

    rs = getRows()

    # 取所有B=m的行

    rs = [r for r in rs if r["B"] == 'm']

    rs = sorted(rs, key=lambda r: r["B"])

    # 计算数量

    result = {}

    for r in rs:

        if r["A"] in result:

            result[r["A"]] += 1

        else:

            result[r["A"]] = 1

 

    return result

 

print count()

关于python聚合函数详解和python聚合函数有哪些的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。