pandas高级操作

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

pandas高级操作

import numpy as np
import pandas as pd
from pandas import DataFrame,Series


替换操作

• 替换操作可以同步作用于Series和DataFrame中

• 单值替换

  • 普通替换： 替换所有符合要求的元素:to_replace=15,value='e'
  • 按列指定单值替换： to_replace={列标签：替换值} value='value'

• 多值替换

  • 列表替换: to_replace=[] value=[]
  • 字典替换（推荐） to_replace={to_replace:value,to_replace:value}

df = DataFrame(data=np.random.randint(0,100,size=(8,7)))
df


df.replace(to_replace=0,value='zero')


df.replace(to_replace={0:'aaa',22:222666})


df.iloc[2] = [0,0,0,0,0,0,0]
df


df.replace(to_replace={0:666})


#将指定列中的0替换成666
df.replace(to_replace={4:0},value=666)


映射操作

• map是Series的一个方法

• 概念：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定（给一个元素值提供不同的表现形式）

• 创建一个df，两列分别是姓名和薪资，然后给其名字起对应的英文名

dic = {
'name':['张三','李四','王老五'],
'salary':[22222,7777,11111]
}
df = DataFrame(data=dic)
df


#创建一个df，两列分别是姓名和薪资，然后给其名字起对应的英文名
dic = {
'张三':'tom',
'李四':'jay',
'王老五':'jerry'
}#映射关系表
df['e_name'] = df['name'].map(dic)
df


运算工具

• 超过3000部分的钱缴纳50%的税，计算每个人的税后薪资

def after_sal(s):#返回税后薪资，参数s就是税前薪资
return s - (s-3000)*0.5df['after_sal'] = df['salary'].map(after_sal)
df


• apply操作：df的一个运算工具
  • apply是df的一个方法
  • 作用：可以将df中行或者列数据进行某种形式的运算操作。

def func(s):
s = s.sum()
print(s)
df.apply(func,axis=0)


张三李四王老五
41110
tomjayjerry
25055.0name None
salary None
e_name None
after_sal None
dtype: object


映射索引

• 使用rename()函数替换行索引
• 参数介绍：
  • index 替换行索引
  • columns 替换列索引

df4 = DataFrame({'color':['white','gray','purple','blue','green'],'value':np.random.randint(10,size = 5)})
df4


#映射关系表：映射df中的行索引
new_index = {0:'first',1:'two',2:'three',3:'four',4:'five'}
#映射关系表：映射列索引
new_col={'color':'cc','value':'vv'}
#
df4.rename(new_index,columns=new_col)

排序实现的随机抽样

• take()
• np.random.permutation()

np.random.permutation(10)


array([8, 2, 6, 7, 3, 9, 1, 5, 0, 4])


df = DataFrame(data=np.random.randint(0,100,size=(100,3)),columns=['A','B',"C"])
df.take(np.random.permutation(3),axis=1).take(np.random.permutation(100),axis=0)[:50]


以下是部分数据：

#如何将df的数据进行打乱操作


数据的分类处理

• 数据分类处理的核心：

  • groupby()函数
  • groups属性查看分组情况

df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],
'price':[4,3,3,2.5,4,2],
'color':['red','yellow','yellow','green','green','green'],
'weight':[12,20,50,30,20,44]})
df

#计算出每一种水果的平均价格
df.groupby(by='item')

<pandas.core.groupby.DataFrameGroupBy object at 0x000001B6E3D4A0B8>


df.groupby(by='item').groups

{'Apple': Int64Index([0, 5], dtype='int64'),
'Banana': Int64Index([1, 3], dtype='int64'),
'Orange': Int64Index([2, 4], dtype='int64')}


df.groupby(by='item').mean()

df.groupby(by='item').mean()['price']item
Apple 3.00
Banana 2.75
Orange 3.50
Name: price, dtype: float64

#推荐
df.groupby(by='item')['price'].mean()

item
Apple 3.00
Banana 2.75
Orange 3.50
Name: price, dtype: float64


#计算每种颜色水果的平均重量
df.groupby(by='color')['weight'].mean()color
green 31.333333
red 12.000000
yellow 35.000000
Name: weight, dtype: float64

#将每种水果的平均价格数据汇总到原数据中
mean_price_series = df.groupby(by='item')['price'].mean()
mean_price_seriesitem
Apple 3.00
Banana 2.75
Orange 3.50
Name: price, dtype: float64

dic = mean_price_series.to_dict()
dic

{'Apple': 3.0, 'Banana': 2.75, 'Orange': 3.5}


# df['mean_price'] = mean_price_series
df['mean_price'] = df['item'].map(dic)
df

高级数据聚合

• 使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算
• df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum)
• transform和apply都会进行运算，在transform或者apply中传入函数即可
• transform和apply也可以传入一个lambda表达式

df.groupby(by='item')['price'].sum()item
Apple 6.0
Banana 5.5
Orange 7.0
Name: price, dtype: float64

def abc(s):
return s

df.groupby(by='item')['price'].abc() #error

---------------------------------------------------------------------------AttributeError Traceback (most recent call last)<ipython-input-70-dc3538655de8> in <module>()
----> 1 df.groupby(by='item')['price'].abc()C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\groupby.py in __getattr__(self, attr)
674
675 raise AttributeError("%r object has no attribute %r" %
--> 676 (type(self).__name__, attr))
677
678 plot = property(GroupByPlot)AttributeError: 'SeriesGroupBy' object has no attribute 'abc'


df.groupby(by='item')['price'].transform(abc)#right

0 4.0
1 3.0
2 3.0
3 2.5
4 4.0
5 2.0
Name: price, dtype: float64


#自定义一个求均值的函数，作用到分组结果中
def my_mean(s):
sum = 0
for i in s:
sum+=i
return sum/s.size
df.groupby(by='item')['price'].transform(my_mean)

0 3.00
1 2.75
2 3.50
3 2.75
4 3.50
5 3.00
Name: price, dtype: float64


#忽略
def my_mean(s):
sum = 0
for i in s:
sum+=i
return sum/s.size
df.groupby(by='item')['price'].apply(my_mean)# 可以看出apply传出的数据是按照分组显示的，而transform输出的数据还是按照索引来显示的

item
Apple 3.00
Banana 2.75
Orange 3.50
Name: price, dtype: float64


数据加载

• 读取type-.txt文件数据

import pandas as pd
from pandas import DataFrame,Series
data=pd.read_csv('./data/type-.txt')
data

• 将文件中每一个词作为元素存放在DataFrame中

data=pd.read_csv('./data/type-.txt',sep='-',header=None)
data# sep是指定以什么来分割，这里是以'-'来分割数据
# header=None 表示的是这个文件没有头标题，从第一行开始读

• 读取数据库中的数据

#连接数据库，获取连接对象
import sqlite3 as sqlite3
conn=sqlite3.connect('./data/weather_2012.sqlite')

#读取库表中的数据值
sql_df=pd.read_sql('select * from weather_2012',conn)
sql_df

#将一个df中的数据值写入存储到db
df.to_sql('fruit',conn)

pd.read_sql('select * from fruit',conn)

透视表

• 透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。

• 透视表的优点：

  • 灵活性高，可以随意定制你的分析计算要求
  • 脉络清晰易于理解数据
  • 操作性强，报表神器

import pandas as pd
import numpy as np
df = pd.read_csv('./data/lanqiusai.csv')
df.head()

pivot_table有四个最重要的参数index、values、columns、aggfunc

• index参数：分类汇总的分类条件
  • 每个pivot_table必须拥有一个index。如果想查看哈登对阵每个队伍的得分则需要对每一个队伍进行分类并计算其各类得分的平均值：

df.pivot_table(index='对手')#默认分类汇总使用的聚合函数是mean

• 想看看对阵同一对手在不同主客场下的数据，分类条件为对手和主客场

df.pivot_table(index=['对手','主客场'])

• values参数：需要对计算的数据进行筛选
  • 如果我们只需要哈登在主客场和不同胜负情况下的得分、篮板与助攻三项数据：

df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'])

• Aggfunc参数：设置我们对数据聚合时进行的函数操作

  • 当我们未设置aggfunc时，它默认aggfunc='mean'计算均值。

• 还想获得james harden在主客场和不同胜负情况下的总得分、总篮板、总助攻时：

df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'],aggfunc='sum')

#还想获得james harden在主客场和不同胜负情况下的平均得分、总篮板、最小助攻时
df.pivot_table(index=['主客场','胜负'],aggfunc={'得分':'mean','篮板':'sum','助攻':'min'})

• Columns:可以设置列层次字段
  • 对values字段进行分类

#获取所有队主客场的总得分
df.pivot_table(index='主客场',values='得分',aggfunc='sum')

#获取每个队主客场的总得分（在总得分的基础上又进行了对手的分类）
df.pivot_table(index='主客场',values='得分',aggfunc='sum',columns='对手').fillna(value=0)
# columns可以增加一个列，这里增加了一个对手的列
# 为了更好的显示，最后将空值替换成0

交叉表

• 是一种用于计算分组的特殊透视图,对数据进行汇总
• pd.crosstab(index,colums)
  • index:分组数据，交叉表的行索引
  • columns:交叉表的列索引

df = DataFrame({'sex':['man','man','women','women','man','women','man','women','women'],
'age':[15,23,25,17,35,57,24,31,22],
'smoke':[True,False,False,True,True,False,False,True,False],
'height':[168,179,181,166,173,178,188,190,160]})
df

• 求出各个性别抽烟的人数

pd.crosstab(df.smoke,df.sex)

• 求出各个年龄段抽烟人情况

pd.crosstab(df.age,df.smoke)