Pandas Learning

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

Panda Introduction

Pandas 是基于 NumPy 的一个很方便的库,不论是对数据的读取、处理都非常方便。常用于对csv，json，xml等格式数据的读取和处理。
Pandas定义了两种自己独有的数据结构，Series 和 DataFrame。

Series

Series可以理解为竖着的列表。

(Ps：Series中元素可以是任意类型)
index | data ---|--- 0 | XiaoWang 1 | XiaoLin
Series比较常用的定义方式有如下几种
- 传入列表定义Series
  
  s = Series([66,'score','scout','fbricate'])
- 传入字典定义Series
  s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'})
比较常用的属性和方法
- S.values 可以显示Series对象的数据值
  s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'}) print(s.values)
- S.index 可以显示Series对象的索引
  s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'}) print(s.index)
- 判断是否为空
  - pd.isnull（series对象）
  - pd.notnull（series对象）
  - Series 对象.isnull()
  - Series 对象.index = []
    
    可以重新定义索引的名字
    s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'}) s.index=['no1','no2','no3','no4'] print(s)
Series自定义索引机制（索引不仅可以是数字）
- 实际实现：数据值和自定义索引分别对应于两个列表，新索引自动指向于相应旧索引指向的数据值实现“自动对齐”。
- 利用已经生成的Series创建新的Series，并且尝试传入原本不存在的索引
  s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'}) s1 = Series(s,index= ['No1','No2','No3','No4','No5']) print(s1)
  
  Ps:数据不存在用NaN表示。
- 当旧的索引不在新定义的索引中，则该数据项自动剔除，不进入新的Series中，索引对应可以看成是新的对旧的数据的一种筛选或者添加。
  s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'}) s1 = Series(s,index= ['No1','No2','No4','No5']) print(s1)
Series相关运算
- 筛选符合条件的数据，返回一个新的Series
  s = Series({'No1':66,'No2':70,'No3':-2,'No4':3}) s1 = s[s > 0] print(s1)
- 对Series进行普通加减乘除以及平方等任何运算都是针对Series里所有数据的
  s = Series({'No1':66,'No2':70,'No3':-2,'No4':3}) s1 = s**2 print(s1)
- 用in判断某索引或者数据值是否在Series中
  - 判断索引（直接查询对象默认是查询键值）
    s = Series({'No1':66,'No2':70,'No3':-2,'No4':3}) print(66 in s) print('No1' in s)
  - 判断键值（应在s.values中查找）
    s = Series({'No1':66,'No2':70,'No3':-2,'No4':3}) print(66 in s.values)
- 两个Series之间的运算（只把具有相同索引的值进行运算，而不是共有的索引都赋值为NaN）
  s1 = Series({'No1':66,'No2':70,'No3':-2,'No4':3}) s2 = Series({'No1':4,'No2':0,'No5':-2,'No4':67}) print(s1 + s2)

DataFrame

DataFrame 是一种二维的数据结构，与电子表格非常像，竖行为columns，横行为index。每一列可以理解为由一个Series构成。如下:
None column0 column1
index0
index1
定义方式
- 传入字典定义DataFrame
  data = {"name":["Mark","Mike","Michel"],"age":[21,22,23],"favorite":["basketball","game","computer"]} df = DataFrame(data) # df = DataFrame(data,columns=['age','name','favorite']) 可以规定显示键（columns）的顺序 print(df)
  - 自定义索引（默认为0，1，2等整数）
    df = DataFrame(data,index=["No1","No2","No3"])
- 采用“字典套字典”的方式定义DataFrame
  data = {"name":{"No1":"Mark","No2":"Mike","No3":"Michel"},"age":{"No1":21,"No2":22,"No3":23},"favorite":{"No1":"basketball","No2":"game","No3":"computer"}} df = DataFrame(data) print(df)
属性方法和常用操作
- DataFrame.columns，能够显示素有的 columns 名称。
  print(df.columns)
- DataFrame.index，获得行索引信息
- DataFrame.shape，获得df的size
- DataFrame.shape[0],获得df的行数
- DataFrame.shape[1],获得df的列数
- DataFrame.values,获得df中的值
- 得到某竖列（可以理解为一个Series）的全部内容。
  print(df['name'])
- 索引某几行
  #索引前3行 df[:3]
- 可利用loc/iloc/ix索引函数进行索引
  loc/iloc/ix 参考【1】【2】
- del df[0] 删除第0列
- df.drop(0) 删除第0行
- 给某一列统一赋值
  # 添加某一新列并且赋初始值： df1['NewColumn'] = 0
  data = {"name":{"No1":"Mark","No2":"Mike","No3":"Michel"},"age":{"No1":21,"No2":22,"No3":23},"favorite":{"No1":"basketball","No2":"game","No3":"computer"}} df = DataFrame(data) # 新增一行No4，一列 ID 和 Status。 df1 = DataFrame(df,columns=["ID","name","age","favorite","Status"],index=["No1","No2","No3","No4"]) # 为Status统一赋值yes。 df1["Status"]="yes" print(df1)
- 利用Series点对点添加数据（DataFrame每一列是一个Series）
  # 创建ID列并且赋值 IDSeries = Series(['001','002','004'],index=["No1","No2","No4"]) df1['ID'] = IDSeries
  Ps：Series的索引会与DataFrame的索引自动对齐，以此为依据定向添加数据。
- DataFrame也可以单点精确的修改数据（仿照字典dict操作），比如：
  df1['name']['No3'] = 'MICHEL' print(df1)
  可见数据虽然是成功修改过来了，但是却报了一个SettingWithCopyWarning，其中原因是说“在DataFrame的一个切片上进行赋值操作”，虽然我也不理解在切片上进行数据处理有什么不妥，而且使用给定的索引工具loc创建新的df并进行相同操作也会报如上警告。最后看了网上找了一个比较好的解决方案是：先生成正确的Series再将整个Series插入DataFrame会更加有效。
  解决方案参考
- DataFrame选择某些列或者行进行输出，生成新的DataFrame。
  # 筛选 name列和age列 df2 = DataFrame(df1,columns=["name","age"]) print(df2) # 筛选No1,No2行 df3 = DataFrame(df1,index=["No1","No2"]) print(df3)
- 根据某列sort排序
  # 按照age递减排序 print(data.sort_values(["age"],ascending=False))
- map(function)运算传入一个函数，应用在dataframe的每一个元素上，返回一个dataframe。
- apply(function，axis)运算对dataframe的每一列或行进行运算，返回一个Series索引为原先的columns，数据值为函数值（ps：不指定axis对列操作，指定axis=1，对行操作）。
- Group by操作
参考链接
- 可以将dataframe导出到csv文件，to_csv方法。
  df.to_csv(file_path, encoding='utf-8', index=False) # index为False表示不导出dataframe的index数据