18-09-27 pandas 学习02

如何系统的学习python 中有关数据分析和挖掘相关的库？
什么是系统的学习？系统的学习就是一个先搭建只是框架体系，然后不断填充知识看，不断更新迭代的过程。

Pandas,numpy,scipy,matplotlip,scikit-learn 就是知识框架体系中必备部分：
pandas 用来做数据处理，
numpy 用来做高纬度矩阵运算，
scipy 用来做科学计算，
matplotilib 用来做数据可视化，
scikit-learn 用来做数据挖掘与机器学习，它已经
覆盖了基本的算法，只需要调用即可，

上面这几个库也就搭建了做数据分析和挖掘的经典workflow; 
拿到数据之后先做一个数据预处理（pandas + numpy+scipy）
接着会要对数据包含的特征做一些可视化输出（matplotlid）
之后需要提前特征和建模调参（numpy+scikit-learn）,
有了模型与结果，最后归纳整理做presenttation 和report.
但目前数据挖掘竞赛比较火的技巧是模型融合 ，可以对很多模型进行融合，并且可以选择不同的模型融合方式
https://zhuanlan.zhihu.com/p/25836678 

df == 任意的pandas DataFrame 数据框对象
s === 任意的pandans 　　Series 数组的对象
pandas 和numpy 是Python做数据分析最基础且最核心的库

# 一 Pandas 数据存取********************

import pandas as pd
import numpy as np
"""
读取文件：从文件名、URL、文件对象中加载数据

数据的导入

pd.read_csv(filename)        #导入csv格式文件中的数据   默认分隔符为逗号
pd.read_table(filename)　　　 # 导入有分隔符的文件（如TSY）中的数据  默认分隔符为\t（横向） 
pd.read_excel　　             #导入读取excel文件中的数据 
pd.read_sql(query,connection_object) #导入SQL 数据表/数据框中的数据
pd.read_json(json_string)     #导入JSON格式的字符，URL地址或者文件中的数据
pd.read_html(url)             #导入经过解析的RUL地址中包含的数据框（DataFrame）数据
pd.read_clipboard()           #导入系统粘贴板里面的数据
pd.DataFrame(dict)            #导入python 字典（dict）里面的数据，其中key 是数据框的表头，value是数据框的内容
更 多格式，通过在ipython中输入pd.read_*? 查看 
读取文件函数主要参数：
sep          指定分隔符，可用正则表达式如’\s+’
header=None  指定文件无列名，默认列名失效
names        指定列名 原文件无列名时，可通过这种方式指定，比如： names=[‘username’, ‘phone’, ‘email’]
index_col    指定某列作为索引 比如 index_col = 0 指定0列为索引
skip_row     指定跳过某些行
na_values    指定某些字符串表示缺失值，比如 na_values=[‘None’, ‘null’] 将这些字符串作为NaN
parse_dates  指定某些列是否被解析为日期，布尔值或列表

数据的导出

df.to_csv(filename)           #将数据框（DataFrame）中的数据导入csv格式的文件中
df.to_excel(filename)          #将数据框（DataFrame）中的数据导入Excel 格式的文件中
df.to_sql(table_name,connection_object)  #将数据框（DataFrame）中的数据导入SQL数据表/数据库中
df.to_josn(filename)            #将数据框（DataFrame）中的数据导入JSON 格式的文件中
---------------------

"""

# pandas 可以存取多种介质类型的数据，例如 内存，文本,CSV,JSON,HTML,Excel,HDF5.SQL

# 1 读取数据相关的参数介绍
# 如果数据有中文，编码可以修改，默认是ascii,改为utf-8

# 写入不修改编码则读取时需要修改
# df.to_csv(
#     "xx.csv",# 存入数据
#     index=False,# 不存储行索引
#     header=False # 不存储列索引
#     encoding = "utf-8"
# )

# 2 读取CSV，文件内汉字等特殊符号时，csv 文件变为应为 utf-8(无BOM)可默认正常读取

# 如果编码为ANSI ,加参数 enconding="gbk",
# 数据内有逗号时，左右加应为半角双引号，可以正常解析
#
# pd.read_csv(
#     "xxx.csv",#文件名
#     sep = ",",   #指定分隔符，csv 默认逗号，如果是table表格数据一般为 \t（横向制表符）
#     usecols=[0,2,4], #读取指定的列
#     nrows = 10, #读取前几行
#     header = None,#不将第一行设为表头
#     names = ["a","dd"], #不使用csv 表头，自定义表头
#     encoding = "utf-8"  #编码，需要根据文本编码修改，默认是utf-8,可以指定为GBK/ascii
# )

# 3合并时间列及自定义某列为行索引==的具体 解析 parse_dates={"date_time":["data","time"]

# files =  pd.read_csv(r"C:\Users\WY\Desktop\student2.csv")
# print(files)
#        data    time   name  age
# 0  20100101   10000   张三   18
# 1  20100101  230000  李,四   28
files1 = pd.read_csv(r"C:\Users\WY\Desktop\student2.csv",
                     parse_dates={"date_time":["data","time"]}, #合并两列 然后重新命名
                     )
# print(files1)
#             date_time name  age
# 0 2010-01-01 01:00:00   张三   18
# 1 2010-01-01 23:00:00  李,四   28

files2 = pd.read_csv(r"C:\Users\WY\Desktop\student2.csv",
                     parse_dates={"date_time":["data","time"]}, #合并两列 然后重新命名
                     index_col="date_time"  #把这列设置为行索引 代替自动生成的数字 0 1 2（必须是这个date_time）
                     )
# print(files2)
#                     name  age
# date_time
# 2010-01-01 01:00:00   张三   18
# 2010-01-01 23:00:00  李,四   28

# 4 Pandas 存取HDF5 暂时放置不太懂  ？？？？？？？？？？？？？？？？？

# 有中文，存储变得很大 很大啊
# files3 = pd.DataFrame.to_hdf(r"C:\Users\WY\Desktop\student2.h5",'w')  #???
# files3 = pd.read_hdf(r"C:\Users\WY\Desktop\student2.h5",key='files3')
# print(files3)

# 5 pandas  存取Excel（xlsx）

# 5-1 读取Excel 数据
# na_values 指定某些字符串表示缺失值，比如 na_values=[‘None’, ‘null’] 将这些字符串作为NaN

files4 = pd.read_excel(r"C:\Users\WY\Desktop\111.xlsx",
              "Sheet1",index_col=None,na_values=["NA"],header=None #不将第一行设为表头（此时这是列索引）
              )

# print("file4",files4)
# file4     0    1
# 0  组长  王小1
# 1  组长  王小2
# 2  组长  王小3

# 以下是练习 详情去看我自己的博客关于查询的方法  冒号： 相当于行的取值 
# data = files4[[0,1]] #取值前2列
# data = files4.loc[:,[0,1]] #取值前2列（标签索引）
# data = files4.iloc[:,[0,1]] #取值前2列（位置索引）
# data = files4.loc[:,0] #取值前1列
# data = files4.loc[0] #第一行的数据

# 5-2 写入Excel文件  会 把原文件福覆盖
# 需求以上取值所有人的名字
data = files4[[0]]  #取第二列  另外还有两种方法
# print(data)

data.to_excel(
             r"C:\Users\WY\Desktop\222.xlsx",
              "Sheet1",
               header=False,
               index=False  #不存入行索引，列索引为index_col
)

# 6 pandas 存取JSON数据

# 读取JSON

# pd.read_json("XX.json")

# 存入JSON
# data.to_json("xx.josn")

# 7pandas 从剪贴板（内存）读取数据(当你想要剪切板中复制后的东西 这个就可以打印出来了)
# 多用于将网页内容转换为 DataFrame

# data = pd.read_clipboard(header=None)
# print(data)

# 8 pandas 可以直接从数据库总写入或读取DataFrame 数据
# 方法
# pd.read_sql()    查询数据库，返回DataFrame d对象数据
# pd.to_sql()    将DataFrame 对象数据插入数据库
# 注意：to_sql() 直接调用 INSERT 语句完成任务，因此数据数据的传输速度较慢，如果将一个大型
# DataFrame 数据写入数据库中，最好先导出CSV 文件然后再导入数据库中
""" 
# 以下是复制过来连接数据库的
from sqlalchemy import create_engine

# 连接MySQL数据库，需要安装Python连接库
# conda install -c anaconda pymysql 

dbconnect = 'pymysql'            # MySQL连接库，根据使用的连接库修改名称，这里用pymysql
dbname = 'aaa'                   # 数据库名
dbusername = 'root'              # 数据库用户名
dbpwd = 'root'                   # 数据库密码

# 连接数据库
conn = create_engine('mysql+' + dbconnect + '://' + dbusername + ':' + dbpwd + '@localhost:3306/' + dbname + '?charset=utf8')

# 存取数据库数据

# 查询数据库

sql1 = 'SELECT * FROM ccc'

df1 = pd.read_sql( # pd.io.sql.read_sql()的快捷方式
    sql1, # sql语句
    conn, # 数据库连接
    index_col='id' # 选定某列做行索引，可选
)
df1

# 插入数据库

a

pd.io.sql.to_sql(
    a, # 插入的数据，注意格结构应和MySQL表一致
    'ccc', # 表名
    con=conn, # 数据库连接
    if_exists='append', # 注释见下
    index=False # 不将列索引插入数据库中，否则会出错

"""

# 二 Pandas 统计分析 ********************

# pandas 数据的基本统计分析和numpy 的函数近似
"""
 numpy.random.rand(a,dn)  函数根据给定维度生成[0,a)之间的数据，包含0，不包含a
dn表格每个维度 (几行)
返回值为指定维度的array
"""
dates = pd.date_range("20180927",periods=10) #获取最近10天的日期时间
# print(dates)
# DatetimeIndex(['2018-09-27', '2018-09-28', '2018-09-29', '2018-09-30',
#                '2018-10-01', '2018-10-02', '2018-10-03', '2018-10-04',
#                '2018-10-05', '2018-10-06'],
#               dtype='datetime64[ns]', freq='D')
df = pd.DataFrame(np.random.randn(10,5),index=dates,columns=["a","b","c","d","e"])
# print(df) #随机生成0,10 之间的数据 但是以下 好像不是？？？？？？？？？？

                   # a         b         c         d         e
# 2018-09-27 -0.258745  0.037599  0.721864 -0.211030 -1.059286
# 2018-09-28 -0.054321  1.128499  1.655691  0.224175 -0.772732
# 2018-09-29 -1.268385  0.432739 -1.279300 -1.473420 -1.611057
# 2018-09-30 -0.671130  0.432911 -0.471831  0.366561 -0.102837
# 2018-10-01  1.489147  0.195784  0.129284 -0.519119 -0.652858
# 2018-10-02 -0.525051 -0.147583 -0.393632 -0.607596  1.015660
# 2018-10-03  0.628974 -0.846290 -1.531452  1.029872 -1.886281
# 2018-10-04 -0.268511 -0.179644 -1.006786  0.468539  1.254019
# 2018-10-05 -0.349232  0.006306 -0.017473  0.978961 -0.101312
# 2018-10-06 -0.011932 -0.659007 -1.271695 -0.719069  0.232689

# print(df.describe()) #快速统计结果
# print(df.mean())#按列求平均值
# print(df.mean(1))  #按行求平均值

# ==
a1 = pd.Series([2,3,4,5],index=["a","b","c","d"])
# print(a1)
# a    2
# b    3
# c    4
# d    5
# dtype: int64

# b1 = pd.DataFrame(np.arange(4).reshape(1.4),index=["A","B","C","D"])
b1 = pd.DataFrame(np.arange(20).reshape(4,5),index=["A","B","C","D"])
# print(b1)
#     0   1   2   3   4
# A   0   1   2   3   4
# B   5   6   7   8   9
# C  10  11  12  13  14
# D  15  16  17  18  19

# print(a1.describe(),type(a1.describe()))
# count    4.000000
# mean     3.500000
# std      1.290994
# min      2.000000
# 25%      2.750000
# 50%      3.500000
# 75%      4.250000
# max      5.000000
# dtype: float64 <class 'pandas.core.series.Series'>

# print(a1.describe()["mean"]) #3.5

# 返回横行的数据  ????????????
# print(b1.describe().loc["min"])
# print(b1.describe().loc[3])

#返回横行数据,series
# b.describe().loc['max']
# b.describe().iloc[7]
# 
# #返回一列值,这里第2列
# b.describe()[2]
# #b.describe()[2]
# b.describe().loc[:,2]

---

#1读取所有数据
student = pd.read_csv("C:\\Users\\WY\\Desktop\\student2.csv") #和pd.io.parsers/read_csv
# print(student)
"""                       a，b   
0     我不是毛2，我不是我2，哈哈哈哈2
1     我不是毛3，我不是我3，哈哈哈哈3
2     我不是毛4，我不是我4，哈哈哈哈4
3  我不是毛11，我不是我11，哈哈哈哈11
4  我不是毛22，我不是我22，哈哈哈哈22
5  我不是毛33，我不是我33，哈哈哈哈33
6  我不是毛44，我不是我44，哈哈哈哈44
"""
# 读取前5行 和后5行的数据
# print(student.head())  # 获取数据前五行的数据
#  出错了 不回了  ？？？？？？？？？？？？文件的本身的问题 换了文件就好了

# print(student.tail())  #获取数据后5行的数据

#                  a，b
# 2     我不是毛4，我不是我4，哈哈哈哈4
# 3  我不是毛11，我不是我11，哈哈哈哈11
# 4  我不是毛22，我不是我22，哈哈哈哈22
# 5  我不是毛33，我不是我33，哈哈哈哈33
# 6  我不是毛44，我不是我44，哈哈哈哈44

# 3 查询指定的行 这里的ix 索引标签函数必须是中括号[]
# print(student.ix[[0,2,4]])
#                  a，b
# 0     我不是毛2，我不是我2，哈哈哈哈2
# 2     我不是毛4，我不是我4，哈哈哈哈4
# 4  我不是毛22，我不是我22，哈哈哈哈22

# 4 查询指定的列  卡主了 不知道列索引的用法
# print(stude????????????????????????????????????????????/

# print(student[["b"]].head())

# =================?????????????????????????????????不会

# 四、统计分析********

# pandas 模块维我们提供好了非常多的描述性分析的指标函数，如总和，均值
# 最大值、最小值等。我们来具体查看以下这些函数：

# 首先随机生成三组数据

# np.random.seed(1234)
# d1 = pd.Series(2*np.random.normal(size=100)+3)
# d1 = pd.Series(2*np.random.normal(size=100))
# print(d1)