正文
numpy、pandas
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
numpy：
仨属性：ndim-维度个数；shape-维度大小；dtype-数据类型。
numpy和pandas各def的axis缺省为0，作用于列，除DataFrame的.sort_index()和.dropna()外。
import numpy as np
相同值=np.ones((3,5),int) #同类：np.zeros()，np.empty()；首参shape用()或[]均可
转换类型=相同值.astype(np.float64) #转换行列=相同值.transpose()
随机整数=np.random.randint(-30,70,(5,6)) #size参数用()或[]如[5,6]都行
随机带小数=np.random.uniform(-5,9,(5,6)) #返回二维[[][]…]
带2=np.random.uniform(9,size=6) #一维[]，6个<9的带小数；参数无min时size=不能省
随机纯小数=np.random.rand(5,6) #标准正态分布=np.random.randn(5,6)
自然数=np.arange(10,40).reshape((5,6)) #1维np.arange()转2维np.array()，用.reshape((行,列))
自2=np.arange(10,40);np.random.shuffle(自2);自2=自2.reshape((5,6)) #shuffle洗牌不了多维
多种类=np.array([range(0,5)]*4+[list('abcde')]+[range(2,7)]) #range、[]各再套个[]就能用+
去重并排序=np.unique(多种类) #返回无重复元素的一维[]，像是OrderedSet
索引与切片=自然数[:,3:] #首行用[0]，首列用[:,0]；自然数[2,3]等价于自然数[2][3]
元素判断1=np.all(随机整数<10) #反义词np.any()
元素判断2=np.where(随机整数>0,'正数','负数')
元素计算=np.ceil(随机带小数) #地板floor()，四舍五入rint()，绝对值abs()，非数值isnan()
元素累计=np.cumsum(自然数,1) #二维可用axis，为0累下为1累右，无返1维；累乘cumprod()
#只写首参统计全维，返回1个int；2维若用了2参axis(列0行1)则按各列或各行统计，返回[]
矩阵统计=np.sum(自然数,0) #mean()､max()､min的索引argmin()､标准差std()､var()
多矩阵运算1=np.multiply(自然数,自2) #各矩阵的形状要相同；np.divide(*,*)
多矩阵运算2=自然数+自然数 #自然数-5；自然数*2；1/自然数
#多个条件用&或|连接，而非Python的and或or；每个条件都用()括起来
条件索引=随机整数[(自然数>=20) & (自然数%2==0)] #同上，各矩阵的行&列数要一致
****************************************分割线****************************************
pandasのSeries和DataFrame：
Series：
import pandas as pd
sr=pd.Series(range(10,20),index=list(string.ascii_letters[:10])) #{2016:8,2017:5}
sr.name='temp' #sr.index.name='年份'
单索引=sr[2] #或sr['c']；DataFrame中：某列用df['str']或df.str，某行为df.iloc[[int],]
切片=sr[2:5] #按标签切时如sr['c':'e']，包含终止索引
不连续索引=sr[[0,4,6]] #或sr[['a','e','g']]，注意是两对[ ]
首或尾=sr.tail(6) #.head()或.tail()内若没写数字，则默认取5条记录
sr[0:7].values[1]=666 #.values属性的值可变，索引列.index不可单个变，类似[]与()
元素计算=sr**2 #在元素层面自定义的map方法：sr.map(lambda m:'%0.4d' %(m**2))
sr[sr<15]=-sr*3+7 #对布尔索引为True的那些元素做各种运算
**********************分割线**********************
DataFrame：
三种索引——int型序号索引iloc、str型标签索引loc、混合索引ix。
序号切片行时如df.iloc[0:3,]，可简写为df[0:3]；标签loc的简写相反，只索引列有3种场景，非切片列的那俩即单列&不连续列的索引都可简写；另外切片时，df.loc[]和df.ix[]若用了标签，则行&列都包含终止。
import numpy as np,pandas as pd,string
data=np.arange(11,41).reshape((6,5))
index=pd.date_range('20170101',periods=6,freq='5D').strftime('%x')
columns=list(string.ascii_uppercase[:5])
df=pd.DataFrame(data,index,columns)
*******分割线*******
索引：
单行索引=df.iloc[[2],] #若里面没套[ ]，则是纵向输出此行
不连续的行索引=df.iloc[[0,2,3],]
行切片=df[0:4] #df.iloc[0:4,]的简写
单列索引=df['B'] #df.loc[:,'B']的简写
不连续列的索引=df[['A','D']] #df.loc[:,['A','D']]的简写
列切片=df.loc[:,'A':'D'] #标签索引的切片竟包含终止，位置索引的切片正常不含终止
行列索引1=df.iloc[[0,1,3],1:4] #除iloc切片行或loc非切片列外，其他场景均要写.iloc或.loc
行列索引2=df.ix[0:2,['A','E']] #混合索引df.ix[*,*]是否含终止，取决于1参或2参是否用了标签
*******分割线*******
计算：
df['W']=df.E+5 #del(df['B'])，被增、删的字段都用df['key']，不能用简写的df.key
df['m']=list('qwerty');df['m']=df['m'].str.upper()
多值替换为一值=df.replace([20,30,'Y'],8)
多值替换为同量=df.replace([11,22,'Q'],[9,9,6])
统计=df.describe() #数值型的那些列的8行统计信息
按值排序=df.sort_values('E',ascending=False) #若是按某行的值排序，则加axis=1
标签排序=df.sort_index(axis=1) #这次例外了，axis缺省的0值作用于行标签
元素计算=df.copy()*3;元素计算[df<26]=-df+55 #对布尔索引为True的那些元素做各种运算
元素计算の内置函数=df.cumsum(axis=1,skipna=False) #max､mean､median､cumprod…
自定义=df.applymap(lambda m:'%0.5d' %(-m**2 if len(set(str(m**2)))<3 else m*10))
df['F']=df['C'].map(lambda m:m*2) #map方法的范围窄，只用于Series对象
*******分割线*******
去重：
data2=np.array([range(0,5)]*3+[list('abcde')]+[range(2,7)]+[list('61834')])
df2=pd.DataFrame(data2,index,columns)
判断重复=df2.duplicated() #首次出现为False，再现为True，默认判断整行
字段B和E的值同时再现则删除=df2.drop_duplicates(['B','E'])
数据缺失为空：
df3=pd.DataFrame([list(range(3)),[1,2,np.nan],[8,np.nan,5],list('qwe')])
是否存在空数据=df3.isnull()
填充缺失=df3.fillna(100)
有缺失则丢弃整条=df3.dropna(1) #axis默认的0删的是有缺失的整行，不再作用于列
df3.dropna(1,inplace=True) #罕见的作用于自身，返回None
指定丢弃哪行哪列=df.drop(columns=['B','E']) #labels+axis的0是丢弃索引行
对齐运算：add,sub,mul,div用fill_value填充对方的缺位，都缺为NaN；运算符+-*/无填充
dfX=pd.DataFrame(list('5678'),dtype=np.int)
dfY=pd.DataFrame(np.ones([2,3],np.int))
对齐运算=dfX.add(dfY,fill_value=6)
*******分割线*******
DataFrame↔Series：
sr=df.stack() #DataFrame→Series，columns列标转为了内层index
df1=sr.unstack(0).reindex(list('DBAEC')) #…按行标自排；0转外层index为列标，同df.transpose()
注：Series有内外两层index才能用unstack()。而正常的单index的Series转为DataFrame：sr.to_frame().T或pd.DataFrame(sr).transpose()。.T是.transpose()的简写版。
双层索引：
df4=pd.DataFrame(data,index=pd.MultiIndex.from_product([list('py'),list('618')]))
根据索引的级别统计=df4.sum(level=1) #axis默认的0上下相加，level默认的0按外层统计
行的内层标签降序后再索引行外层标签p=df4.sort_index(0,1,False).loc['p',] #p后有,才是行标签
索引行内层=df4.swaplevel().loc['8'] #无法索引内层，交换至外层才行，8是标签非序号，故套''
*******分割线*******
矩阵拼接：
merge：以某些列标为外键，左右拼接俩矩阵；how默认交集，另有outer,left,right
data5=np.arange(13,33).reshape((4,5))
df5=pd.DataFrame(data5,range(15,31,5),list('CDEST'))
左右连接1=pd.merge(df,df5,'outer',['D','E'],suffixes=(':左',':右'))
左右连接2=pd.merge(df,df5,'right',left_on='C',right_index=True,suffixes=(':L',':R'))
print(df,df5,左右连接2,sep='\n')
concatenate：无所谓外键，首参中的矩阵数≥2；pd中各矩阵的行&列数可不等，np不行
concatのnp=np.concatenate([data,data5]) #同列数可上下合并，同行数可用左右合的axis=1
concatのpd=pd.concat([df,df5],1,'inner') #丢弃有NaN的行；默认的0+outer为上下贪婪
*******分割线*******
#单列即Series才有.value_counts()频次统计，降序输出，默认False为频次，频率用True
某列各值的频率的倒数3名并保留2位小数=df['E'].value_counts(True).sort_values()[:3].round(2)
数字列按某些列值如[df['H'].dtypes,list('中美')]，分组聚合并降序，str列只有数量.size()：
应用多个聚合：.agg(['describe','size',自定义函数])；行&列数一致：.transform([np.sum,lambda df:df-df.mean()])
import matplotlib.pyplot as plt
df['G']=list('分分分分组组');df['H']=list('甲乙甲乙丙甲')
r=df['E'].groupby([df['G'],df['H']]).mean().round(1).sort_values(0,False)
r.to_csv('E:/666.csv',encoding='utf-8-sig',mode='a+')
r.iloc[:10].plot.bar(rot=0) #可视化top10
plt.rcParams['font.sans-serif']=['simhei'];plt.show()
透视表：
values中多个int字段，不同的值汇总依据：{'x':len,'y':[numpy.mean,numpy.sum]}；len计数
df=pd.read_excel('F:/学生信息.xlsx',0,dtype=np.str) #学号11位+，读入为文本格式
table=pd.pivot_table(df,['学号',],['教学点','班级'],['性别','专业'],[len,np.min],0,True)
query=table.query("教学点==['山南','林芝']") #仅行标签能用query
print(query)
table.to_excel('学籍信息.xlsx') #to_csv则外层index无分组效果
****************************************分割线****************************************
把矩阵顺时针旋转90°：
import numpy as np,pandas as pd
matrix=np.arange(1,31).reshape((5,6))
matrix=np.rot90(matrix,1,(1,0)) #顺时针转90°；3参默认的(0,1)是逆时针，得转3次
matrix=pd.DataFrame(matrix).applymap(lambda x:'%0.2d' %x)
print(matrix)
*******分割线*******
不用numpy和pandas：
def rotate_matrix(row,column):
#生成一个row行column列的自然数矩阵
matrix = [[format(y+x*column,'02') for y in range(1, column + 1)] for x in range(row)]
[print(' '.join(x)) for x in matrix]
print('*'*20,'分割线','*'*20,sep='')
[print(' '.join(x)) for x in zip(*matrix[::-1])]
rotate_matrix(7,3)
****************************************分割线****************************************
Egの网页表格导出为本地表格：
import pandas as pd,requests
for page in range(1,10):
url=f'http://www.xicidaili.com/wt/{page}'
html=requests.get(url,headers={'User-Agent':'Mozilla/5.0 Chrome/64'}).text
df=pd.read_html(html)[0].iloc[1:,[1,2,4,5]] #首张表的不含标题行的某些列
df.to_csv('代理.csv',header=False,index=False,mode='a+',encoding='utf-8-sig')
**********************分割线**********************
Egの捞月狗LOL的皮肤分析：
1、爬皮肤数据.py
import requests,re
from fake_useragent import UserAgent as ua
from pandas import DataFrame as df
url='http://www.laoyuegou.com/x/zh-cn/lol/lol/godrank.html?region=cn&area=1'
x='.{1,600}?';y='([一-龥]+)'
pattern=re.compile(f'item1">(#\d+){x}server">{y}{x}em>(\d+){x}span>(\d+){x}span\
>(\d+){x}age">({x}%){x}score/({x}).png{x}dan">({x})<{x}"{y}"{x}"{y}"{x}"{y}"', re.S)
def downLoad():
r=requests.get(url,headers={'User-Agent':'Mozilla/5.0 Chrome/64 Safari/537'}).text
area=re.findall('cn-li.*?(http.*?)".*?([一-龥]{2,9})',r,re.S)
for region in area:
players=[]
for page in range(1,6):
r=requests.get(region[0]+f'&page={page}',headers={'User-Agent':ua().random})
print(f'下载{region[1]}战区的第{page}页')
players.extend(pattern.findall(r.text))
df(players).to_csv('LOL.csv',header=False,index=False,mode='a+',encoding='utf-8-sig')
#downLoad()
*******分割线*******
2、作图分析
import pandas as pd,matplotlib.pyplot as plt
#%matplotlib inline #IPython环境下绘图时，使图片内嵌在交互窗口，而非弹出
plt.rcParams['font.sans-serif']=['SimHei'];plt.rcParams['axes.unicode_minus']=False
plt.style.use('ggplot') #风格设为仿R语言的ggplot库
plt.rcParams['axes.labelsize']=20 #轴标题的字体尺寸
plt.rcParams['xtick.labelsize']=9;plt.rcParams['ytick.labelsize']=9 #轴刻度的字体尺寸
plt.rcParams['legend.fontsize']=12;plt.rcParams['figure.figsize']=[15,6]
#pd.read_*：首参若为路径str则不能有中文，用open('路径str',encoding='*')可以有
df=pd.read_csv('E:/py/LOL.csv',encoding='utf8')
#pd.DataFrame().iterrows()：各(序号,Series)组成的generator
#for row in df.iterrows():print(row[1][0]) #row[1]是Series对象，纵向显示各行记录
#print(df.describe())
#df['位置'].value_counts().drop('--').plot(kind='bar',rot=45,color='r') #图表,轴坐标斜度,颜色
pd.concat([df[f'本命英雄{x}'] for x in range(1,4)]).value_counts()[:10].plot(kind='barh',rot=0)
plt.show() #玩家最常用的前10个本命英雄，其频次的水平条形图
****************************************分割线****************************************
matplotlib：
plt.savefig()写在.show()之前或不写.show()，可设置保存时裁白边。
裁白边前的分辨率plt.figure()，写在.plot()等绘图法之前，值为dpi*figsize中的(宽,高)英寸。
主体颜色c、散点的轮廓色edgecolors、俩折线图间的填充色facecolor：①'r､g､b或完整单词或无色的none'；②各值在[0,1]间的(r,g,b)；③scatter散点图的4参为list，值越大则红绿蓝越深，有3类：列表=range(len(x或y))则先浅后深、=y则y↑越深，=x则x→越深。
如下几例的共同代码：
from datetime import datetime as dt
from numpy.random import randint,choice,shuffle
import numpy as np,pandas as pd,matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'];plt.rcParams['axes.unicode_minus']=False
plt.figure(dpi=160,figsize=(8,5)) #参数也可写在plt.savefig(**kwargs)里
#plt.xkcd() #漫画风格，不支持中文标题；plt.rcdefaults()重置为正常风格
***************分割线***************
#字体尺寸：图表标题用fontsize，轴刻度用labelsize，轴标题随选用的方法而定
def Egの大杂烩1():
plt.title('涂鸦1',fontsize=24) #图表标题及其字体尺寸
plt.xlabel('x轴',fontsize=16);plt.ylabel('y轴') #轴标题，或plt.rcParams['axes.labelsize']=16
plt.tick_params(axis='both',labelsize=9) #轴刻度尺寸，或plt.rcParams['xtick.labelsize']=9
#plt.xticks([-np.pi,0,np.pi],['-π','0','π']);plt.yticks([3,7]) #轴刻度只展示这些，[]为白板
plt.axis([dt(2017,6,1,0,0),dt(2017,9,30,0,0),9,21]) #轴刻度的展示区间：前俩x，后俩y
x=pd.date_range('2017-6-1',periods=9,freq='2W').to_pydatetime();shuffle(x)
y=randint(10,18,9)
plt.plot(x,y,'og',linewidth=3) #折线图；3参中颜色选rgb，形状如--.或圆点o，顺序随意
plt.fill_between(x,y,randint(15,21,9),facecolor='gray',alpha=0.2) #两对y间的填充色
plt.scatter(x,y,60,range(9),4,plt.cm.Reds,edgecolors=(0,0.6,1)) #先浅后深的散点图，marker∈(0,11)
plt.savefig('E:/涂鸦.png',bbox_inches='tight')
plt.show()
#Egの大杂烩1()
def Egの大杂烩2():
plt.title('涂鸦2',fontsize=20);plt.xlabel('x轴',fontsize=18);plt.ylabel('y轴')
plt.xticks([-np.pi,0,np.pi,np.pi*3],['-π','0','1π','3π']);plt.yticks([-1,-0.5,0,0.5,1])
x=np.linspace(-np.pi*2,np.pi*3,90)
y1=np.sin(x);y2=np.cos(x)
plt.bar(x[x>2],y1[x>2],label='直方图')
#rgb中的单个字母是颜色，圆点o或--.等是形状，颜色和形状哪个在前随意
plt.plot(x,y1,'bo');plt.plot(x,y2,'--.r') #x轴,y轴,颜形；仅1个序列则为y轴，x轴自动用索引
plt.fill_between(x,y1,y2,facecolor='gray',alpha=0.2)
#plt.imshow(x.reshape(6,15)[:2,4:]) #参数为2维及以上的array
plt.show()
#Egの大杂烩2()
***************分割线***************
class RandomWalk:
def __init__(self,num=8000):
self.x,self.y,self.num=[0],[0],num
def steps(self):
while len(self.x)<self.num: #原地踏步的位移不取
xStep,yStep=choice([-1,1])*randint(81),choice([-1,1])*randint(49)
if not (xStep==0 and yStep==0):
self.x.append(self.x[-1]+xStep)
self.y.append(self.y[-1]+yStep)
def Egの随机漫步():
rw=RandomWalk(10000)
rw.steps()
plt.scatter(rw.x,rw.y,1,range(rw.num),cmap=plt.cm.Greens)
#突出起点和终点，隐藏坐标轴
plt.scatter(0,0,30,'red',edgecolors='none');plt.scatter(rw.x[-1],rw.y[-1],30,'blue')
plt.axis('off') #.imshow(*)后.show()前；藏y轴：plt.axes().get_yaxis().set_visible(False)
plt.show()
#Egの随机漫步()
