Python的抽样函数,python 抽样函数

Python 数据处理（二十四）—— 索引和选择

如果你想获取 'A' 列的第 0 和第 2 个元素，你可以这样做:

这也可以用 .iloc 获取，通过使用位置索引来选择内容

可以使用 .get_indexer 获取多个索引:

警告 ：

对于包含一个或多个缺失标签的列表，使用 .loc 或 [] 将不再重新索引，而是使用 .reindex

在以前的版本中，只要索引列表中存在至少一个有效标签，就可以使用 .loc[list-of-labels]

但是现在，只要索引列表中存在缺失的标签将引发 KeyError 。推荐的替代方法是使用 .reindex() 。

例如

索引列表的标签都存在

先前的版本

但是，现在

索引标签列表中包含不存在的标签，使用 reindex

另外，如果你只想选择有效的键，可以使用下面的方法，同时保留了数据的 dtype

对于 .reindex() ，如果有重复的索引将会引发异常

通常，您可以将所需的标签与当前轴做交集，然后重新索引

但是，如果你的索引结果包含重复标签，还是会引发异常

使用 sample() 方法可以从 Series 或 DataFrame 中随机选择行或列。

该方法默认会对行进行采样，并接受一个特定的行数、列数，或数据子集。

默认情况下， sample 每行最多返回一次，但也可以使用 replace 参数进行替换采样

默认情况下，每一行被选中的概率相等，但是如果你想让每一行有不同的概率，你可以为 sample 函数的 weights 参数设置抽样权值

这些权重可以是一个列表、一个 NumPy 数组或一个 Series ，但它们的长度必须与你要抽样的对象相同。

缺失的值将被视为权重为零，并且不允许使用 inf 值。如果权重之和不等于 1 ，则将所有权重除以权重之和，将其重新归一化。例如

当应用于 DataFrame 时，您可以通过简单地将列名作为字符串传递给 weights 作为采样权重（前提是您要采样的是行而不是列）。

sample 还允许用户使用 axis 参数对列进行抽样。

最后，我们还可以使用 random_state 参数为 sample 的随机数生成器设置一个种子，它将接受一个整数（作为种子）或一个 NumPy RandomState 对象

当为该轴设置一个不存在的键时， .loc/[] 操作可以执行放大

在 Series 的情况下，这实际上是一个追加操作

可以通过 .loc 在任一轴上放大 DataFrame

这就像 DataFrame 的 append 操作

由于用 [] 做索引必须处理很多情况（单标签访问、分片、布尔索引等），所以需要一些开销来搞清楚你的意图

如果你只想访问一个标量值，最快的方法是使用 at 和 iat 方法，这两个方法在所有的数据结构上都实现了

与 loc 类似， at 提供了基于标签的标量查找，而 iat 提供了基于整数的查找，与 iloc 类似

同时，你也可以根据这些索引进行设置值

如果索引标签不存在，会放大数据

另一种常见的操作是使用布尔向量来过滤数据。运算符包括：

|(or) 、 (and) 、 ~ (not)

这些必须用括号来分组，因为默认情况下， Python 会将 df['A'] 2 df['B'] 3 这样的表达式评估为 df['A'] (2 df['B']) 3 ，而理想的执行顺序是 (df['A'] 2) (df['B'] 3)

使用一个布尔向量来索引一个 Series ，其工作原理和 NumPy ndarray 一样。

您可以使用一个与 DataFrame 的索引长度相同的布尔向量从 DataFrame 中选择行

列表推导式和 Series 的 map 函数可用于产生更复杂的标准

我们可以使用布尔向量结合其他索引表达式，在多个轴上索引

iloc 支持两种布尔索引。如果索引器是一个布尔值 Series ，就会引发异常。

例如，在下面的例子中， df.iloc[s.values, 1] 是正确的。但是 df.iloc[s，1] 会引发 ValueError 。

相关问答

Q1: 统计学6-抽样分布

抽样分布也称统计量分布、随机变量函数分布，是指样本估计量的分布。 样本估计量是样本的一个函数，在统计学中称作统计量，因此抽样分布也是指统计量的分布 【1】。以样本平均数为例，它是总体平均数的一个估计量，如果按照相同的样本容量，相同的抽样方式，反复地抽取样本，每次可以计算一个平均数，所有可能样本的平均数所形成的分布，就是样本平均数的抽样分布。

也就是说，我们将 抽样分布 定义为 样本统计量 的分布。

有多种样本统计量：均值，方差，标准差。

如果说我们有随机变量X，和方差 σ 2 ，那么 的分布 (样本平均数的抽样分布) 方差为: σ 2 /n

我们经常使用希腊符号作为 参数 ，使用小写字母作为对应 统计量 。有时候在文学作品中，你也会看到带有 "帽子" 的希腊字母，表示这是对应 参数 的估算。

下面这个表格提供了一些最常见的参数和对应统计量：

大数法则 表示 随着样本容量增加，样本平均数越来越接近总体平均数 。

但是我们首先如何确定样本平均数可以估计总体平均数呢？我们以后如何识别参数与统计量的其他关系呢？

下面是三种最常见的估计技巧：

最大似然估计 （英语：maximum likelihood estimation，缩写为MLE），也称 极大似然估计 、 最大概似估计 ，是用来估计一个概率模型的参数的一种方法【4】。

上文已经提到，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。

最大似然估计的做法是：首先选取似然函数（一般是概率密度函数)或概率质量函数），整理之后求最大值。实际应用中一般会取 似然函数的对数作为求最大值的函数 ，这样求出的最大值和直接求最大值得到的结果是相同的。 似然函数的最大值不一定唯一，也不一定存在 。与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。

贝叶斯估计（Bayesian estimation）是利用贝叶斯定理【7】结合 新的证据 及以前的 先验概率 ，来得到 新的概率 。它提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。

贝叶斯估计将 后验概率 （考虑相关证据或数据后，某一事件的条件机率）推导为 先验概率 （考虑相关证据或数据前，某一事件不确定性的机率）及 似然函数 的共同作用结果。贝叶斯推断根据贝叶斯定理计算后验概率：

针对不同的 H 数值，只有 P(H) 和 P(E|H) （都在分子）会影响 P(H|E) 的数值。假说的 后验概率 和其 先验概率 （固有似然率）和新产生的 似然率 （假说和新得到证据的相容性）乘积成正比。

贝叶斯估计最关键的点是可以利用贝斯定理结合新的证据及以前的先验机率，来得到新的机率（这和频率论推论相反，频率论推论只考虑证据，不考虑先验机率）。

而且贝叶斯估计可以迭代使用：在观察一些证据后得到的后设机率可以当作新的先验机率，再根据新的证据得到新的后设机率。因此贝斯定理可以应用在许多不同的证据上，不论这些证据是一起出现或是不同时出现都可以，这个程序称为 贝叶斯更新 （Bayesian updating）。

中心极限定理表示样本容量足够大，平均数的抽样分布越接近正态分布。

中心极限定理 实际上应用于这些常见的统计量中：

推论统计在于使用我们收集的数据（ 样本 ）对更大的总体数据（ 总体 ）得出结论。

使用推论统计要求我们对准确代表感兴趣的总体进行取样。

收集数据的常见方式是调查。然而，根据提问的问题和提问的方式，调查会带有 偏见性 。这是解决项目时你应该想到的话题。

Bootstrap方法是非常有用的一种统计学上的估计方法，是斯坦福统计系的教授Bradley Efron【9】在总结、归纳前人研究成果的基础上提出一种新的非参数统计方法。【8】

Bootstrap是可进行统计量区间估计的统计方法，也称为自助法。

我们往往无法知道总体的参数，因此我们通过抽样来试图对总体的参数进行估计。为此，一种方法是不停的对总体不停的取样，来得出样本统计量的分布。但是，这显然是不可能的。还有两种方法能派上用场：

对于#1，如果你能确定假设成立，即整体服从某一种分布，那么只要计算量在可接受的范围内，就没有问题。比方说，总体服从正态分布，那么样本来自总体，也能以正态分布进行描述，抽样分布为正态分布。然而，当总体分布未知的时候，只能以Bootstrap方法进行分析。

我们有理由采用#2，因为样本是我们仅有的也是最好的关于总体的信息，而且，大多数随机抽取的样本同总体非常的相似。【10】

Bootstrap是放回抽样。这里以一个?来描述其基本过程：

假设我们有两个金融资产X和Y，我们现在想要合理配置这两个资产，使得其资产组合的风险最小。也就是找到一个α，使得Var(αX + (1-α) Y)最小。这个问题几十年前马尔可维茨已经在其投资组合理论里给出了解答，最优的α表达式如下：

我们发现，通过Bootstrap方法我们竟然不仅可以估计α的值（ 这点普通方法也可以很容易做到），还可以估计α的accuracy也就是其Standard Error。这可是只利用原有的样本进行一次估计所做不到的。那么Bootstrap对于分布特性的估计效果究竟如何呢？请看下图：

左边是真实的α分步，右边则是基于bootstrap方法得到的1000个α的分布，可以看到，二者是比较相近的，也就是说Bootstrap有着不错的估计效果。而且当重复次数增多，Bootstrap的估计效果会更好。

不仅是α的标准差，如果我们想要估计α的中位数、分位数等统计量，也是可以通过Boostrap方法做到的，其整个流程可以用下面一张图诠释：

本质上，Bootstrap方法，是将一次的估计过程，重复上千次上万次，从而便得到了得到上千个甚至上万个的估计值，于是利用这不止一个的估计值，我们就可以估计α均值以外的其他统计量：比如标准差、中位数等。

在 python 中使用 random.choice 实际上是自助法。无论选择多少次，我们数据集中任何数字的概率保持不变。

【1】 抽样分布

【2】 似然函数

【3】 贝叶斯法则

【4】 最大似然估计

【5】 卡尔·皮尔逊

【6】 Method of Moments

【7】 统计学5-贝叶斯法则 : 关于先验概率，后验概率，条件概率的概念及他们之间的关系，可以参考这篇文章。

【8】 Bootstrap详解 ：本文的例子来自于这篇文章。

【9】 布拉德利·埃弗龙

【10】

Q2: 怎么使用Python中Pandas库Resample，实现重采样，完成线性插值

#python中的pandas库主要有DataFrame和Series类(面向对象的的语言更愿意叫类) DataFrame也就是

#数据框(主要是借鉴R里面的data.frame)，Series也就是序列 ，pandas底层是c写的 性能很棒，有大神

#做过测试 处理亿级别的数据没问题，起性能可以跟同等配置的sas媲美

#DataFrame索引 df.loc是标签选取操作，df.iloc是位置切片操作

print(df[['row_names','Rape']])

df['行标签']

df.loc[行标签,列标签]

print(df.loc[0:2,['Rape','Murder']])

df.iloc[行位置,列位置]

df.iloc[1,1]#选取第二行，第二列的值，返回的为单个值

df.iloc[0,2],:]#选取第一行及第三行的数据

df.iloc[0:2,:]#选取第一行到第三行（不包含）的数据

df.iloc[:,1]#选取所有记录的第一列的值，返回的为一个Series

df.iloc[1,:]#选取第一行数据，返回的为一个Series

print(df.ix[1,1]) # 更广义的切片方式是使用.ix，它自动根据你给到的索引类型判断是使用位置还是标签进行切片

print(df.ix[0:2])

#DataFrame根据条件选取子集 类似于sas里面if、where ,R里面的subset之类的函数

df[df.Murder13]

df[(df.Murder10)(df.Rape30)]

df[df.sex==u'男']

#重命名 相当于sas里面的rename R软件中reshape包的中的rename

df.rename(columns={'A':'A_rename'})

df.rename(index={1:'other'})

#删除列 相当于sas中的drop R软件中的test['col']-null

df.drop(['a','b'],axis=1) or del df[['a','b']]

#排序 相当于sas里面的sort R软件里面的df[order(x),]

df.sort(columns='C') #行排序 y轴上

df.sort(axis=1) #各个列之间位置排序 x轴上

#数据描述 相当于sas中proc menas R软件里面的summary

df.describe()

#生成新的一列 跟R里面有点类似

df['new_columns']=df['columns']

df.insert(1,'new_columns',df['B']) #效率最高

df.join(Series(df['columns'],name='new_columns'))

#列上面的追加 相当于sas中的append R里面cbind()

df.append(df1,ignore_index=True)

pd.concat([df,df1],ignore_index=True)

#最经典的join 跟sas和R里面的merge类似 跟sql里面的各种join对照

merge()

#删除重行 跟sas里面nodukey R里面的which(!duplicated(df[])类似

df.drop_duplicated()

#获取最大值 最小值的位置 有点类似矩阵里面的方法

df.idxmin(axis=0 ) df.idxmax(axis=1) 0和1有什么不同 自己摸索去

#读取外部数据跟sas的proc import R里面的read.csv等类似

read_excel() read_csv() read_hdf5() 等

与之相反的是df.to_excel() df.to_ecv()

#缺失值处理 个人觉得pandas中缺失值处理比sas和R方便多了

df.fillna(9999) #用9999填充

#链接数据库 不多说 pandas里面主要用 MySQLdb

import MySQLdb

conn=MySQLdb.connect(host="localhost",user="root",passwd="",db="mysql",use_unicode=True,charset="utf8")

read_sql() #很经典

#写数据进数据库

df.to_sql('hbase_visit',con, flavor="mysql", if_exists='replace', index=False)

#groupby 跟sas里面的中的by R软件中dplyr包中的group_by sql里面的group by功能是一样的 这里不多说

#求哑变量

dumiper=pd.get_dummies(df['key'])

df['key'].join(dumpier)

#透视表 和交叉表 跟sas里面的proc freq步类似 R里面的aggrate和cast函数类似

pd.pivot_table()

pd.crosstab()

#聚合函数经常跟group by一起组合用

df.groupby('sex').agg({'height':['mean','sum'],'weight':['count','min']})

#数据查询过滤

test.query("0.2

将STK_ID中的值过滤出来

stk_list = ['600809','600141','600329']中的全部记录过滤出来，命令是：rpt[rpt['STK_ID'].isin(stk_list)].

将dataframe中，某列进行清洗的命令

删除换行符：misc['product_desc'] = misc['product_desc'].str.replace('\n', '')

删除字符串前后空格：df["Make"] = df["Make"].map(str.strip)

如果用模糊匹配的话，命令是：

rpt[rpt['STK_ID'].str.contains(r'^600[0-9]{3}$')]

对dataframe中元素，进行类型转换

df['2nd'] = df['2nd'].str.replace(',','').astype(int) df['CTR'] = df['CTR'].str.replace('%','').astype(np.float64)

#时间变换 主要依赖于datemie 和time两个包

#其他的一些技巧

df2[df2['A'].map(lambda x:x.startswith('61'))] #筛选出以61开头的数据

df2["Author"].str.replace(".+", "").head() #replace(".+", "")表示将字符串中以””开头;以””结束的任意子串替换为空字符串

commits = df2["Name"].head(15)

print commits.unique(), len(commits.unique()) #获的NAME的不同个数，类似于sql里面count(distinct name)

#pandas中最核心 最经典的函数apply map applymap

Q3: 数据分析师—技术面试

数据分析师—技术面试

三月份开始找实习，到现在已经有半年的时间了，在这半年的时间中，该经历的基本上都已经经历，春招实习时候，拿到了7个offer，校招时候，成功的拿下一份心仪的工作，结束了我的秋招旅程。对于面试，技术层面即算法、软件等等，业务层面就是忽悠（毕竟没有做过完整的项目），但是也要有自己的逻辑和思考方式（这方面我也有很大的欠缺），下面将自己的面试经历梳理为技术层面和业务层面，来分享给大家。

技术面试

一、软件

1. R语言的文件读取：csv文件的读取方式（read.csv），txt文件的读取方式（read.table）

2. R语言中一些小函数的作用

①apply函数：1代表调用每一行的函数，0代表调用每一列的函数（注意其用法和Python的区别）

②runif函数：生成均匀分布的随机数

③sample（，return = TRUE）：随机有放回的抽样

3. Python中list列表和元组的最大区别：元组的值不可以改变，但是列表的值是可以改变的。

4.数据库中表的连接方式

①内部连接：inner join

②外部连接：outer join

③左连接：left join

注：对于数据分析，建议大家无论是R，Python，sql都有自己一套流程化的体系，这一体系可以很好的帮助你解决实际中的问题。

二、算法

对于算法（分类，聚类，关联等），更是建议大家有一套流程化的体系，在面试算法的时候，是一个依次递进的过程，不要给自己挖坑，相反，更要将自己的优势发挥的淋漓尽致，把自己会的东西全部释放出来。

下面我将自己的所有面试串联起来，给大家分享一下，仅供参考。

面试官：小张同学，你好，看了你的简历，对相关算法还是略懂一些，下面开始我们的面试，有这么一个场景，在一个样本集中，其中有100个样本属于A，9900个样本属于B，我想用决策树算法来实现对AB样本进行区分，这时会遇到什么问题：

小张：欠拟合现象，因为在这个样本集中，AB样本属于严重失衡状态，在建立决策树算法的过程中，模型会更多的偏倚到B样本的性质，对A样本的性质训练较差，不能很好的反映样本集的特征。

面试官：看你决策树应该掌握的不错，你说一下自己对于决策树算法的理解？

小张：决策树算法，无论是哪种，其目的都是为了让模型的不确定性降低的越快越好，基于其评价指标的不同，主要是ID3算法，C4.5算法和CART算法，其中ID3算法的评价指标是信息增益，C4.5算法的评价指标是信息增益率，CART算法的评价指标是基尼系数。

面试官：信息增益，好的，这里面有一个信息论的概念，你应该知道的吧，叙述一下

小张：香农熵，随机变量不确定性的度量。利用ID3算法，每一次对决策树进行分叉选取属性的时候，我们会选取信息增益最高的属性来作为分裂属性，只有这样，决策树的不纯度才会降低的越快。

面试官：OK，你也知道，在决策树无限分叉的过程中，会出现一种现象，叫过拟合，和上面说过的欠拟合是不一样的，你说一下过拟合出现的原因以及我们用什么方法来防止过拟合的产生？

小张：对训练数据预测效果很好，但是测试数据预测效果较差，则称出现了过拟合现象。对于过拟合现象产生的原因，有以下几个方面，第一：在决策树构建的过程中，对决策树的生长没有进行合理的限制（剪枝）；第二：在建模过程中使用了较多的输出变量，变量较多也容易产生过拟合；第三：样本中有一些噪声数据，噪声数据对决策树的构建的干扰很多，没有对噪声数据进行有效的剔除。对于过拟合现象的预防措施，有以下一些方法，第一：选择合理的参数进行剪枝，可以分为预剪枝后剪枝，我们一般用后剪枝的方法来做；第二：K-folds交叉验证，将训练集分为K份，然后进行K次的交叉验证，每次使用K-1份作为训练样本数据集，另外的一份作为测试集合；第三：减少特征，计算每一个特征和响应变量的相关性，常见的为皮尔逊相关系数，将相关性较小的变量剔除，当然还有一些其他的方法来进行特征筛选，比如基于决策树的特征筛选，通过正则化的方式来进行特征选取等。

面试官：你刚刚前面有提到预剪枝和后剪枝，当然预剪枝就是在决策树生成初期就已经设置了决策树的参数，后剪枝是在决策树完全建立之后再返回去对决策树进行剪枝，你能否说一下剪枝过程中可以参考的某些参数？

小张：剪枝分为预剪枝和后剪枝，参数有很多，在R和Python中都有专门的参数来进行设置，下面我以Python中的参数来进行叙述，max_depth（树的高度），min_samples_split（叶子结点的数目），max_leaf_nodes（最大叶子节点数），min_impurity_split（限制不纯度），当然R语言里面的rpart包也可以很好的处理这个问题。

面试官：对了，你刚刚还说到了用决策树来进行特征的筛选，现在我们就以ID3算法为例，来说一下决策树算法对特征的筛选？

小张：对于离散变量，计算每一个变量的信息增益，选择信息增益最大的属性来作为结点的分裂属性；对于连续变量，首先将变量的值进行升序排列，每对相邻值的中点作为可能的分离点，对于每一个划分，选择具有最小期望信息要求的点作为分裂点，来进行后续的决策数的分裂。

面试官：你刚刚还说到了正则化，确实可以对过拟合现象来进行很好的调整，基于你自己的理解，来说一下正则化？

小张：这一块的知识掌握的不是很好，我简单说一下自己对这一块的了解。以二维情况为例，在L1正则化中，惩罚项是绝对值之和，因此在坐标轴上会出现一个矩形，但是L2正则化的惩罚项是圆形，因此在L1正则化中增大了系数为0的机会，这样具有稀疏解的特性，在L2正则化中，由于系数为0的机率大大减小，因此不具有稀疏解的特性。但是L1没有选到的特性不代表不重要，因此L1和L2正则化要结合起来使用。

面试官：还可以吧！正则化就是在目标函数后面加上了惩罚项，你也可以将后面的惩罚项理解为范数。分类算法有很多，逻辑回归算法也是我们经常用到的算法，刚刚主要讨论的是决策树算法，现在我们简单聊一下不同分类算法之间的区别吧！讨论一下决策树算法和逻辑回归算法之间的区别？

小张：分为以下几个方面：第一，逻辑回归着眼于对整体数据的拟合，在整体结构上优于决策树；但是决策树采用分割的方法，深入到数据内部，对局部结构的分析是优于逻辑回归；第二，逻辑回归对线性问题把握较好，因此我们在建立分类算法的时候也是优先选择逻辑回归算法，决策树对非线性问题的把握较好；第三，从本质来考虑，决策树算法假设每一次决策边界都是和特征相互平行或垂直的，因此会将特征空间划分为矩形，因而决策树会产生复杂的方程式，这样会造成过拟合现象；逻辑回归只是一条平滑的边界曲线，不容易出现过拟合现象。

面试官： 下面呢我们来聊一下模型的评估，算法进行模型评估的过程中，常用的一些指标都有哪些，精度啊？召回率啊？ROC曲线啊？这些指标的具体含义是什么？

小张：精度（precision），精确性的度量，表示标记为正例的元组占实际为正例的比例；召回率（recall），完全性的度量，表示为实际为正例的元组被正确标记的比例；ROC 曲线的横坐标为假阳性，纵坐标为真阳性，值越大，表示分类效果越好。

（to be honest，这个问题第一次我跪了，虽然说是记忆一下肯定没问题，但是当时面试的那个时候大脑是一片空白）

面试官：聚类分析你懂得的吧！在我们一些分析中，它也是我们经常用到的一类算法，下面你介绍一下K-means算法吧！

小张：对于K-means算法，可以分为以下几个步骤：第一，从数据点中随机抽取K个数据点作为初始的聚类中心；第二：计算每个点到这K个中心点的距离，并把每个点分到距离其最近的中心中去；第三：求取各个类的均值，将这些均值作为新的类中心；第四：重复进行步骤二三过程，直至算法结束，算法结束有两种，一种是迭代的次数达到要求，一种是达到了某种精度。

后记

面试的水很深，在数据分析技术面的时候问到的东西当然远远不止这些，因此在我们的脑子里面一定要形成一个完整的体系，无论是对某一门编程语言，还是对数据挖掘算法，在工作中都需要形成你的闭环，在面试中更是需要你形成闭环，如何更完美的包装自己，自己好好总结吧！

附录

R语言数据处理体系：数据简单预处理个人总结

1、数据简单查看

⑴查看数据的维度：dim

⑵查看数据的属性：colnames

⑶查看数据类型：str

注：有一些算法，比如说组合算法，要求分类变量为因子型变量；层次聚类，要求是一个距离矩阵，可以通过str函数进行查看

⑷查看前几行数据：head

注：可以初步观察数据是不是有量纲的差异，会后续的分析做准备

⑸查看因子型变量的占比情况：table/prop.table

注：可以为后续数据抽样做准备，看是否产生类不平衡的问题

2、数据缺失值处理

⑴summary函数进行简单的查看

⑵利用mice和VIM包查看数据缺失值情况，代表性函数： md.pattern、aggr

⑶caret包中的preProcess函数，可以进行缺失值的插补工作，有knn、袋装、中位数方法

⑷missForest包中的missForest函数，可以用随机森林的方法进行插补

⑸可以用回归分析的方法完成缺失值插补工作

⑹如果样本量很多，缺失的数据很少，可以选择直接剔除的方法

3、数据异常值处理

⑴summary函数进行简单的查看，比如：最大值、最小值等

⑵boxplot函数绘制箱线图

4、数据抽样

⑴sample函数进行随机抽样

⑵caret包中的createDataPartition()函数对训练样本和测试样本进行等比例抽样

⑶caret包中的createFold函数根据某一个指标进行等比例抽样

⑷DMwR包中SMOTE函数可以解决处理不平衡分类问题

注：比如决策树算法中，如果样本严重不平衡，那么模型会出现欠拟合现象

5、变量的多重共线性处理

⑴结合业务，先删除那些和分析无关的指标

⑵corrgram包的corrgram函数查看相关系数矩阵

⑶caret包中的findCorrelation函数查看多重共线性

⑷如果相关性太大，可以考虑删除变量；如果变量比较重要，可以考虑主成分/因子分析进行降维处理

Q4: 利用Python进行数据分析(9)-重采样resample和频率转换

Python-for-data-重新采样和频率转换

重新采样指的是将时间序列从一个频率转换到另一个频率的过程。

但是也并不是所有的采样方式都是属于上面的两种

pandas中使用resample方法来实现频率转换，下面是resample方法的参数详解：

将数据聚合到一个规则的低频上，例如将时间转换为每个月，"M"或者"BM"，将数据分成一个月的时间间隔。

每个间隔是半闭合的，一个数据只能属于一个时间间隔。时间间隔的并集必须是整个时间帧

默认情况下，左箱体边界是包含的。00:00的值是00：00到00：05间隔内的值

产生的时间序列按照每个箱体左边的时间戳被标记。

传递span class="mark"label="right"/span可以使用右箱体边界标记时间序列

向loffset参数传递字符串或者日期偏置

在金融数据中，为每个数据桶计算4个值是常见的问题：

通过span class="girk"ohlc聚合函数/span能够得到四种聚合值列的DF数据

低频转到高频的时候会形成缺失值

ffill() ：使用前面的值填充， limit 限制填充的次数