python中抽样函数 python随机抽取一个数

使用Python构造经验累积分布函数（ECDF）

对于一个样本序列 ，经验累积分布函数 (Empirical Cumulative Distribution Function)可被定义为

其中 是一个指示函数，如果 ，指示函数取值为1，否则取值为0，因此 能反映在样本中小于 的元素数量占比。

根据格利文科定理（Glivenko–Cantelli Theorem），如果一个样本满足独立同分布(IID)，那么其经验累积分布函数 会趋近于真实的累积分布函数 。

首先定义一个类，命名为ECDF：

我们采用均匀分布（Uniform）进行验证，导入 uniform 包，然后进行两轮抽样，第一轮抽取10次，第二轮抽取1000次，比较输出的结果。

输出结果为：

而我们知道，在真实的0到1均匀分布中， 时， ，从模拟结果可以看出，样本量越大，最终的经验累积分布函数值也越接近于真实的累积分布函数值，因此格利文科定理得以证明。

相关问答

Q1: 如何用python编写一个从随机数表1~100中抽取三个样本的随机数程序？

#导入随机数模块

import random

#定义一个空的数组，用作取样表

reList = []

#为取样表赋值，1~100

for i in range(1,101):

  reList.append(i)

#使用sample方法，取3个随机数

res = random.sample(reList,k=3)

print("三个随机数是：{}".format(res))

Q2: 数据分析师—技术面试

数据分析师—技术面试

三月份开始找实习，到现在已经有半年的时间了，在这半年的时间中，该经历的基本上都已经经历，春招实习时候，拿到了7个offer，校招时候，成功的拿下一份心仪的工作，结束了我的秋招旅程。对于面试，技术层面即算法、软件等等，业务层面就是忽悠（毕竟没有做过完整的项目），但是也要有自己的逻辑和思考方式（这方面我也有很大的欠缺），下面将自己的面试经历梳理为技术层面和业务层面，来分享给大家。

技术面试

一、软件

1. R语言的文件读取：csv文件的读取方式（read.csv），txt文件的读取方式（read.table）

2. R语言中一些小函数的作用

①apply函数：1代表调用每一行的函数，0代表调用每一列的函数（注意其用法和Python的区别）

②runif函数：生成均匀分布的随机数

③sample（，return = TRUE）：随机有放回的抽样

3. Python中list列表和元组的最大区别：元组的值不可以改变，但是列表的值是可以改变的。

4.数据库中表的连接方式

①内部连接：inner join

②外部连接：outer join

③左连接：left join

注：对于数据分析，建议大家无论是R，Python，sql都有自己一套流程化的体系，这一体系可以很好的帮助你解决实际中的问题。

二、算法

对于算法（分类，聚类，关联等），更是建议大家有一套流程化的体系，在面试算法的时候，是一个依次递进的过程，不要给自己挖坑，相反，更要将自己的优势发挥的淋漓尽致，把自己会的东西全部释放出来。

下面我将自己的所有面试串联起来，给大家分享一下，仅供参考。

面试官：小张同学，你好，看了你的简历，对相关算法还是略懂一些，下面开始我们的面试，有这么一个场景，在一个样本集中，其中有100个样本属于A，9900个样本属于B，我想用决策树算法来实现对AB样本进行区分，这时会遇到什么问题：

小张：欠拟合现象，因为在这个样本集中，AB样本属于严重失衡状态，在建立决策树算法的过程中，模型会更多的偏倚到B样本的性质，对A样本的性质训练较差，不能很好的反映样本集的特征。

面试官：看你决策树应该掌握的不错，你说一下自己对于决策树算法的理解？

小张：决策树算法，无论是哪种，其目的都是为了让模型的不确定性降低的越快越好，基于其评价指标的不同，主要是ID3算法，C4.5算法和CART算法，其中ID3算法的评价指标是信息增益，C4.5算法的评价指标是信息增益率，CART算法的评价指标是基尼系数。

面试官：信息增益，好的，这里面有一个信息论的概念，你应该知道的吧，叙述一下

小张：香农熵，随机变量不确定性的度量。利用ID3算法，每一次对决策树进行分叉选取属性的时候，我们会选取信息增益最高的属性来作为分裂属性，只有这样，决策树的不纯度才会降低的越快。

面试官：OK，你也知道，在决策树无限分叉的过程中，会出现一种现象，叫过拟合，和上面说过的欠拟合是不一样的，你说一下过拟合出现的原因以及我们用什么方法来防止过拟合的产生？

小张：对训练数据预测效果很好，但是测试数据预测效果较差，则称出现了过拟合现象。对于过拟合现象产生的原因，有以下几个方面，第一：在决策树构建的过程中，对决策树的生长没有进行合理的限制（剪枝）；第二：在建模过程中使用了较多的输出变量，变量较多也容易产生过拟合；第三：样本中有一些噪声数据，噪声数据对决策树的构建的干扰很多，没有对噪声数据进行有效的剔除。对于过拟合现象的预防措施，有以下一些方法，第一：选择合理的参数进行剪枝，可以分为预剪枝后剪枝，我们一般用后剪枝的方法来做；第二：K-folds交叉验证，将训练集分为K份，然后进行K次的交叉验证，每次使用K-1份作为训练样本数据集，另外的一份作为测试集合；第三：减少特征，计算每一个特征和响应变量的相关性，常见的为皮尔逊相关系数，将相关性较小的变量剔除，当然还有一些其他的方法来进行特征筛选，比如基于决策树的特征筛选，通过正则化的方式来进行特征选取等。

面试官：你刚刚前面有提到预剪枝和后剪枝，当然预剪枝就是在决策树生成初期就已经设置了决策树的参数，后剪枝是在决策树完全建立之后再返回去对决策树进行剪枝，你能否说一下剪枝过程中可以参考的某些参数？

小张：剪枝分为预剪枝和后剪枝，参数有很多，在R和Python中都有专门的参数来进行设置，下面我以Python中的参数来进行叙述，max_depth（树的高度），min_samples_split（叶子结点的数目），max_leaf_nodes（最大叶子节点数），min_impurity_split（限制不纯度），当然R语言里面的rpart包也可以很好的处理这个问题。

面试官：对了，你刚刚还说到了用决策树来进行特征的筛选，现在我们就以ID3算法为例，来说一下决策树算法对特征的筛选？

小张：对于离散变量，计算每一个变量的信息增益，选择信息增益最大的属性来作为结点的分裂属性；对于连续变量，首先将变量的值进行升序排列，每对相邻值的中点作为可能的分离点，对于每一个划分，选择具有最小期望信息要求的点作为分裂点，来进行后续的决策数的分裂。

面试官：你刚刚还说到了正则化，确实可以对过拟合现象来进行很好的调整，基于你自己的理解，来说一下正则化？

小张：这一块的知识掌握的不是很好，我简单说一下自己对这一块的了解。以二维情况为例，在L1正则化中，惩罚项是绝对值之和，因此在坐标轴上会出现一个矩形，但是L2正则化的惩罚项是圆形，因此在L1正则化中增大了系数为0的机会，这样具有稀疏解的特性，在L2正则化中，由于系数为0的机率大大减小，因此不具有稀疏解的特性。但是L1没有选到的特性不代表不重要，因此L1和L2正则化要结合起来使用。

面试官：还可以吧！正则化就是在目标函数后面加上了惩罚项，你也可以将后面的惩罚项理解为范数。分类算法有很多，逻辑回归算法也是我们经常用到的算法，刚刚主要讨论的是决策树算法，现在我们简单聊一下不同分类算法之间的区别吧！讨论一下决策树算法和逻辑回归算法之间的区别？

小张：分为以下几个方面：第一，逻辑回归着眼于对整体数据的拟合，在整体结构上优于决策树；但是决策树采用分割的方法，深入到数据内部，对局部结构的分析是优于逻辑回归；第二，逻辑回归对线性问题把握较好，因此我们在建立分类算法的时候也是优先选择逻辑回归算法，决策树对非线性问题的把握较好；第三，从本质来考虑，决策树算法假设每一次决策边界都是和特征相互平行或垂直的，因此会将特征空间划分为矩形，因而决策树会产生复杂的方程式，这样会造成过拟合现象；逻辑回归只是一条平滑的边界曲线，不容易出现过拟合现象。

面试官： 下面呢我们来聊一下模型的评估，算法进行模型评估的过程中，常用的一些指标都有哪些，精度啊？召回率啊？ROC曲线啊？这些指标的具体含义是什么？

小张：精度（precision），精确性的度量，表示标记为正例的元组占实际为正例的比例；召回率（recall），完全性的度量，表示为实际为正例的元组被正确标记的比例；ROC 曲线的横坐标为假阳性，纵坐标为真阳性，值越大，表示分类效果越好。

（to be honest，这个问题第一次我跪了，虽然说是记忆一下肯定没问题，但是当时面试的那个时候大脑是一片空白）

面试官：聚类分析你懂得的吧！在我们一些分析中，它也是我们经常用到的一类算法，下面你介绍一下K-means算法吧！

小张：对于K-means算法，可以分为以下几个步骤：第一，从数据点中随机抽取K个数据点作为初始的聚类中心；第二：计算每个点到这K个中心点的距离，并把每个点分到距离其最近的中心中去；第三：求取各个类的均值，将这些均值作为新的类中心；第四：重复进行步骤二三过程，直至算法结束，算法结束有两种，一种是迭代的次数达到要求，一种是达到了某种精度。

后记

面试的水很深，在数据分析技术面的时候问到的东西当然远远不止这些，因此在我们的脑子里面一定要形成一个完整的体系，无论是对某一门编程语言，还是对数据挖掘算法，在工作中都需要形成你的闭环，在面试中更是需要你形成闭环，如何更完美的包装自己，自己好好总结吧！

附录

R语言数据处理体系：数据简单预处理个人总结

1、数据简单查看

⑴查看数据的维度：dim

⑵查看数据的属性：colnames

⑶查看数据类型：str

注：有一些算法，比如说组合算法，要求分类变量为因子型变量；层次聚类，要求是一个距离矩阵，可以通过str函数进行查看

⑷查看前几行数据：head

注：可以初步观察数据是不是有量纲的差异，会后续的分析做准备

⑸查看因子型变量的占比情况：table/prop.table

注：可以为后续数据抽样做准备，看是否产生类不平衡的问题

2、数据缺失值处理

⑴summary函数进行简单的查看

⑵利用mice和VIM包查看数据缺失值情况，代表性函数： md.pattern、aggr

⑶caret包中的preProcess函数，可以进行缺失值的插补工作，有knn、袋装、中位数方法

⑷missForest包中的missForest函数，可以用随机森林的方法进行插补

⑸可以用回归分析的方法完成缺失值插补工作

⑹如果样本量很多，缺失的数据很少，可以选择直接剔除的方法

3、数据异常值处理

⑴summary函数进行简单的查看，比如：最大值、最小值等

⑵boxplot函数绘制箱线图

4、数据抽样

⑴sample函数进行随机抽样

⑵caret包中的createDataPartition()函数对训练样本和测试样本进行等比例抽样

⑶caret包中的createFold函数根据某一个指标进行等比例抽样

⑷DMwR包中SMOTE函数可以解决处理不平衡分类问题

注：比如决策树算法中，如果样本严重不平衡，那么模型会出现欠拟合现象

5、变量的多重共线性处理

⑴结合业务，先删除那些和分析无关的指标

⑵corrgram包的corrgram函数查看相关系数矩阵

⑶caret包中的findCorrelation函数查看多重共线性

⑷如果相关性太大，可以考虑删除变量；如果变量比较重要，可以考虑主成分/因子分析进行降维处理

Q3: 统计学6-抽样分布

抽样分布也称统计量分布、随机变量函数分布，是指样本估计量的分布。 样本估计量是样本的一个函数，在统计学中称作统计量，因此抽样分布也是指统计量的分布 【1】。以样本平均数为例，它是总体平均数的一个估计量，如果按照相同的样本容量，相同的抽样方式，反复地抽取样本，每次可以计算一个平均数，所有可能样本的平均数所形成的分布，就是样本平均数的抽样分布。

也就是说，我们将 抽样分布 定义为 样本统计量 的分布。

有多种样本统计量：均值，方差，标准差。

如果说我们有随机变量X，和方差 σ 2 ，那么 的分布 (样本平均数的抽样分布) 方差为: σ 2 /n

我们经常使用希腊符号作为 参数 ，使用小写字母作为对应 统计量 。有时候在文学作品中，你也会看到带有 "帽子" 的希腊字母，表示这是对应 参数 的估算。

下面这个表格提供了一些最常见的参数和对应统计量：

大数法则 表示 随着样本容量增加，样本平均数越来越接近总体平均数 。

但是我们首先如何确定样本平均数可以估计总体平均数呢？我们以后如何识别参数与统计量的其他关系呢？

下面是三种最常见的估计技巧：

最大似然估计 （英语：maximum likelihood estimation，缩写为MLE），也称 极大似然估计 、 最大概似估计 ，是用来估计一个概率模型的参数的一种方法【4】。

上文已经提到，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。

最大似然估计的做法是：首先选取似然函数（一般是概率密度函数)或概率质量函数），整理之后求最大值。实际应用中一般会取 似然函数的对数作为求最大值的函数 ，这样求出的最大值和直接求最大值得到的结果是相同的。 似然函数的最大值不一定唯一，也不一定存在 。与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。

贝叶斯估计（Bayesian estimation）是利用贝叶斯定理【7】结合 新的证据 及以前的 先验概率 ，来得到 新的概率 。它提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。

贝叶斯估计将 后验概率 （考虑相关证据或数据后，某一事件的条件机率）推导为 先验概率 （考虑相关证据或数据前，某一事件不确定性的机率）及 似然函数 的共同作用结果。贝叶斯推断根据贝叶斯定理计算后验概率：

针对不同的 H 数值，只有 P(H) 和 P(E|H) （都在分子）会影响 P(H|E) 的数值。假说的 后验概率 和其 先验概率 （固有似然率）和新产生的 似然率 （假说和新得到证据的相容性）乘积成正比。

贝叶斯估计最关键的点是可以利用贝斯定理结合新的证据及以前的先验机率，来得到新的机率（这和频率论推论相反，频率论推论只考虑证据，不考虑先验机率）。

而且贝叶斯估计可以迭代使用：在观察一些证据后得到的后设机率可以当作新的先验机率，再根据新的证据得到新的后设机率。因此贝斯定理可以应用在许多不同的证据上，不论这些证据是一起出现或是不同时出现都可以，这个程序称为 贝叶斯更新 （Bayesian updating）。

中心极限定理表示样本容量足够大，平均数的抽样分布越接近正态分布。

中心极限定理 实际上应用于这些常见的统计量中：

推论统计在于使用我们收集的数据（ 样本 ）对更大的总体数据（ 总体 ）得出结论。

使用推论统计要求我们对准确代表感兴趣的总体进行取样。

收集数据的常见方式是调查。然而，根据提问的问题和提问的方式，调查会带有 偏见性 。这是解决项目时你应该想到的话题。

Bootstrap方法是非常有用的一种统计学上的估计方法，是斯坦福统计系的教授Bradley Efron【9】在总结、归纳前人研究成果的基础上提出一种新的非参数统计方法。【8】

Bootstrap是可进行统计量区间估计的统计方法，也称为自助法。

我们往往无法知道总体的参数，因此我们通过抽样来试图对总体的参数进行估计。为此，一种方法是不停的对总体不停的取样，来得出样本统计量的分布。但是，这显然是不可能的。还有两种方法能派上用场：

对于#1，如果你能确定假设成立，即整体服从某一种分布，那么只要计算量在可接受的范围内，就没有问题。比方说，总体服从正态分布，那么样本来自总体，也能以正态分布进行描述，抽样分布为正态分布。然而，当总体分布未知的时候，只能以Bootstrap方法进行分析。

我们有理由采用#2，因为样本是我们仅有的也是最好的关于总体的信息，而且，大多数随机抽取的样本同总体非常的相似。【10】

Bootstrap是放回抽样。这里以一个🌰来描述其基本过程：

假设我们有两个金融资产X和Y，我们现在想要合理配置这两个资产，使得其资产组合的风险最小。也就是找到一个α，使得Var(αX + (1-α) Y)最小。这个问题几十年前马尔可维茨已经在其投资组合理论里给出了解答，最优的α表达式如下：

我们发现，通过Bootstrap方法我们竟然不仅可以估计α的值（ 这点普通方法也可以很容易做到），还可以估计α的accuracy也就是其Standard Error。这可是只利用原有的样本进行一次估计所做不到的。那么Bootstrap对于分布特性的估计效果究竟如何呢？请看下图：

左边是真实的α分步，右边则是基于bootstrap方法得到的1000个α的分布，可以看到，二者是比较相近的，也就是说Bootstrap有着不错的估计效果。而且当重复次数增多，Bootstrap的估计效果会更好。

不仅是α的标准差，如果我们想要估计α的中位数、分位数等统计量，也是可以通过Boostrap方法做到的，其整个流程可以用下面一张图诠释：

本质上，Bootstrap方法，是将一次的估计过程，重复上千次上万次，从而便得到了得到上千个甚至上万个的估计值，于是利用这不止一个的估计值，我们就可以估计α均值以外的其他统计量：比如标准差、中位数等。

在 python 中使用 random.choice 实际上是自助法。无论选择多少次，我们数据集中任何数字的概率保持不变。

【1】 抽样分布

【2】 似然函数

【3】 贝叶斯法则

【4】 最大似然估计

【5】 卡尔·皮尔逊

【6】 Method of Moments

【7】 统计学5-贝叶斯法则 : 关于先验概率，后验概率，条件概率的概念及他们之间的关系，可以参考这篇文章。

【8】 Bootstrap详解 ：本文的例子来自于这篇文章。

【9】 布拉德利·埃弗龙

【10】

Q4: Python 数据处理（二十四）—— 索引和选择

如果你想获取 'A' 列的第 0 和第 2 个元素，你可以这样做:

这也可以用 .iloc 获取，通过使用位置索引来选择内容

可以使用 .get_indexer 获取多个索引:

警告 ：

对于包含一个或多个缺失标签的列表，使用 .loc 或 [] 将不再重新索引，而是使用 .reindex

在以前的版本中，只要索引列表中存在至少一个有效标签，就可以使用 .loc[list-of-labels]

但是现在，只要索引列表中存在缺失的标签将引发 KeyError 。推荐的替代方法是使用 .reindex() 。

例如

索引列表的标签都存在

先前的版本

但是，现在

索引标签列表中包含不存在的标签，使用 reindex

另外，如果你只想选择有效的键，可以使用下面的方法，同时保留了数据的 dtype

对于 .reindex() ，如果有重复的索引将会引发异常

通常，您可以将所需的标签与当前轴做交集，然后重新索引

但是，如果你的索引结果包含重复标签，还是会引发异常

使用 sample() 方法可以从 Series 或 DataFrame 中随机选择行或列。

该方法默认会对行进行采样，并接受一个特定的行数、列数，或数据子集。

默认情况下， sample 每行最多返回一次，但也可以使用 replace 参数进行替换采样

默认情况下，每一行被选中的概率相等，但是如果你想让每一行有不同的概率，你可以为 sample 函数的 weights 参数设置抽样权值

这些权重可以是一个列表、一个 NumPy 数组或一个 Series ，但它们的长度必须与你要抽样的对象相同。

缺失的值将被视为权重为零，并且不允许使用 inf 值。如果权重之和不等于 1 ，则将所有权重除以权重之和，将其重新归一化。例如

当应用于 DataFrame 时，您可以通过简单地将列名作为字符串传递给 weights 作为采样权重（前提是您要采样的是行而不是列）。

sample 还允许用户使用 axis 参数对列进行抽样。

最后，我们还可以使用 random_state 参数为 sample 的随机数生成器设置一个种子，它将接受一个整数（作为种子）或一个 NumPy RandomState 对象

当为该轴设置一个不存在的键时， .loc/[] 操作可以执行放大

在 Series 的情况下，这实际上是一个追加操作

可以通过 .loc 在任一轴上放大 DataFrame

这就像 DataFrame 的 append 操作

由于用 [] 做索引必须处理很多情况（单标签访问、分片、布尔索引等），所以需要一些开销来搞清楚你的意图

如果你只想访问一个标量值，最快的方法是使用 at 和 iat 方法，这两个方法在所有的数据结构上都实现了

与 loc 类似， at 提供了基于标签的标量查找，而 iat 提供了基于整数的查找，与 iloc 类似

同时，你也可以根据这些索引进行设置值

如果索引标签不存在，会放大数据

另一种常见的操作是使用布尔向量来过滤数据。运算符包括：

|(or) 、 (and) 、 ~ (not)

这些必须用括号来分组，因为默认情况下， Python 会将 df['A'] 2 df['B'] 3 这样的表达式评估为 df['A'] (2 df['B']) 3 ，而理想的执行顺序是 (df['A'] 2) (df['B'] 3)

使用一个布尔向量来索引一个 Series ，其工作原理和 NumPy ndarray 一样。

您可以使用一个与 DataFrame 的索引长度相同的布尔向量从 DataFrame 中选择行

列表推导式和 Series 的 map 函数可用于产生更复杂的标准

我们可以使用布尔向量结合其他索引表达式，在多个轴上索引

iloc 支持两种布尔索引。如果索引器是一个布尔值 Series ，就会引发异常。

例如，在下面的例子中， df.iloc[s.values, 1] 是正确的。但是 df.iloc[s，1] 会引发 ValueError 。

Q5: python中的排列组合

在日常的工作学习中，我们肯定会遇到排列组合问题，比如，在5种颜色的球中，任意取3个，共有多少种组合方式，这也包括有放回和无放回抽样。

在python中，自带的排列组合函数，都在python的指导工具包itertools中。

product 笛卡尔积（有放回抽样排列）

permutations 排列（不放回抽样排列）

combinations 组合,没有重复（不放回抽样组合）

combinations_with_replacement 组合,有重复（有放回抽样组合）

python3中返回的为对象，可以通过迭代读取将值输出。

end

关于python中抽样函数和python随机抽取一个数的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。