python空值函数 python处理空值

python检查是否有缺失值

统计data里每一列是否有空值：

data.isnull().any()

统计data里每一列空值的个数：

data.isnull().any().sum()

但是有的时候，明明有空值却统计不出来。

最近我遇到的数据，空值的填充是null，这个需要转化一下才可以用上面的函数。

data = data.replace('null',np.NaN)

然后你再继续用data.isnull().any()，ata.isnull().any().sum()就没问题了。

如果这么做，你的问题还没解决，查看你的缺失值的填充是什么，用np.NaN替代。、

另外的方法：

np.any(np.isnan(data))

np.all(np.isfinite(data))

相关问答

Q1: python中如何将表中的数据做成一张表,然后再从中取出数据？

第一部分是生成数据表，常见的生成方法有两种，第一种是导入外部数据，第二种是直接写入数据。 Excel 中的文件菜单中提供了获取外部数据的功能，支持数据库和文本文件和页面的多种数据源导入。

获取外部数据

python 支持从多种类型的数据导入。在开始使用 python 进行数据导入前需要先导入 pandas 库，为了方便起见，我们也同时导入 numpy 库。

1 import numpy as np

2 import pandas as pd

导入数据表

下面分别是从 excel 和 csv 格式文件导入数据并创建数据表的方法。代码是最简模式，里面有很多可选参数设置，例如列名称，索引列，数据格式等等。感兴趣的朋友可以参考 pandas 的

官方文档。

1 df=pd.DataFrame(pd.read_csv(‘name.csv’,header=1))

2 df=pd.DataFrame(pd.read_excel(‘name.xlsx’))

创建数据表

另一种方法是通过直接写入数据来生成数据表，excel 中直接在单元格中输入数据就可以，python 中通过下面的代码来实现。生成数据表的函数是 pandas 库中的 DateFrame 函数，数据表一共有 6 行数据，每行有 6 个字段。在数据中我们特意设置了一些 NA 值和有问题的字段，例如包含空格等。后面将在数据清洗步骤进行处理。后面我们将统一以 DataFrame 的简称 df 来命名数据表。

1 df = pd.DataFrame({‘id’:[1001,1002,1003,1004,1005,1006],

2 ‘date’:pd.date_range(‘20130102’, periods=6),

3 ‘city’:['Beijing ', ‘SH’, ’ guangzhou ', ‘Shenzhen’, ‘shanghai’, 'BEIJING '],

4 ‘age’:[23,44,54,32,34,32],

5 ‘category’:[‘100-A’,‘100-B’,‘110-A’,‘110-C’,‘210-A’,‘130-F’],

6 ‘price’:[1200,np.nan,2133,5433,np.nan,4432]},

7 columns =[‘id’,‘date’,‘city’,‘category’,‘age’,‘price’])

这是刚刚创建的数据表，我们没有设置索引列，price 字段中包含有 NA 值，city 字段中还包含了一些脏数据。

数据表检查

python 中处理的数据量通常会比较大，所以就需要我们对数据表进行检查。比如我们之前的文章中介绍的纽约出租车数据和 Citibike 的骑行数据，数据量都在千万级，我们无法一目了然的了解数据表的整体情况，必须要通过一些方法来获得数据表的关键信息。数据表检查的另一个目的是了解数据的概况，例如整个数据表的大小，所占空间，数据格式，是否有空值和重复项和具体的数据内容。为后面的清洗和预处理做好准备。

数据维度(行列)

Excel 中可以通过 CTRL 向下的光标键，和 CTRL 向右的光标键来查看行号和列号。Python 中使用 shape 函数来查看数据表的维度，也就是行数和列数，函数返回的结果(6,6)表示数据表有 6 行，6 列。下面是具体的代码。

1 #查看数据表的维度

2 df.shape

3 (6, 6)

数据表信息

使用 info 函数查看数据表的整体信息，这里返回的信息比较多，包括数据维度，列名称，数据格式和所占空间等信息。

1 #数据表信息

2 df.info()

4 class ‘pandas.core.frame.DataFrame’

5 RangeIndex: 6 entries, 0 to 5

6 Data columns (total 6 columns):

7 id 6 non-null int64

8 date 6 non-null datetime64[ns]

9 city 6 non-null object

10 category 6 non-null object

11 age 6 non-null int64

12 price 4 non-null float64

13 dtypes: datetime64ns, float64(1), int64(2), object(2)

14 memory usage: 368.0 bytes

查看数据格式

Excel 中通过选中单元格并查看开始菜单中的数值类型来判断数据的格式。Python 中使用 dtypes 函数来返回数据格式。

Dtypes 是一个查看数据格式的函数，可以一次性查看数据表中所有数据的格式，也可以指定一列来单独查看。

1#查看数据表各列格式

2df.dtypes

3

4id int64

5date datetime64[ns]

6city object

7category object

8age int64

9price float64

10dtype: object

11

12#查看单列格式

13df[‘B’].dtype

14

15dtype(‘int64’)

查看空值

Excel 中查看空值的方法是使用“定位条件”功能对数据表中的空值进行定位。“定位条件”在“开始”目录下的“查找和选择”目录中。

Isnull 是 Python 中检验空值的函数，返回的结果是逻辑值，包含空值返回 True，不包含则返回 False。可以对整个数据表进行检查，也可以单独对某一列进行空值检查。

df_isnull

1#检查特定列空值

2df[‘price’].isnull()

3

40 False

51 True

62 False

73 False

84 True

95 False

10Name: price, dtype: bool

查看唯一值

Excel 中查看唯一值的方法是使用“条件格式”对唯一值进行颜色标记。Python 中使用 unique 函数查看唯一值。

Unique 是查看唯一值的函数，只能对数据表中的特定列进行检查。下面是代码，返回的结果是该列中的唯一值。类似与 Excel 中删除重复项后的结果。

1 #查看 city 列中的唯一值

2 df[‘city’].unique()34array(['Beijing ', ‘SH’, ’ guangzhou ', ‘Shenzhen’, ‘shanghai’, 'BEIJING '], dtype=object)

查看数据表数值

Python 中的 Values 函数用来查看数据表中的数值。以数组的形式返回，不包含表头信息。

1#查看数据表的值

2df.values

3

4array([[1001, Timestamp(‘2013-01-02 00:00:00’), 'Beijing ', ‘100-A’, 23,

5 1200.0],

6 [1002, Timestamp(‘2013-01-03 00:00:00’), ‘SH’, ‘100-B’, 44, nan],

7 [1003, Timestamp(‘2013-01-04 00:00:00’), ’ guangzhou ', ‘110-A’, 54,

8 2133.0],

9 [1004, Timestamp(‘2013-01-05 00:00:00’), ‘Shenzhen’, ‘110-C’, 32,

10 5433.0],

11 [1005, Timestamp(‘2013-01-06 00:00:00’), ‘shanghai’, ‘210-A’, 34,

12 nan],

13 [1006, Timestamp(‘2013-01-07 00:00:00’), 'BEIJING ', ‘130-F’, 32,

14 4432.0]], dtype=object)

查看列名称

Colums 函数用来单独查看数据表中的列名称。

1 #查看列名称

2 df.columns

3

4 Index([‘id’, ‘date’, ‘city’, ‘category’, ‘age’, ‘price’], dtype=‘object’)

查看前 10 行数据

Head 函数用来查看数据表中的前 N 行数据，默认 head()显示前 10 行数据，可以自己设置参数值来确定查看的行数。下面的代码中设置查看前 3 行的数据。

1#查看前 3 行数据``df.head(``3``)

Tail 行数与 head 函数相反，用来查看数据表中后 N 行的数据，默认 tail()显示后 10 行数据，可以自己设置参数值来确定查看的行数。下面的代码中设置查看后 3 行的数据。

1#查看最后 3 行df.tail(3)

Q2: python count的函数用法是什么？

以下代码python空值函数的功能是 统计列表中重复项的出现次数

这里面就用到了 count() 函数

mylist = ['apple', 'banana', 'grape', 'banana', 'apple', 'grape', 'grape']

myset = set(mylist)

for item in myset:

print("the %s has been found %d times" % (item, mylist.count(item)))

函数COUNT在计数时python空值函数，将把数值型的数字计算进去；但是错误值、空值、逻辑值、日期、文字则被忽略。

如果参数是一个数组或引用，那么只统计数组或引用中的数字；数组中或引用的空单元格、逻辑值、文字或错误值都将忽略。如果要统计逻辑值、文字或错误值，请使用函数COUNTA（COUNTIF按EXCEL的说明也行，但常出毛病）。

排序过程

假设输入的线性表L的长度为n，L=L1,L2,..,Ln；线性表的元素属于有限偏序集S，|S|=k且k=O(n)，S={S1,S2,..Sk}；则计数排序可以描述如下：

1、扫描整个集合S，对每一个Si∈S，找到在线性表L中小于等于Si的元素的个数T(Si)；

2、扫描整个线性表L，对L中的每一个元素Li，将Li放在输出线性表的第T(Li)个位置上，并将T(Li)减1。

以上内容参考：百度百科-计数排序

Q3: python中x=（y=1 ）为什么是非法的呢？

x=(y=1)在解释器看来就是x= y=1，解释器会先解释y=1 但是y=1是个赋值语句不会有返回值，所以x等于的是个空值。

Python由荷兰数学和计算机科学研究学会的Guido van Rossum 于1990 年代初设计，作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言。

扩展资料：

Python开发人员尽量避开不成熟或者不重要的优化。一些针对非重要部位的加快运行速度的补丁通常不会被合并到Python内。所以很多人认为Python很慢。不过，根据二八定律，大多数程序对速度要求不高。在某些对运行速度要求很高的情况，Python设计师倾向于使用JIT技术，或者用使用C/C++语言改写这部分程序。

Python是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。Python支持重载运算符和动态类型。相对于Lisp这种传统的函数式编程语言，Python对函数式设计只提供了有限的支持。有两个标准库(functools, itertools)提供了Haskell和Standard ML中久经考验的函数式程序设计工具。

Q4: 像Excel一样使用Python（一）

在进行数据处理时，如果数据简单，数量不多，excel是大家的首选。但是当数据众多，类型复杂，需要灵活地显示切片、进行索引、以及排序时，python会更加方便。借助python中的numpy和pandas库，它能快速完成各种任务，包括数据的创建、检查、清洗、预处理、提取、筛选、汇总、统计等。接下来几篇文章，将以excel为参照，介绍python中数据的处理。

提到pandas，那就不得不提两类重要的数据结构，Series和DataFrame，这两类数据结构都是建立在numpy的数组array基础上。与array相比，Series是一个一维的数据集，但是每个数据元素都带有一个索引，有点类似于字典。而DataFrame在数组的基础上，增加了行索引和列索引，类似于Series的字典，或者说是一个列表集。

所以在数据处理前，要安装好numpy , pandas。接下来就看看如何完成一套完整的数据操作。

创建数据表的方法分两种，分别是从外部导入数据，以及直接写入数据。

在python中，也可外部导入xlsx格式文件，使用read_excel()函数：

import pandas as pd

from pandas import DataFrame,Series

data=DataFrame(pd.read_excel('c:/python27/test.xlsx'))

print data

输出：

Gene Size Function

0 arx1 411 NaN

1 arx2 550 monooxygenase

2 arx3 405 aminotransferase

……

即：调用pandas中read_excel属性，来读取文件test.xlsx，并转换成DataFrame格式，赋给变量data。在每一行后，自动分了一个索引值。除了excel，还支持以下格式文件的导入和写入：

Python写入的方法有很多，但还是不如excel方便。常用的例如使用相等长度的字典或numpy数组来创建：

data1 = DataFrame(

{'Gene':['arx1','arx2','arx3'],

'Size':[411,550,405],

'Func':[np.NaN,'monooxygenase','aminotransferase ']})

print data1

输出

Func Gene Size

0 NaN arx1 411

1 monooxyg arx2 550

2 amino arx3 405

分配一个行索引后，自动排序并输出。

在python中，可以使用info()函数查看整个数据的详细信息。

print data.info()

输出

RangeIndex: 7 entries, 0 to 6

Data columns (total 3 columns):

Gene 7 non-null object

Size 7 non-null int64

Function 5 non-null object

dtypes: int64(1), object(2)

memory usage: 240.0+ bytes

None

此外，还可以通过shape, column, index, values, dtypes等函数来查看数据维度、行列组成、所有的值、 数据类型：

print data1.shape

print data1.index

print data1.columns

print data1.dtypes

输出

(3, 3)

RangeIndex(start=0, stop=3, step=1)

Index([u'Func', u'Gene', u'Size'], dtype='object')

Func object

Gene object

Size int64

dtype: object

在excel中可以按“F5”，在“定位条件”中选择“空值”，选中后，输入替换信息，再按“Ctrl+Enter”即可完成替换。

在python中，使用函数 isnull 和 notnull 来检测数据丢失, 包含空值返回True，不包含则返回False。

pd.isnull(data1)

pd.notnull(data1)

也可以使用函数的实例方法，以及加入参数，对某一列进行检查：

print data1['Func'].isnull()

输出

Func Gene Size

0 True False False

1 False False False

2 False False False

再使用fillna对空值进行填充：

data.fillna(value=0)

#用0来填充空值

data['Size'].fillna(data1['Size'].mean())

#用data1中Size列的平均值来填充空值

data['Func']=data['Func'].map(str.strip)

#清理Func列中存在的空格

Excel中可以按“Ctrl+F”，可调出替换对话框，替换相应数据。

Python中，使用replace函数替换：

data['Func'].replace('monooxygenase', 'oxidase')

将Func列中的'monooxygenase'替换成'oxidase'。

Excel中，通过“数据-筛选-高级”可以选择性地看某一列的唯一值。

Python中，使用unique函数查看：

print data['Func'].unique()

输出

[nan u'monooxygenase' u'aminotransferase' u'methyltransferase']

Excel中，通过UPPER、LOWER、PROPER等函数来变成大写、小写、首字母大写。

Python中也有同名函数：

data1['Gene'].str.lower()

Excel中可以通过“数据-删除重复项”来去除重复值。

Python中，可以通过drop_duplicates函数删除重复值：

print data['Func'].drop_duplicates()

输出

0 NaN

1 monooxygenase

2 aminotransferase

3 methyltransferase

Name: Func, dtype: object

还可以设置“ keep=’last’ ”参数，后出现的被保留，先出现的被删除：

print data['Func'].drop_duplicates(keep='last')

输出

2 aminotransferase

3 methyltransferase

6 monooxygenase

8 NaN

Name: Func, dtype: object

内容参考：

Python For Data Analysis

蓝鲸网站分析博客，作者蓝鲸（王彦平）

Q5: Python3 & 基本数据类型（一）

Python提供的基本数据类型：数值(整型、浮点型、复数、布尔型等)、字符串、列表、元组、字典、集合等python空值函数，将它们简单分类如下：

通常被称为整型python空值函数，数值为正或者负，不带小数点。

Python 3的整型可以当做Long类型使用，所以Python 3没有

Python 2的Long类型。

Python 初始化的时候会自动建立一个小整数对象池，方便我们调用，避免后期重复生成！这是一个包含 262个指向整数对象的指针数组，范围是 -5 到 256 。

Python的浮点数就是数学中的小数，类似C语言中的double。

浮点数 也就是小数，如 1.23 ， 3.14 ， -9.01 等等。但是对于很大或很小的浮点数，一般用科学计数法表示，把10用e替代， 1.23x10^9 就是 1.23e9 ，或者 12.3e8 ， 0.000012 可以写成1.2e-5 等等。

复数 由实数部分和虚数部分构成，可以用a + bj,或者complex(a,b)表示，复数的实部a和虚部b都是浮点。

对 与 错 、 0 和 1 、 正 与 反 ，都是传统意义上的布尔类型。

但在Python语言中，布尔类型只有两个值， True 与 False 。请注意，是英文单词的对与错，并且首字母要大写。

在Python中，0、0.0、-0.0、None、空字符串“”、空元组()、空列表[]、空字典{}都被当作False，还有自定义类型，如果实现python空值函数了 nonzero ()或 len ()方法且方法返回0或False，则其实例也被当作False，其他对象均为True

布尔值还可以用and、or和not运算。

1)、and 运算是 与 运算，只有所有都为 True ， and 运算的结果才是 True ;

2)、or 运算是 或 运算，只要其中有一个为 True ， or 运算结果就是 True ;

3)、not 运算是 非 运算，它是单目运算符，把 True 变成 False，False 变成 True。

例如：

由以上案例可以看出，在做四则运算的时候，明显把 True 看做 1 ， False 看做 0 。

4）空值

空值不是布尔类型，只不过和布尔关系比较紧密。

空值是Python里一个特殊的值，用 None 表示（首字母大写）。None不能理解为0，因为0是整数类型，而None是一个特殊的值。None也不是布尔类型，而是NoneType。

在某些特定的情况下，需要对数字的类型进行转换。

Python提供了内置的数据类型转换函数：

int(x) 将x转换为一个整数。如果x是一个浮点数，则截取小数部分。

float(x) 将x转换成一个浮点数。

complex(x) 将x转换到一个复数，实数部分为 x，虚数部分为 0。

complex(x, y)： 将 x 和 y 转换到一个复数，实数部分为 x，虚数部分为 y。

Python字符串即可以用单引号也可以用双引号括起来，甚至还可以用三引号括起来，字符串是以''或""括起来的任意文本。

例如：'abc'，"xyz"等等。请注意，''或""本身只是一种表示方式，不是字符串的一部分，因此，字符串'abc'只有a，b，c这3个字符。如果'本身也是一个字符，那就可以用""括起来，比如"I'm OK"包含的字符是I，'，m，空格，O，K这6个字符。

字符串中包括特殊字符，可以用转义字符\来标识

但是字符串里面如果有很多字符都需要转义，就需要加很多\，为了简化，Python还允许用r''表示''内部的字符串默认不转义

例如：

print r'\\\t\\' #输出：\\\t\\

字符串的一些常见操作

切⽚是指对操作的对象截取其中⼀部分的操作

语法：序列[开始位置下标:结束位置下标:步⻓]

a. 不包含结束位置下标对应的数据， 正负整数均可；

b. 步⻓是选取间隔，正负整数均可，默认步⻓为1。

find()：检测某个⼦串是否包含在这个字符串中，如果在返回这个⼦串开始的位置下标，否则则返回-1。

index()：检测某个⼦串是否包含在这个字符串中，如果在返回这个⼦串开始的位置下标，否则则报异常。

rfind()： 和find()功能相同，但查找⽅向为右侧开始。

rindex()：和index()功能相同，但查找⽅向为右侧开始。

count()：返回某个⼦串在字符串中出现的次数。

replace()：替换

split()：按照指定字符分割字符串。

join()：⽤⼀个字符或⼦串合并字符串，即是将多个字符串合并为⼀个新的字符串。

capitalize()：将字符串第⼀个字符转换成⼤写。

title()：将字符串每个单词⾸字⺟转换成⼤写。

lower()：将字符串中⼤写转⼩写。

upper()：将字符串中⼩写转⼤写。

lstrip()：删除字符串左侧空⽩字符。

rstrip()：删除字符串右侧空⽩字符。

strip()：删除字符串两侧空⽩字符。

ljust()：返回⼀个原字符串左对⻬,并使⽤指定字符(默认空格)填充⾄对应⻓度 的新字符串。

rjust()：返回⼀个原字符串右对⻬,并使⽤指定字符(默认空格)填充⾄对应⻓度 的新字符串，语法和

ljust()相同。

center()：返回⼀个原字符串居中对⻬,并使⽤指定字符(默认空格)填充⾄对应⻓度 的新字符串，语

法和ljust()相同。

所谓判断即是判断真假，返回的结果是布尔型数据类型：True 或 False。

startswith()：检查字符串是否是以指定⼦串开头，是则返回 True，否则返回 False。如果设置开

始和结束位置下标，则在指定范围内检查。

endswith()：：检查字符串是否是以指定⼦串结尾，是则返回 True，否则返回 False。如果设置开

始和结束位置下标，则在指定范围内检查。

isalpha()：如果字符串⾄少有⼀个字符并且所有字符都是字⺟则返回 True, 否则返回 False。

isdigit()：如果字符串只包含数字则返回 True 否则返回 False。

isalnum()：如果字符串⾄少有⼀个字符并且所有字符都是字⺟或数字则返 回 True,否则返回

False。

关于python空值函数和python处理空值的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。