python安全编码函数 python安全编程

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

Python 2 和 Python 3 之间的区别

按照当前时间点（Python 2.7 和 Python3.6），从宏观上介绍下Python 3和Python 2的区别，并举一些对应常见的例子：

1. 统一了字符编码支持。我特意把它拿出来放在第一条...

2. 增加了新的语法。print/exec等成为了函数，格式化字符串变量，类型标注，添加了nonlocal、yield from、async/await、yield for关键词和__annotations__、__context__、__traceback__、__qualname__等dunder方法。

3. 修改了一些语法。metaclass，raise、map、filter以及dict的items/keys/values方法返回迭代对象而不是列表，描述符协议，保存类属性定义顺序，保存关键字参数顺序

4. 去掉了一些语法。cmp、(也就是!=)、xrange（其实就是range）、不再有经典类

5. 增加一些新的模块。concurrent.futures、venv、unittest.mock、asyncio、selectors、typing等

6. 修改了一些模块。主要是对模块添加函数/类/方法（如functools.lru_cache、threading.Barrier）或者参数。

7. 模块改名。把一些相关的模块放进同一个包里面（如httplib, BaseHTTPServer, CGIHTTPServer, SimpleHTTPServer, Cookie, cookielib放进了http里面，urllib, urllib2, urlparse, robotparse放进了urllib里面），个例如SocketServer改成了socketserver，Queue改成queue等

8. 去掉了一些模块或者函数。gopherlib、md5、contextlib.nested、inspect.getmoduleinfo等。去掉的内容的原因主要是2点：1. 过时的技术产物，已经没什么人在用了；2. 出现了新的替代产物后者被证明存在意义不大。理论上对于开发者影响很小。

9. 优化。重新实现了dict可以减少20%-25%的内存使用；提升pickle序列化和反序列化的效率；collections.OrderedDict改用C实现；通过os.scandir对glob模块中的glob()及iglob()进行优化，使得它们现在大概快了3-6倍等.. 这些都是喜大普奔的好消息，同样开发者不需要感知，默默的就会让结果变得更好。

10. 其他。构建过程、C的API、安全性等方面的修改，通常对于开发者不需要关心。

最后，重提一下我经常说的那句话：

相关问答

Q1: 如何成为Python高手

如果你有一定的计算机编程知识基础，那么很容易学；再如果你对编程十分感兴趣，那么很容易学的。

1，找到合适的入门书籍，大致读一次，循环啊判断啊，常用类啊，搞懂（太难的跳过）

2，做些简单习题，字符串比较，读取日期之类 Python Cookbook不错（太难太无趣的，再次跳过，保持兴趣是最重要的，不会的以后可以再学）

3，加入Python讨论群，态度友好笑眯眯（很重要，这样高手才会耐心纠正你错误常识）。很多小问题，纠结许久，对方一句话点播思路，真的节约你很多时间。耐心指教我的好人，超级超级多谢。

4，解决自己电脑问题。比如下载美剧，零散下载了2，4，5，8集，而美剧共12集，怎样找出漏下的那几集？然后问题分解，1读取全部下载文件名，2提取集的数字，3数字排序和（1--12）对比，找出漏下的。

对于python初学者来说，能找到一个好老师学习格外重要，这能决定你是不是可以做出好的项目，在python开发的路上越走越轻松，如果现在的你缺乏学习经验，找不到老师指导你学习，可以加企鹅扣-Q前面112再加上中间的983以及最后四位数4903，连在一起就可以了。

5，时刻记住目的，不是为了当程序员，是为了解决问题。比如，想偷懒抓网页内容，用urllib不行，用request也不行，才发现抓取内容涉及那么多方面（cookie，header，SSL，url，javascript等等），当然可以听人家劝，回去好好读书，从头读。或者，不求效率，只求解决，用ie打开网页再另存为行不行？ie已经渲染过全部结果了。问题变成：1--打开指定的10个网页（一行代码就行）。更复杂的想保存呢？利用已经存在的包，比如PAM30（我的是Python3），直接打开ie，用函数outHTML另存为文本，再用搜索函数（str搜索也行，re正则也行）找到数据。简单吧？而且代码超级短。

6，保持兴趣，用最简单的方式解决问题，什么底层驱动，各种交换，留给大牛去写吧。我们利用已经有的包完成。

7，耐心读文档，并且练习快速读文档。拿到新包，找到自己所需要的函数，是需要快速读一次的。这个不难，读函数名，大概能猜到是干嘛的，然后看看返回值，能判断是不是自己需要的。

8，写帮助文件和学习笔记，并发布共享。教别人的时候，其实你已经自己再次思考一次了。我觉得学程序就像学英文，把高频率的词（循环，判断，常用包，常用函数）搞懂，就能拼装成自己想要的软件。一定要保持兴趣，太复杂的跳过，就像小学数学，小学英语，都是由简入深。网络很平面，无数国际大牛著作好书，关于Python，算法，电脑，网络，或者程序员思路，或者商业思维（浪潮之巅是本好书）等等，还有国际名校的网络公开课（中英文字幕翻译完毕，观看不是难事），讲计算机，网络，安全，或者安卓系统，什么都有，只要能持续保持兴趣，一点点学习下去，不是难事。所有天才程序员，都曾是儿童，回到儿童思维来理解和学习。觉得什么有趣，先学，不懂的，先放着，遇到问题再来学，效果更好。唯一建议是，不要太贪心，耐心学好一门优雅的语言，再学其它。虽然Javascript做特效很炫，或提某问题时，有大牛建议，用Ruby来写更好之类，不要改方向。就像老笑话：“要学习递归，必须首先理解递归。”然后死循环一直下去。坚持学好一门语言，再研究其他。即使一门语言，跟网络，数据库等等相关的部分，若都能学好，再学其他语言，是很快的事情。另外就是，用学英文的耐心来学计算机，英文遇到不懂的词，抄下，查询。 python里，看到Http，查查定义，看到outHtml，查查定义，跟初学英语时候一样，不要直接猜意思，因为精确描述性定义，跟含糊自然语有区别的。而新人瞎猜，很容易错误理解，wiki，google很有用。

Q2: python基础都有哪些内容呢?

阶段一：Python开发基础

Python全栈开发与人工智能之Python开发基础知识学习内容包括：Python基础语法、数据类型、字符编码、文件操作、函数、装饰器、迭代器、内置方法、常用模块等。

阶段二：Python高级编程和数据库开发

Python全栈开发与人工智能之Python高级编程和数据库开发知识学习内容包括：面向对象开发、Socket网络编程、线程、进程、队列、IO多路模型、Mysql数据库开发等。

阶段三：前端开发

Python全栈开发与人工智能之前端开发知识学习内容包括：Html、CSS、JavaScript开发、Jquerybootstrap开发、前端框架VUE开发等。

阶段四：WEB框架开发

Python全栈开发与人工智能之WEB框架开发学习内容包括：Django框架基础、Django框架进阶、BBS+Blog实战项目开发、缓存和队列中间件、Flask框架学习、Tornado框架学习、Restful API等。

阶段五：爬虫开发

Python全栈开发与人工智能之爬虫开发学习内容包括：爬虫开发实战。

阶段六：全栈项目实战

Python全栈开发与人工智能之全栈项目实战学习内容包括：企业应用工具学习、CRM客户关系管理系统开发、路飞学城在线教育平台开发等。

阶段七：数据分析

Python全栈开发与人工智能之数据分析学习内容包括：金融量化分析。

阶段八：人工智能

Python全栈开发与人工智能之人工智能学习内容包括：机器学习、图形识别、无人机开发、无人驾驶等。

阶段九：自动化运维开发

Python全栈开发与人工智能之自动化运维开发学习内容包括：CMDB资产管理系统开发、IT审计+主机管理系统开发、分布式主机监控系统开发等。

阶段十：高并发语言GO开发

Python全栈开发与人工智能之高并发语言GO开发学习内容包括：GO语言基础、数据类型与文件IO操作、函数和面向对象、并发编程等。

这是我校课程大纲，不妨试试！

Q3: python输出到文件乱码如何解决

python代码文件的编码

py文件默认是ASCII编码，中文在显示时会做一个ASCII到系统默认编码的转换，这时就会出错：SyntaxError: Non-ASCII character。需要在代码文件的第一行或第二行添加编码指示：

1 # coding=utf-8 ##以utf-8编码储存中文字符

2 print '中文'

像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果用unicode编码，有以下三种方式：

1 s1 = u'中文' #u表示用unicode编码方式储存信息

2 s2 = unicode('中文','gbk')

unicode是一个内置函数，第二个参数指示源字符串的编码格式。

decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。

encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。

（2）、字符串的编码

用 u'汉字' 构造出来的是unicode类型，不用的话构造出来是str类型

str的编码是与系统环境相关的，一般就是sys.getfilesystemencoding()得到的值

所以从unicode转str，要用encode方法

从str转unicode，所以要用decode

例如：

# coding=utf-8 #默认编码格式为utf-8

s = u'中文' #unicode编码的文字

print s.encode('utf-8') #转换成utf-8格式输出

但当python中间处理非ASCII编码时，经常会出现如下错误：

UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)

0x??是超出128的数字，python在默认的情况下认为语言的编码是ascii编码，所以无法处理其他编码，需要设置python的默认编码为所需要的编码。

一个解决的方案是在代码中添加：

import sys

reload(sys)

sys.setdefaultencoding('utf-8') （其中utf-8为你想输出的字符编码）

解释：

sys.setdefaultencoding方法在python导入site.py后就删除了(具体代码查看site.py就可以看到)因此如果想用的话可以再重新load进入

总结：

u=u'unicode编码文字'

g=u.encode('gbk') #转换为gbk格式

print g #此时为乱码，因为当前环境为utf-8,gbk编码文字为乱码

str=g.decode('gbk').encode('utf-8') #以gbk编码格式读取g（因为他就是gbk编码的,需要事先知道它是GBK编码）并转换为utf-8格式输出

print str #正常显示中文（同文件输出）

安全的方法：

s.decode('gbk','ignore').encode('utf-8′) #以gbk编码读取（当然是读取gbk编码格式的文字了）并忽略错误的编码，转换成utf-8编码输出。

推荐学习《Python教程》！

Q4: Linux 下Python 脚本编写的quot;奇技淫巧quot;

「生命完美的答案，无非走过没有遗憾 ---《天蓝》」

「如何能够解析脚本运行命令行选项(位于 sys.argv 中)」

argparse 模块可被用来解析命令行选项

常用来定义一个脚本的说明文档，一般我们写python脚本会通过 if..else 的方式来提供一个脚本说明文档，python不支持switch。所以很麻烦，其实，我们可以通过 argparse 来编写说明文档。

我们来看看怎么执行一个python脚本

对于熟悉Linux的小伙伴下面的文档在熟悉不过了，这个一个标准Linxu软件包的说明文档，文档中定义是软件包的说明

来看看这个脚本是如何编写的

为了解析命令行选项，首先要创建一个 ArgumentParser 实例，使用 add_argument() 方法声明你想要支持的选项。在每个 add-argument() 调用中:

dest 参数指定解析结果被指派给属性的名字。 metavar 参数被用来生成帮助信息。

action 参数指定跟属性对应的处理逻辑，通常的值为 store , 被用来存储某个值或将多个参数值收集到一个列表中。

nargs 参数收集所有剩余的命令行参数到一个列表中。在本例中它被用来构造一个文件名列表

action='store_true' 根据参数是否存在来设置一个位置 Boolean 标志：

action='store' 参数接受一个单独值并将其存储为一个字符串

如果一个都没有，会提示缺少参数 -p/--pat

choices={'slow', 'fast'}, 参数说明接受一个值，但是会将其和可能的选择值做比较，以检测其合法性：

一旦参数选项被指定，你就可以执行 parser.parse() 方法了。它会处理 sys.argv 的值并返回一个结果实例。每个参数值会被设置成该实例中 add_argument() 方法的 dest 参数指定的属性值。

还很多种其他方法解析命令行选项。可以会手动地处理 sys.argv 或者使用 getopt 模块。但是，如果你采用本节的方式，将会减少很多冗余代码，底层细节 argparse 模块已经帮你处理好了。你可能还会碰到使用 optparse 库解析选项的代码。尽管 optparse 和 argparse 很像，但是后者更先进，因此在新的程序中你应该使用它。

「你写了个脚本，运行时需要一个密码。此脚本是交互式的，因此不能将密码在脚本中硬编码，而是需要弹出一个密码输入提示，让用户自己输入。」

Python 的 getpass 模块正是你所需要的。你可以让你很轻松地弹出密码输入提示，并且不会在用户终端显示密码。

代码中 getpass.getuser() 不会弹出用户名的输入提示。它会根据该用户的 shell 环境或者会依据本地系统的密码库 (支持 pwd 模块的平台)来使用当前用户的登录名

在bash中编写pytohn脚本接收外部数据的方式，一般情况下，对于一般变量，我们用命令行变量的方式比较多(手动的处理 sys.argv )，对于文件内容或者bash命令输出直接通过脚本内部获取需要的数据。

其实python 脚本也可以用其他方式来接收传递给他的文件数据或者bash命令输出，包括将命令行的输出通过管道传递给该脚本、重定向文件到该脚本，或在命令行中传递一个文件名或文件名列表给该脚本。

这里通过 Python 内置的 fileinput 模块，可以实现重定向，管道，以文佳输出的方式传递数据到脚本内部

使用 fileinput.input() 方法可以获取当前输入脚本的数据，脚本里面用一个 FileInput 迭代器接收

文件直接接收

重定向接收

管道方式接收

fileinput.input() 创建并返回一个 FileInput 类的实例，该实例可以被当做一个上下文管理器使用。因此，整合起来，如果我们要写一个打印多个文件输出的脚本，那么我们需要在输出中包含文件名和行号

「你想执行一个外部命令并以 Python 字符串的形式获取执行结果。」

使用 subprocess.check_output() 函数。

执行下试试

如果被执行的命令以非零码返回，就会抛出异常。下面的例子捕获到错误并获取返回码：

默认情况下， check_output() 仅仅返回输入到标准输出的值。如果你需要同时收集标准输出和错误输出，使用 stderr 参数：

如果你需要用一个超时机制来执行命令，使用 timeout 参数：

通常来讲，命令的执行不需要使用到底层 shell 环境(比如 sh、bash) 。一个字符串列表会被传递给一个低级系统命令，比如 os.execve() 。

如果你想让命令被一个shell 执行，传递一个字符串参数，并设置参数 shell=True . 有时候你想要 Python 去执行一个复杂的 shell 命令的时候这个就很有用了，比如管道流、I/O 重定向和其他特性。例如：

是在 shell 中执行命令会存在一定的安全风险，特别是当参数来自于用户输入时。这时候可以使用 shlex.quote() 函数来将参数正确的用双引用引起来。

使用 check_output() 函数是执行外部命令并获取其返回值的最简单方式。但是，如果你需要对子进程做更复杂的交互，比如给它发送输入，你得采用另外一种方法。这时候可直接使用 subprocess.Popen 类。

关于子进程，简单来看下

也可以进程列表同协程结合的方式。你既可以在子shell中进行繁重的处理工作，同时也不会让子shell的I/O受制于终端。

如果直接丢到后台会自动在终端输出IO

subprocess 模块对于依赖 TTY 的外部命令不合适用。例如，你不能使用它来自动化一个用户输入密码的任务(比如一个 ssh 会话)。这时候，你需要使用到第三方模块了，比如基于著名的 expect 家族的工具(pexpect 或类似的)(pexpect可以理解为Linux下的expect的Python封装、通过pexpect可以实现对ssh、ftp、passwd、telnet等命令行进行自动交互，而无需人工干涉来达到自动化的目的。比如我们可以模拟一个FTP登录时所有交互，包括输入主机地址、用户名、密码、上传文件等，待出现异常还可以进行尝试自动处理。)

「你想向标准错误打印一条消息并返回某个非零状态码来终止程序运行」

通过 python 的 raise SystemExit(3) 命令可以主动抛出一个错误,通过 sys.stderr.write 将命令写到标准的输出端

直接将消息作为参数传给 SystemExit() ，那么你可以省略其他步骤

抛出一个 SystemExit 异常，使用错误消息作为参数,它会将消息在 sys.stderr 中打印，然后程序以状态码 1 退出

「你需要知道当前终端的大小以便正确的格式化输出。」

使用 os.get terminal size() 函数来做到这一点。

「复制或移动文件和目录，但是又不想调用 shell 命令。」

shutil 模块有很多便捷的函数可以复制文件和目录。使用起来非常简单

这里不多讲，熟悉Linux的小伙伴应该不陌生。

默认情况下，对于符号链接这些命令处理的是它指向的东西文件。例如，如果源文件是一个符号链接，那么目标文件将会是符号链接指向的文件。如果你只想复制符号链接本身，那么需要指定关键字参数 follow_symlinks

copytree() 可以让你在复制过程中选择性的忽略某些文件或目录。你可以提供一个忽略函数，接受一个目录名和文件名列表作为输入，返回一个忽略的名称列表。例如：

对于文件元数据信息， copy2() 这样的函数只能尽自己最大能力来保留它。访问时间、创建时间和权限这些基本信息会被保留，但是对于所有者、ACLs、资源 fork 和其他更深层次的文件元信息就说不准了

通常不会去使用 shutil.copytree() 函数来执行系统备份。当处理文件名的时候，最好使用 os.path 中的函数来确保最大的可移植性

使用 copytree() 复制文件夹的一个棘手的问题是对于错误的处理,可以使用异常块处理，或者通过参数 ignore dangling symlinks=True 忽略掉无效符号链接。

「创建或解压常见格式的归档文件(比如.tar, .tgz 或.zip)」

shutil 模块拥有两个函数—— make archive() 和 unpack archive() 可派上用场,

make archive() 的第二个参数是期望的输出格式。可以使用 get archive formats() 获取所有支持的归档格式列表。

「你需要写一个涉及到文件查找操作的脚本，比如对日志归档文件的重命名工具，你不想在 Python 脚本中调用 shell，或者你要实现一些 shell 不能做的功能。」

查找文件，可使用 os.walk() 函数，传一个顶级目录名给它

os.walk() 方法为我们遍历目录树，每次进入一个目录，它会返回一个三元组，包含相对于查找目录的相对路径，一个该目录下的目录名列表，以及那个目录下面的文件名列表。

对于每个元组，只需检测一下目标文件名是否在文件列表中。如果是就使用 os.path.join() 合并路径。为了避免奇怪的路径名比如 ././foo//bar ，使用了另外两个函数来修正结果

os.walk(start) 还有跨平台的优势。并且，还能很轻松的加入其他的功能。我们再演示一个例子，下面的函数打印所有最近被修改过的文件：

打印10分钟之前被修改的数据

「怎样读取普通.ini 格式的配置文件？」

configparser 模块能被用来读取配置文件

编写配置文件

如果有需要，你还能修改配置并使用 cfg.write() 方法将其写回到文件中

「你希望在脚本和程序中将诊断信息写入日志文件。」

python 脚本打印日志最简单方式是使用 logging 模块

五个日志调用( critical(), error(), warning(), info(), debug() )以降序方式表示不同的严重级别。 basicConfig() 的 level 参数是一个过滤器。所有级别低于此级别的日志消息都会被忽略掉。每个 logging 操作的参数是一个消息字符串，后面再跟一个或多个参数。构造最终的日志消息的时候我们使用了 % 操作符来格式化消息字符串。

如果你想使用配置文件，可以像下面这样修改 basicConfig() 调用：

logconfig.ini

在调用日志操作前先执行下 basicConfig() 函数方法 ,可以找标准输出或者文件中输出

basicConfig() 在程序中只能被执行一次。如果你稍后想改变日志配置，就需要先获取 root logger ，然后直接修改它。

更多见日志模块文档

「你想给某个函数库增加日志功能，但是又不能影响到那些不使用日志功能的程序。」

对于想要执行日志操作的函数库，你应该创建一个专属的 logger 对象，并且像下面这样初始化配置：

使用这个配置，默认情况下不会打印日志,只有配置过日志系统，那么日志消息打印就开始生效

通常来讲，不应该在函数库代码中自己配置日志系统，或者是已经有个已经存在的日志配置了。调用 getLogger( name ) 创建一个和调用模块同名的 logger 模块。由于模块都是唯一的，因此创建的 logger 也将是唯一的。所以当前进程中只有一个logging会生效。

log.addHandler(logging.NullHandler()) 操作将一个空处理器绑定到刚刚已经创建好的 logger 对象上。一个空处理器默认会忽略调用所有的日志消息。因此，如果使用该函数库的时候还没有配置日志，那么将不会有消息或警告出现。

在这里，根日志被配置成仅仅输出 ERROR 或更高级别的消息。不过， somelib 的日志级别被单独配置成可以输出 debug 级别的消息，它的优先级比全局配置高。像这样更改单独模块的日志配置对于调试来讲是很方便的，因为你无需去更改任何的全局日志配置——只需要修改你想要更多输出的模块的日志等级。(这个还有待研究)

「你想记录程序执行多个任务所花费的时间」

time 模块包含很多函数来执行跟时间有关的函数。尽管如此，通常我们会在此基础之上构造一个更高级的接口来模拟一个计时器。

这个类定义了一个可以被用户根据需要启动、停止和重置的计时器。它会在elapsed 属性中记录整个消耗时间。下面是一个例子来演示怎样使用它：

这里通过 __enter__，__exit__ ,使用 with 语句以及上下文管理器协议可以省略计时器打开和关闭操作。(关于上下文管理协议，即with语句，为了让一个对象兼容with语句，必须在这个对象的类中声明 __enter__和__exit__方法, , __enter__ 在出现with语句被调用， __exit__ 在代码执行完毕被调用,可以参考open()方法)

在计时中要考虑一个底层的时间函数问题。一般来说，使用 time.time() 或 time.clock() 计算的时间精度因操作系统的不同会有所不同。而使用 time.perf_counter() 函数可以确保使用系统上面最精确的计时器。

「你想对在 Unix 系统上面运行的程序设置内存或 CPU 的使用限制。」

resource 模块能同时执行这两个任务。例如，要限制 CPU 时间,下面的代码在windows平台执行不了，但是Linux是可以的。

程序运行时， SIGXCPU 信号在时间过期时被生成，然后执行清理并退出。

这暂时没有好的Demo...

程序运行到没有多余内存时会抛出 MemoryError 异常。

setrlimit() 函数被用来设置特定资源上面的软限制和硬限制。

setrlimit() 函数还能被用来设置子进程数量、打开文件数以及类似系统资源的限制(cgroup) 。

「通过脚本启动浏览器并打开指定的 URL 网页」

webbrowser 模块能被用来启动一个浏览器，并且与平台无关

新窗口打卡网站

当前窗口打开一个tab页