python爬虫网页乱码，python爬虫乱码怎么解决

用python抓取的网页保存后为什么乱码?

建议你也在代码中添加print 看控制输出是否正常。如果控制台输出正常，则有可能是在保存页面文件时，没有正确指定内容字符串的encode格式。或者把所有gb2312换为gbk再试试。

对于Python+requests爬取网站遇到中文乱码的问题，您可以： 设置编码：在使用requests库发送请求时，可以通过设置`response.encoding`来指定网页的编码方式，例如`response.encoding = utf-8`。

text 是系统自行解码，部分网页会不对。

乱码原因：因为你的文件声明为utf-8，并且也应该是用utf-8的编码保存的源文件。但是windows的本地默认编码是cp936，也就是gbk编码，所以在控制台直接打印utf-8的字符串当然是乱码了。

相关问答

Q1: python爬虫抓取到的数据用网页打开时是乱码,怎么解决

1、对于Python+requests爬取网站遇到中文乱码的问题，您可以： 设置编码：在使用requests库发送请求时，可以通过设置`response.encoding`来指定网页的编码方式，例如`response.encoding = utf-8`。

2、在windows下使用非idle的其他ide编辑器，会碰到这个问题。对抓取到的网页内容进行先解码再编码即可。以requests为例：r = r.content.decode(gbk).encode(utf-8)出现编码问题时，仔细分析错误的类型。

3、Python代码里的中文 代码第一行（如果有脚本标记则是第二行）可以按照PEP8形式指定本代码文件的编码类型。

4、这个问题主要是编码问题，一般需要检查系统设置、ide设置、python代码里的编码，一致改成utf8一般就没问题。

Q2: python写的爬虫返回网页总是为乱码,求高手解决

1、对于Python+requests爬取网站遇到中文乱码的问题，您可以： 设置编码：在使用requests库发送请求时，可以通过设置`response.encoding`来指定网页的编码方式，例如`response.encoding = utf-8`。

2、Python代码里的中文 代码第一行（如果有脚本标记则是第二行）可以按照PEP8形式指定本代码文件的编码类型。

3、这个问题主要是编码问题，一般需要检查系统设置、ide设置、python代码里的编码，一致改成utf8一般就没问题。

4、Python写程序原则是所有进来的字符串(读文件，爬网页)，一进来就decode，处理完之后在要输出的地方在encode。

Q3: python爬虫抓下来的网页,中间的中文乱码怎么解决

1、第一种是，通过浏览器打开你写的html之后，找到浏览器中的文字编码修改，将编码改为Unicode编码，即可修复。

2、http：//python.jobbole.com/85482/ 同时，对于网页的中文乱码，建立使用requests模块代替urllib\urllib2 requests的content方法，对中文编码，支持比较好，基本不会出现乱码。

3、Python代码里的中文 代码第一行（如果有脚本标记则是第二行）可以按照PEP8形式指定本代码文件的编码类型。

4、Python写程序原则是所有进来的字符串(读文件，爬网页)，一进来就decode，处理完之后在要输出的地方在encode。

5、打开ccnu.txt发现无乱码。Python2的代码我不熟。建议你也在代码中添加print 看控制输出是否正常。如果控制台输出正常，则有可能是在保存页面文件时，没有正确指定内容字符串的encode格式。或者把所有gb2312换为gbk再试试。

python爬虫网页乱码的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python爬虫乱码怎么解决、python爬虫网页乱码的信息别忘了在本站进行查找喔。