python爬虫网页是gbk，python爬虫网站代码

python爬虫中,格式为gb2312的HTML在decode(utf-8)时出错。求解。_百...

print测试用例Test就行了。具体分析如下：print 测试用例Test就行了。

r = r.content.decode(gbk).encode(utf-8)出现编码问题时，仔细分析错误的类型。看是decode（解码）错误还是encode（转码）错误。搞清自己处理的字符串是什么类型的。

首先检查文件编码是不是utf-8；如果是utf-8，检查是否有乱码。这个错误就是说这两个字节的内容无法按utf-8来解码。

print(html.decode(utf-8))UnicodeDecodeError： utf-8 codec cant decode byte 0x8b in position 1： invalid start byte 求高手帮忙解

hasattr(bs， encode)False bs.decode(utf-8)海阔天空 注意：Python 3中str不再具有decode方法，因为它存储的是“未编码”的字符串。decode操作交由byte完成了。

enc = r%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%CPDF string = urllib.unquote(enc).decode(gb2312) print type(string)， string这是python2的，简单点。只能帮这么多了。

相关问答

Q1: python爬虫爬网页的时候遇到颜文字表情出错

对于Python+requests爬取网站遇到中文乱码的问题，您可以： 设置编码：在使用requests库发送请求时，可以通过设置`response.encoding`来指定网页的编码方式，例如`response.encoding = utf-8`。

Python网络爬虫在实际应用中可能会遇到以下问题： 反爬虫机制：很多网站为了保护自身的数据安全，会设置反爬虫机制，如验证码、IP封禁等，这些机制可能会导致爬虫无法正常获取数据。

自学Python网络爬虫可能会遇到以下三个问题： 网站的反爬虫机制：一些网站为了防止被爬虫抓取数据，会设置反爬虫机制，如验证码、登录限制、IP封锁等。解决这个问题可以使用代理IP、验证码识别等技术来绕过反爬虫机制。

你那个def main()上面第二个那个print里面的引号位置错了，你想打印三个变量，但你的引号只包含了一个，所以会报错，就是那个***.format(u[0]，...)这一行，改一下引号的位置。

Python爬虫程序本身没有问题，但是却爬取不了数据主要原因如下：对方有反爬程序 几乎所网站为了防止一些恶意抓取，会设置反爬程序，你会发现明明很多数据显示在浏览器上，但是却抓取不出来。

Q2: python爬虫出现菱形问号乱码的解决方法

第一种是，通过浏览器打开你写的html之后，找到浏览器中的文字编码修改，将编码改为Unicode编码，即可修复。

执行python脚本出现乱码的解决方法：首先把中文解码为unicode，具体方法如：【decode(utf-8)】；然后再转化为gbk即可，具体方法如：【encode(gbk)】。

对于Python+requests爬取网站遇到中文乱码的问题，您可以： 设置编码：在使用requests库发送请求时，可以通过设置`response.encoding`来指定网页的编码方式，例如`response.encoding = utf-8`。

http：//python.jobbole.com/85482/ 同时，对于网页的中文乱码，建立使用requests模块代替urllib\urllib2 requests的content方法，对中文编码，支持比较好，基本不会出现乱码。

Q3: 我在用python爬虫,代码没错,却会报错?

你好！你的错误原因在于html页面获取到的img标签src属性中的链接，可能是因为src中的url格式是这样的：这样获取到的链接都没有带上协议：http或者https。而导致程序抛出ValueError的错误异常。

这种问题如果代码没写错的话，估计是网站做了反爬处理，如果说是反爬的话你可以用python里面的urllib2模块试试看，这是一个进阶爬虫模块。

Python常见报错及解决方亲 缩进错误 (IndentationError)在Python中，所有代码都是通过正确的空格排列的。所以，无论是多出来空格，还是缺少空格，整个代码都不会运行，并且仅返回一个错误函数。

如果你的Python代码没有错误，但是在运行时显示“窗口未定义”，通常这意味着你的代码中涉及了与图形用户界面（GUI）相关的部分，但是你没有正确导入相关的模块或库。

Q4: url编码问题在python中怎么解决

1、有一个办法，可以通过第三方库chardet获取编码格式，再使用该编码格式解码数据可实现兼容。安装chardet库 chardet是第三方库，需要先安装再使用。

2、url = http：//test.com/s？wd=哈哈 #如果此网站编码是gbk的话，需要进行解码，从gbk解码成unicode，再从Unicode编码编码为utf-8格式。

3、问题已经解决，原来这个网页数据是用gzip压缩过的，用Python的gzip包解压缩后再解码就可以了。

4、今天小编就为大家分享一篇python字符串与url编码的转换实例，具有很好的参考价值，希望对大家有所帮助。

5、你可以用下面的两个方法来解决你的编码问题：第一种是，通过浏览器打开你写的html之后，找到浏览器中的文字编码修改，将编码改为Unicode编码，即可修复。

6、在你python的安装目录下的Lib目录，找到site.py，修改def setencoding()方法 def setencoding()：...if 0：Enable to support locale aware default string encodings.把那个if 0该位if 1试试。

Q5: python爬虫抓取到的数据用网页打开时是乱码,怎么解决

http：//python.jobbole.com/85482/ 同时，对于网页的中文乱码，建立使用requests模块代替urllib\urllib2 requests的content方法，对中文编码，支持比较好，基本不会出现乱码。

对于Python+requests爬取网站遇到中文乱码的问题，您可以： 设置编码：在使用requests库发送请求时，可以通过设置`response.encoding`来指定网页的编码方式，例如`response.encoding = utf-8`。

在windows下使用非idle的其他ide编辑器，会碰到这个问题。对抓取到的网页内容进行先解码再编码即可。以requests为例：r = r.content.decode(gbk).encode(utf-8)出现编码问题时，仔细分析错误的类型。

关于python爬虫网页是gbk和python爬虫网站代码的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。