python2.7爬虫url中有中文，python爬取中文

python爬虫抓下来的网页,中间的中文乱码怎么解决

1、http：//python.jobbole.com/85482/ 同时，对于网页的中文乱码，建立使用requests模块代替urllib\urllib2 requests的content方法，对中文编码，支持比较好，基本不会出现乱码。

2、解决方法： 在Dreaweaver里打开页面，然后选择 “编辑”---“首选参数” --在左边分类里找到 “新建文档”那一项，然后右边的默认编码修改一下，如果你复制的代码是UTF-8的，就直接选成UTF-8就可以了。

3、直接print一个容器（dict/list/tuple）的时候不会对其中的字符串进行编码，因此看到的非ascii字符集内容将会以\xAA或者\uAAAA之类的形式输出 Python3中，str行为与py2的unicode行为一致；bytes行为与py2的str行为一致。

4、打开“控制面板”找到“区域和语言选项”。打开后可能是别的国家语言和区域位置。接下来选择“小三角”选择“中文(中国)”。然后在点击“位置”下面的“小三角”也选为“中国”。选择完成后再按“确定”即可。

5、另一个问题是语言环境内只有unicode怎么输出gbk之类的本地编码。答按惯例都在(序列化)输出时才转换成本地编码。

6、对于Python+requests爬取网站遇到中文乱码的问题，您可以： 设置编码：在使用requests库发送请求时，可以通过设置`response.encoding`来指定网页的编码方式，例如`response.encoding = utf-8`。

相关问答

Q1: ...使用scrapy抓取网页内容,如果url中含有中文该怎么办?

爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求。

对，如果URL中包含了中文字符或其他非ASCII字符，可以使用urlencode()方法对其进行编码。urlencode()是一个常见的编码方法，可以将URL中的特殊字符转换为URL编码格式，以便在URL中正确传递和解析这些字符。

这里的摘要如果不进行转码是有问题的 之所以需要URL编码，是因为出于兼容性考虑，很多服务器只识别ASCII字符，不转码可能会出现乱码的情况。

抓取到网页的内容后，我们要做的就是提取出我们想要的内容。在我们的第一个例子中，我们只需要提取书名。首先我们导入BeautifulSoup库，使用BeautifulSoup我们可以非常简单的提取网页的特定内容。

你这个问题真心不好办，建议你把页面编码改为GBK编码把。

首先Unicode不是乱码，如果把这些数据保存下来，或者直接显示使用是没有问题的。另外，如果你需要在scrapy shell中调试hxs的时候，你可以自定义一个printhxs(hxs)这样的函数用来在shell中显示中文。

Q2: url编码问题在python中怎么解决

有一个办法，可以通过第三方库chardet获取编码格式，再使用该编码格式解码数据可实现兼容。安装chardet库 chardet是第三方库，需要先安装再使用。

url = http：//test.com/s？wd=哈哈 #如果此网站编码是gbk的话，需要进行解码，从gbk解码成unicode，再从Unicode编码编码为utf-8格式。

今天小编就为大家分享一篇python字符串与url编码的转换实例，具有很好的参考价值，希望对大家有所帮助。

你可以用下面的两个方法来解决你的编码问题：第一种是，通过浏览器打开你写的html之后，找到浏览器中的文字编码修改，将编码改为Unicode编码，即可修复。

所以使用decode方法和encode方法来进行编码转换，后来怎么也不成功，于是怀疑是否默认编码不是utf-8。

python2.7爬虫url中有中文的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python爬取中文、python2.7爬虫url中有中文的信息别忘了在本站进行查找喔。