python爬虫总是卡住，python爬虫没反应

python用通用代码爬取,没有反应,该如何处理?

第一处，你的try语句里的except语句后面没有跟上异常类（比如TypeError），所以根本没起到捕获异常的作用。

网站都有反爬虫机制，防止爬取数据，爬虫想要爬取数据，就需要隐藏自身的身份，伪装成用户的身份进行访问，如果没有伪装好，被检测到爬虫，也是被会限制的。比如请求头没有设置好，Cookie问题等等。

百度搜索有专门的接口，使用相应的API接口调用吧。你这直接调用它的主页，需要解决很多问题的。

第一步要做的就是流程优化，尽量精简流程，避免在多个页面重复获取。随后去重，同样是十分重要的手段，一般根据url或者id进行唯一性判别，爬过的就不再继续爬了。

放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。

检查代码中的数据采集逻辑。如果只能写入9个网络爬取的数据，可能是因为数据采集的规则或逻辑有问题。可以检查数据采集的代码，确保正确获取和处理数据。

相关问答

Q1: Python3爬虫访问失败怎么不退出让它继续爬取

1、解决爬虫ip限制问题，可以使用芝麻代理ip来突破ip限制。

2、在使用Python爬虫时，如果遇到网络不稳定的情况，可以尝试以下方法解决： 设置超时时间：在爬取网页的代码中，可以设置一个合理的超时时间，当请求时间超过设定的时间时，就会抛出异常，可以通过捕获异常进行处理。

3、所以我们通过selenium提供的webdriver工具调用本地的浏览器，让程序替代人的行为，滚动页面，点击按钮，提交表单等等。从而获取到想要的数据。所以我认为，使用selenium方法爬取动态页面的中心思想是模拟人的行为。

4、这个错误，一般是服务器返回数据为空导致的。

5、大到各类搜索引擎，小到日常数据采集，都离不开网络爬虫。爬虫的基本原理很简单，遍历网络中网页，抓取感兴趣的数据内容。这篇文章会从零开始介绍如何编写一个网络爬虫抓取数据，然后会一步步逐渐完善爬虫的抓取功能。

Q2: 在网上看了一篇python爬虫,为什么运行总是报错?附图片。求指教_百度...

1、这种问题如果代码没写错的话，估计是网站做了反爬处理，如果说是反爬的话你可以用python里面的urllib2模块试试看，这是一个进阶爬虫模块。

2、首先第一步就是进行来到桌面右下角通知栏，鼠标移至程序图标，如下图所示。然后就是进行右键选择“重新载入”，过会儿再试是否能成功连接即可。然后就是进行或者退出、关闭程序，过会儿再试是否还报错。

3、在使用Python进行爬取今日头条数据时，有时会出现返回的数据为空的情况。

Q3: python爬虫多线程假死怎么解决

我遇到的几种情况是有可能你频繁的爬取同一个网站的数据，这个网站把你的ip暂时或者永久的加入了黑名单，一段时间内或者永久限制你的访问。网站可能有最大访问频率的限制，根据这个时间来设置时延可以解决这个问题。

如果多任务处理中需要处理的太多了，可以考虑多进程，每个进程再采用多线程。如果还处理不要，就要使用轮询模式，比如使用poll event， twisted等方式。如果是GUI方式，则要通过事件机制，或者是消息机制处理，GUI使用单线程。

程序运行中，只需 sign = 1 或者 exiting.set() ，worker 函数则跳过主要运算部分，剩余线程任务将迅速完成，变相达到中止多线程任务的目的。

Q4: 用Python爬取大众点评时被反爬ip被封怎么办,他总叫我滑动验证但滑动了也...

当python爬虫IP被封可用以下这几种方法：放慢爬取速度，减少对于目标网站带来的压力，但会减少单位时间类的爬取量。

首先建议你打开浏览器的开发者工具，推荐使用Chrome浏览器。选中Network一栏之后重新通过浏览器向服务器发送一次请求，然后，你就可以看到你刚才通过浏览器访问服务器资源的流程和数据流向。

（二）设置代理IP辅助爬取。降低访问速度难以避免会影响到爬取效率，如果抓取速度过慢，就失去了使用爬虫抓取的优势了。

大众点评哈，你就手动点击几次他都会封你ip的。

检查机器人排除协议 在爬取或抓取网站前，确保目标网站允许从它们的网页采集数据。检查机器人排除协议 (robots.txt) 文件并遵守网站规则。 使用代理IP 使用 IP 代理爬虫，没有代理，几乎不可能进行网络爬取。

python爬虫总是卡住的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python爬虫没反应、python爬虫总是卡住的信息别忘了在本站进行查找喔。