python运行爬虫会卡，python爬虫常见问题

python爬虫多线程假死怎么解决

1、有可能你频繁的爬取同一个网站的数据，这个网站把你的ip暂时或者永久的加入了黑名单，一段时间内或者永久限制你的访问。网站可能有最大访问频率的限制，根据这个时间来设置时延可以解决这个问题。或者可能由于网络不稳定等原因。

2、如果多任务处理中需要处理的太多了，可以考虑多进程，每个进程再采用多线程。如果还处理不要，就要使用轮询模式，比如使用poll event， twisted等方式。如果是GUI方式，则要通过事件机制，或者是消息机制处理，GUI使用单线程。

3、解决办法就是做个线程去完成【读某个文件】，然后这个事完了之后、前再建一个同样的线程让它三秒后执行。

相关问答

Q1: python为什么会运行慢

Python慢的重要原因：python是动态性语言不是静态性语言 在python程序执行的时候，编译器不知道变量的类型。

原因：python是动态语言；python是解释执行，但是不支持JIT；python中一切都是对象，每个对象都需要维护引用计数，增加了额外的工作。python GIL；垃圾回收。

版本不兼容。树莓派zero是一款微型电脑，内部配置了多种电脑应用程序，用户在使用时若发现运行python特别慢，是因为版本不兼容的问题，这时用户只需要登录python官网，对其专属的系统进行升级版本，即可解决。

- 运行速度慢，因为Python是解释型语言，是一种高级语言，代码会在执行的时候，一行一行的使用解释器翻译成底层代码，翻译成机器码，而这个过程非常耗时，所以他运行过程中，比很多语言的代码都慢了很多。

回收的触发时机有两种可能，一是用户主动调用gc.collect()，二是对象数量超过阈值。所以正是GC拖慢了程序的性能，所以我们可以考虑在处理的时候禁止垃圾回收。通过这样的改进之后速度确度会有很大的提升。

总的来说就是由于二者之间原理的差异导致了性能的差异，你可以搜一搜相关的资料，关掉 C 语言编译时的优化，再看一下性能，或者将固定的那些值改为运行时需要输入再看一下效果。

Q2: 优化Python爬虫速度的方法有哪些

使用开源的爬虫库scrapy，原生支持多线程，还可以设定抓取速率，并发线程数等等参数；除此之外，scrapy对爬虫提取HTML内容也有良好的支持。

多进程的话可以高效利用CPU。但是其实多数情况是在网络，所以说更好的解决办法是用多个机房的多台机器同时跑多进程的爬虫，这样减少网络阻塞。实现的话，用scrapy+rq-queue然后用redis来作队列就好。

打包技术。可以将python文件打包成可执行的exe文件，让其在后台执行即可。其他。比如，使用网速好的网络等等。 反爬虫的措施 限制请求头，即request header。

将网页page source 保存到数据库（mongodb）中，每次取得新的page source 和数据库中的page source 的hash 值是不是想等，如果不等表示有更新。这个判断有了，爬虫爬取时间策略就好办了。

在Python中，可以使用多线程或多进程的方式来爬取大量数据。通过多线程或多进程可以同时进行多个爬取任务，提高数据爬取的效率。

关于python运行爬虫会卡和python爬虫常见问题的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。