python慢怎么办，python太慢了

优化Python爬虫速度的方法有哪些

使用开源的爬虫库scrapy，原生支持多线程，还可以设定抓取速率，并发线程数等等参数；除此之外，scrapy对爬虫提取HTML内容也有良好的支持。

打包技术。可以将python文件打包成可执行的exe文件，让其在后台执行即可。其他。比如，使用网速好的网络等等。 反爬虫的措施 限制请求头，即request header。

将网页page source 保存到数据库（mongodb）中，每次取得新的page source 和数据库中的page source 的hash 值是不是想等，如果不等表示有更新。这个判断有了，爬虫爬取时间策略就好办了。

相关问答

Q1: 用python处理一个1G左右的数据集,运行速度非常慢,怎样优化?

1、优化循环 每一种编程语言都强调循环语句的优化，Python也是一样的。尽管你可以依赖于丰富的技术让循环运行的更快，然而，开发者经常忽略的一个方法是避免在循环内部使用点拼接字符串。

2、窍门二：在排序时使用键Python含有许多古老的排序规则，这些规则在你创建定制的排序方法时会占用很多时间，而这些排序方法运行时也会拖延程序实际的运行速度。最佳的排序方法其实是尽可能多地使用键和内置的sort()方法。

3、第一步要做的就是流程优化，尽量精简流程，避免在多个页面重复获取。随后去重，同样是十分重要的手段，一般根据url或者id进行唯一性判别，爬过的就不再继续爬了。

4、一个智能化的编译器可以预测并针对重复和不需要的操作进行优化。这也会提升程序执行的速度。 python的对象模型会导致访问内存效率低下在上面的例子中，相对于C语言，在python中对整数进行操作会有一个额外的类型信息层。

5、这里的解决方法有两个：1 分段保存结果，间隔一段时间就保存一次结果，最后再将多次的结果合并。

6、- 运行速度慢，因为Python是解释型语言，是一种高级语言，代码会在执行的时候，一行一行的使用解释器翻译成底层代码，翻译成机器码，而这个过程非常耗时，所以他运行过程中，比很多语言的代码都慢了很多。

Q2: 用python编程读取TXT时,数据大概有1千万条,速度很慢如何解决?

使用小型的sqlite数据库，加上适当的索引、筛选，肯定能大大提高数据处理速度。python也自身带有处理sqlite数据库的模块，极其方便。

使用关键字排序 有很多古老的Python代码在执行时将花费额外的时间去创建一个自定义的排序函数。最好的排序方式是使用关键字和默认的sort()方法。优化循环 每一种编程语言都强调循环语句的优化，Python也是一样的。

窍门二：在排序时使用键Python含有许多古老的排序规则，这些规则在你创建定制的排序方法时会占用很多时间，而这些排序方法运行时也会拖延程序实际的运行速度。最佳的排序方法其实是尽可能多地使用键和内置的sort()方法。

用户界面可以更加吸引人，这样比如用户点击了一个按钮去触发某些事件的处理，可以弹出一个进度条来显示处理的进度程序的运行速度可能加快在一些等待的任务实现上如用户输入、文件读写和网络收发数据等，线程就比较有用了。

多线程编程：Python 支持多线程编程，但也需要注意线程安全的问题。在多线程环境中共享资源时，需要使用锁或其他同步机制来避免竞态条件的发生。 性能优化：Python 是一种解释型语言，运行速度相对较慢。

学python有啥用它最主要的作用当然是用来编写程序了，我们平时在电脑端或手机端使用的各类应用程序底层都是一大堆代码，这些代码就是程序员们用编程语言写出来的，学会了python就可以像程序员一样，自己写应用程序了。

python慢怎么办的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python太慢了、python慢怎么办的信息别忘了在本站进行查找喔。