thinkphp做爬虫，python爬虫用什么框架

如何用PHP做网络爬虫

如phpQuery，phpCrawl，phpSpider，Snoopy。如果使用curl，也是相当不错的。但你要做的事情更多。它只负责请求和下载，并没有实现爬虫的核心。别的事情都要自己做，至少你得先封装一下。

具体处理方式就是建立就一个任务队列，往队列里面插入一些种子任务和可以开始爬行，爬行的过程就是循环的从队列里面提取一个URL，打开后获取连接插入队列中，进行相关的保存。队列可以使用数组实现。

curl来写。模拟登陆。抓取页面。分析标签。正则匹配你想要的内容。然后存入数据大概就是这样的流程。

了，当时我就想这段代码毫无意义，然后又去查了下手册，才知道isset函数的功能：当变量存在且不为空时才返回true。如果一个变量定义了，但是没有赋值，那么默认为空。上面的代码就是找出数组中第一个不为空的变量。

（一）PHP 网络爬虫需要快速的从服务器中抓取需要的数据，有时数据量较大时需要进行多线程抓取。

Beanbun 是用 PHP 编写的多进程网络爬虫框架，具有良好的开放性、高可扩展性。

相关问答

Q1: 为什么国内有不少PHP程序员不喜欢THINKPHP,甚至鄙视THINKPHP

不喜欢thinkphp的有很大部分是在装B，有小部分是真正的大神。不管鄙视或者不鄙视，thinkphp都可以帮助程序员进行快速的开发，有很大的帮助。如果想使用thinkphp，何必在乎别人的看法。

从Github数据来看，Laravel高居榜首，而它在国外也是用的人最多的。Laravel优点是代码优雅简洁；缺点是依赖其他扩展，内部事先复杂，系统复杂时需要配置大量的路由规则，文档少，版本更新快且不连续。

有人不喜欢某个框架，就喷一下，实属正常。tp 框架作为中国人编写的框架，相对来说对中国人，更容易理解，并上手。

Q2: php有什么好的是什么

1、学习PHP原生标准库，掌握SymfonyYii、ZF2三种框架中的一种，通读小型框架中Codeigniter 等源码。学习MySQL语句，数据库的查询处理和优化方法。学习 Nginx、Memcache、CAS 等相关开源方案的使用方法。

2、PHP是一种【后端编程语言】，其主要用于后台数据处理～其英文名称就是（Hypertext Preprocessor）。【好处】语法吸收了C语言、Java和Perl的特点，【利于学习，使用广泛，主要适用于Web开发领域】。

3、PHP是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。

4、PHP是世界上最好的语言。这是网络上广泛流传的一个梗，并不是说PHP就真的是编程最好的语言，其实每款编程语言都有自身的优势以及所专长的领域，并不能简单地说PHP就是最好的编程语言，这多少有点调侃的成分。

5、DedeCMS（织梦CMS）织梦CMS是集简单、健壮、灵活、开源几大特点的开源内容管理系统，是国内开源CMS的品牌，目前程序安装量已达70万，超过六层的站点正在使用织梦CMS。

thinkphp做爬虫的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python爬虫用什么框架、thinkphp做爬虫的信息别忘了在本站进行查找喔。