php爬虫知乎数据,php爬虫和python爬虫

对知乎内容使用爬虫爬取数据，为什么会遇到403问题

应该是知乎的反爬虫技术比较严，你试试前嗅的爬虫，我之前用它采企业信息系统的数据，他们反爬虫机制非常严格，后来用他们软件就可以写脚本破解，顺利采集到了。

相关问答

Q1: 知乎核心用户大数据报告

最近写了个爬虫，将知乎 3W 核心用户的公开资料爬了下来。虽然知乎声称注册用户有 6500 万，日活跃用户有 1850 万，但其中很大一部分用户是三无用户。由于该部分用户公开的数据并不多，再且新版知乎服务器对于单 IP 最大请求量有限制（大概每秒一次左右），所以我只爬了最核心的 3W 用户。

我的爬虫规则是这样的：从关注量上万的知乎大 V 中随机抽取 10 个作为种子，依次爬取其关注的人，再从其关注的人爬取关注的人的关注的人，如此递归。也就是说爬虫的规则保证了进入数据库的每一个人至少有一个关注者。以下的数据分析均来自于爬虫所得到的资料，所以要是报道上面出了偏差，还请大家见谅。

首先是对知乎用户的职业描述进行词云分析，列出前一百的高频词，结果如下。

在职业描述中进行高频词分析，“互联网”以 4552 次频率完胜，然后是”大学“紧随其后，其频率是 2163 。这和我们平时所看到的互联网从业者和名校学生占领内容输出的主力一致。这一百个高频词也囊括了知乎用户的兴趣，居住地等信息，不过这些我们以后还会仔细分析。

我们先来看看知乎的各种“最”。最高赞同数，最多关注者，写得最多答案，分别是哪些呢？

首先是最高赞同数的排行榜。

在赞同数上面， @张佳玮 老师以一己之力超越了第二名一倍不止，可谓是稳拿的冠军。然后前五名是 @肥肥猫 ，@朱炫 ，@唐缺 ，@马前卒 。轮子哥排在了第六名。

然后我们来看最多关注者排行榜。

在关注者排行榜上， @张佳玮 老师还是遥遥领先于 @李开复 老师。再往后走就是知乎的大佬 @黄继新 和 @周源 ，再往后是 @yolfilm 。

我们再来看写的答案最多排行榜。

@Phil 以极高的产量勇夺答案数最高 Top1，而素有”轮带逛“之称的 @vczh 只能屈居第二。排行前五的有 @王若枫 、@柴健翌 、@zhen-liang 等大 V 。

再来看看提问最多排行榜。

@David Chang 以 2684 个提问排行第一，以未来知识图谱闻名的 @图灵Don 排行第二。排行前五的还有 @歆盐 ， @程瀚 、 @张亮 。

然后是 BAT 三厂的员工数量比较，这个比较基于爬取到的的用户职业描述词频进行统计。

可以看到鹅厂员工在知乎比例最高，阿里次之（词频： 0.004554 ），熊厂稍稍落后。

都说知乎是 985 / 211 满天飞的地方，那么清北复交浙到底哪家强呢？

可以看到北京大学和清华大学的词频不相上下，后面那三位还需加把劲啊。

在移动智能时代，Android 、iOS 、WEB 前端工程师在当今软件开发中简直大放异彩。那么知乎哪一种程序员最多呢？

结果是前端词频远高于 Android 和 iOS ，其实差那么一点点就是 Android 和 iOS 的和了。这么说吧，你可能是坚定乔布斯 less is more 信念的果粉，也可能是拥抱开源的 Android 粉，可是所有人都需要浏览网页，不是吗：）

然后我还比较好奇知乎用户的普遍兴趣爱好是什么。

结果发现健身独占鳌头般占领榜首。看来知乎上还是普遍推崇健身提高颜值提高自身吸引力。可是为什么阅读的比例是最底的呢？为此我只能假设知乎上的同学学习效率都比较高，在完成基本的阅读任务后去了另外的领域探索更大的世界。又或者说阅读，相对于旅游健身摄影来说，对于提升自身的价值性价比并不是很高，因而大家更倾向于去健身房，去旅游，去拍照吧。

知乎用户地域分布。

词频集中分布在北上广深杭四川浙江江苏等地方。和个人的主观印象是相似的。毕竟以上颜色较深的都是互联网行业比较发达的省份。

然后就是大家最关心的知乎男女比例问题了。

在爬到的用户数据中，男性比例占了67.8%，女性只占了32.2%。也就是说男女比例比2：1还要大。

看到这里，你可能会反驳我说知乎初始用户的性别就是男性啊，这样子搞个大新闻是不行的。我也觉得挺有道理的，于是进一步筛选了核心中的核心部分用户，筛选条件为粉丝数大于200且赞同数大于400的用户，这下采样应该准确了吧。然后有了下图。

女性的比例降到了30.1%，男性比例相应为69.9%。这个数据比之前的数据更为不平衡。所以说女性用户在知乎更为稀缺，也显得更为珍贵。

所以，与其说知乎是一个高质量的问答社区，还不如说：

作者：彭家进 来源：知乎

Q2: 如何用python写爬虫 知乎

学习

基本的爬虫工作原理

基本的http抓取工具，scrapy

Bloom Filter: Bloom Filters by Example

如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq:

rq和Scrapy的结合：darkrho/scrapy-redis · GitHub

后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)

Q3: 如何对知乎内容进行爬虫

知乎已经加强原创内容保护了，还是少抄些吧，个人站还好点，企业站一旦他们看到了分分钟起诉你

Q4: 哪个开源多线程爬虫比较好学 知乎

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1.分布式爬虫：Nutch

2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

3. 非JAVA单机爬虫：scrapy

第一类：分布式爬虫

爬虫使用分布式，主要是解决两个问题：

1）海量URL管理

2）网速

现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：

1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。

2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

3）Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”（parser）这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息（网页的meta信息、text文本）。

4）用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题（hadoop的问题、hbase的问题）。

5）很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。

6）Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase），只能使用0.90版本左右的hbase，相应的就要将hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1.x和Nutch2.x，这个Nutch2.x官网上写的是可以支持到hbase 0.94。但是实际上，这个Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。

所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。

如果你是要做搜索引擎，Nutch1.x是一个非常好的选择。Nutch1.x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch2.3发布再看。目前的Nutch2是一个非常不稳定的版本。

第二类：JAVA单机爬虫

这里把JAVA爬虫单独分为一类，是因为JAVA在网络爬虫这块的生态圈是非常完善的。相关的资料也是最全的。这里可能有争议，我只是随便扯淡。

其实开源网络爬虫（框架）的开发非常简单，难问题和复杂的问题都被以前的人解决了（比如DOM树解析和定位、字符集检测、海量URL去重），可以说是毫无技术含量。包括Nutch，其实Nutch的技术难点是开发hadoop，本身代码非常简单。网络爬虫从某种意义来说，类似遍历本机的文件，查找文件中的信息。没有任何难度可言。之所以选择开源爬虫框架，就是为了省事。比如爬虫的URL管理、线程池之类的模块，谁都能做，但是要做稳定也是需要一段时间的调试和修改的。

对于爬虫的功能来说。用户比较关心的问题往往是：

1）爬虫支持多线程么、爬虫能用代理么、爬虫会爬取重复数据么、爬虫能爬取JS生成的信息么？

不支持多线程、不支持代理、不能过滤重复URL的，那都不叫开源爬虫，那叫循环执行http请求。

能不能爬js生成的信息和爬虫本身没有太大关系。爬虫主要是负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器（htmlunit,selenium）来完成。这些模拟浏览器，往往需要耗费很多的时间来处理一个页面。所以一种策略就是，使用这些爬虫来遍历网站，遇到需要解析的页面，就将网页的相关信息提交给模拟浏览器，来完成JS生成信息的抽取。

2）爬虫可以爬取ajax信息么？

网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。

如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？

爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deep web（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合（seeds）中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。

3）爬虫怎么爬取要登陆的网站？

这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。

4）爬虫怎么抽取网页的信息？

开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSS SELECTOR和XPATH。至于哪个好，这里不评价。

5）爬虫怎么保存网页的信息？

有一些爬虫，自带一个模块负责持久化。比如webmagic，有一个模块叫pipeline。通过简单地配置，可以将爬虫抽取到的信息，持久化到文件、数据库等。还有一些爬虫，并没有直接给用户提供数据持久化的模块。比如crawler4j和webcollector。让用户自己在网页处理模块中添加提交数据库的操作。至于使用pipeline这种模块好不好，就和操作数据库使用ORM好不好这个问题类似，取决于你的业务。

6）爬虫被网站封了怎么办？

爬虫被网站封了，一般用多代理（随机代理）就可以解决。但是这些开源爬虫一般没有直接支持随机代理的切换。所以用户往往都需要自己将获取的代理，放到一个全局数组中，自己写一个代理随机获取（从数组中）的代码。

7）网页可以调用爬虫么？

爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。

8）爬虫速度怎么样？

单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。

9）明明代码写对了，爬不到数据，是不是爬虫有问题，换个爬虫能解决么？

如果代码写对了，又爬不到数据，换其他爬虫也是一样爬不到。遇到这种情况，要么是网站把你封了，要么是你爬的数据是javascript生成的。爬不到数据通过换爬虫是不能解决的。

10）哪个爬虫可以判断网站是否爬完、那个爬虫可以根据主题进行爬取？

爬虫无法判断网站是否爬完，只能尽可能覆盖。

至于根据主题爬取，爬虫之后把内容爬下来才知道是什么主题。所以一般都是整个爬下来，然后再去筛选内容。如果嫌爬的太泛，可以通过限制URL正则等方式，来缩小一下范围。

11）哪个爬虫的设计模式和构架比较好？

设计模式纯属扯淡。说软件设计模式好的，都是软件开发完，然后总结出几个设计模式。设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。

至于构架，开源爬虫目前主要是细节的数据结构的设计，比如爬取线程池、任务队列，这些大家都能控制好。爬虫的业务太简单，谈不上什么构架。

所以对于JAVA开源爬虫，我觉得，随便找一个用的顺手的就可以。如果业务复杂，拿哪个爬虫来，都是要经过复杂的二次开发，才可以满足需求。

第三类：非JAVA单机爬虫

在非JAVA语言编写的爬虫中，有很多优秀的爬虫。这里单独提取出来作为一类，并不是针对爬虫本身的质量进行讨论，而是针对larbin、scrapy这类爬虫，对开发成本的影响。

先说python爬虫，python可以用30行代码，完成JAVA 50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。

对于C++爬虫来说，学习成本会比较大。而且不能只计算一个人的学习成本，如果软件需要团队开发或者交接，那就是很多人的学习成本了。软件的调试也不是那么容易。

还有一些ruby、php的爬虫，这里不多评价。的确有一些非常小型的数据采集任务，用ruby或者php很方便。但是选择这些语言的开源爬虫，一方面要调研一下相关的生态圈，还有就是，这些开源爬虫可能会出一些你搜不到的BUG（用的人少、资料也少）