java知乎爬虫代码 java爬虫源码

java工程师一般用python做什么 知乎

#做网站后台

Python在网站后台这边有大量的成熟的框架，如django，flask，bottle，tornado，我曾经用过flask和django搭建了的两个网站已经上线

#写网络爬虫

Python写爬虫非常简单，库很健全

以下是我写的一些爬虫教程和心得

#科学计算

Python有三大神器：numpy,scipy,matplotlib,其中numpy很多底层使用C语言实现的，所以速度很快，我曾经用它参加各种数学建模大赛，完全可以替代r语言和MATLAB

以下是我写的科学计算简单教程

#数据挖掘，机器学习

Python

的机器学习包很多，或者自己可以试着实现机器学习算法，因为Python的类似伪代码的语法，很容易快速实现自己的想法，另外主流的机器学习算法都有成熟

的包，加上谷歌开源的TensorFlow，常用的机器学习包：scikit-learn,pattern,jieba，pybrain等等

#数据科学

最近spark，Hadoop都开了Python的接口，所以使用Python做大数据的mapreduce也非常简单，加上py对数据库支持都很好，或者类似sqlalchemy的orm也非常强大好用

以及剩下的码算法，玩玩树莓派什么的我就不多说了，

py的强大其实在于他能迅速的实现想法

相关问答

Q1: scrapy爬知乎问题，每次爬到240000多以后就结束了，什么原因

发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector其按照我经验随便扯淡：面说爬虫基本3类：1.布式爬虫：Nutch

2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

3. 非JAVA单机爬虫：scrapy

第类：布式爬虫

爬虫使用布式主要解决两问题：

1）海量URL管理

2）网速

现比较流行布式爬虫ApacheNutch于数用户说Nutch几类爬虫选择理由：

1）Nutch搜索引擎设计爬虫数用户需要做精准数据爬取（精抽取）爬虫Nutch运行套流程三二搜索引擎设计精抽取没太意义说用Nutch做数据抽取浪费间必要计算且试图通Nutch进行二发使适用于精抽取业务基本要破坏Nutch框架Nutch改面目全非修改Nutch能力真自重新写布式爬虫框架

2）Nutch依赖hadoop运行hadoop本身消耗间集群机器数量较少爬取速度反单机爬虫快

3）Nutch虽套插件机制且作亮点宣传看些源Nutch插件提供精抽取功能发Nutch插件都知道Nutch插件系统蹩脚利用反射机制加载调用插件使程序编写调试都变异困难更别说面发套复杂精抽取系统且Nutch并没精抽取提供相应插件挂载点Nutch插件五六挂载点五六挂载点都搜索引擎服务并没精抽取提供挂载点数Nutch精抽取插件都挂载页面解析（parser）挂载点挂载点其实解析链接（续爬取提供URL）及搜索引擎提供些易抽取网页信息（网页meta信息、text文本）

4）用Nutch进行爬虫二发爬虫编写调试所需间往往单机爬虫所需十倍间止解Nutch源码习本高何况要让团队都读懂Nutch源码调试程现除程序本身外各种问题（hadoop问题、hbase问题）

5）说Nutch2gora持久化数据avro文件、hbase、mysql等其实理解错说持久化数据指URL信息（URL管理所需要数据）存放avro、hbase、mysql并要抽取结构化数据其实数说URL信息存哪所谓

6）Nutch2版本目前并适合发官现稳定Nutch版本nutch2.2.1版本绑定gora-0.3想用hbase配合nutch（数用nutch2用hbase）能使用0.90版本左右hbase相应要hadoop版本降hadoop 0.2左右且nutch2官教程比较误导作用Nutch2教程两别Nutch1.xNutch2.xNutch2.x官网写支持hbase 0.94实际Nutch2.x意思Nutch2.3前、Nutch2.2.1版本版本官SVN断更新且非稳定（直修改）

所要做搜索引擎尽量要选择Nutch作爬虫些团队喜欢跟风非要选择Nutch发精抽取爬虫其实冲着Nutch名气（Nutch作者Doug Cutting）结往往项目延期完

要做搜索引擎Nutch1.x非选择Nutch1.xsolr或者es配合构套非强搜索引擎非要用Nutch2建议等Nutch2.3发布再看目前Nutch2非稳定版本

第二类：JAVA单机爬虫

JAVA爬虫单独类JAVA网络爬虫块态圈非完善相关资料全能争议我随便扯淡

其实源网络爬虫（框架）发非简单难问题复杂问题都前解决（比DOM树解析定位、字符集检测、海量URL重）说毫技术含量包括Nutch其实Nutch技术难点发hadoop本身代码非简单网络爬虫某种意义说类似遍历本机文件查找文件信息没任何难度言所选择源爬虫框架省事比爬虫URL管理、线程池类模块谁都能做要做稳定需要段间调试修改

于爬虫功能说用户比较关问题往往：

1）爬虫支持线程、爬虫能用代理、爬虫爬取重复数据、爬虫能爬取JS信息

支持线程、支持代理、能滤重复URL都叫源爬虫叫循环执行http请求

能能爬js信息爬虫本身没太关系爬虫主要负责遍历网站载页面爬js信息网页信息抽取模块关往往需要通模拟浏览器（htmlunit,selenium）完些模拟浏览器往往需要耗费间处理页面所种策略使用些爬虫遍历网站遇需要解析页面网页相关信息提交给模拟浏览器完JS信息抽取

2）爬虫爬取ajax信息

网页些异步加载数据爬取些数据两种：使用模拟浏览器（问题1描述）或者析ajaxhttp请求自ajax请求url获取返数据自ajax请求使用源爬虫意义哪其实要用源爬虫线程池URL管理功能（比断点爬取）

我已经我所需要ajax请求（列表）何用些爬虫些请求进行爬取

爬虫往往都设计广度遍历或者深度遍历模式遍历静态或者态页面爬取ajax信息属于deep web（深网）范畴虽数爬虫都直接支持通些完比WebCollector使用广度遍历遍历网站爬虫第轮爬取爬取种集合（seeds）所url简单说ajax请求作种放入爬虫用爬虫些种进行深度1广度遍历（默认广度遍历）

3）爬虫爬取要登陆网站

些源爬虫都支持爬取指定cookies模拟登陆主要靠cookies至于cookies获取爬虫管事情手获取、用http请求模拟登陆或者用模拟浏览器自登陆获取cookie

4）爬虫抽取网页信息

源爬虫般都集网页抽取工具主要支持两种规范：CSS SELECTORXPATH至于哪评价

5）爬虫保存网页信息

些爬虫自带模块负责持久化比webmagic模块叫pipeline通简单配置爬虫抽取信息持久化文件、数据库等些爬虫并没直接给用户提供数据持久化模块比crawler4jwebcollector让用户自网页处理模块添加提交数据库操作至于使用pipeline种模块操作数据库使用ORM问题类似取决于业务

6）爬虫网站封办

爬虫网站封般用代理（随机代理）解决些源爬虫般没直接支持随机代理切换所用户往往都需要自获取代理放全局数组自写代理随机获取（数组）代码

7）网页调用爬虫

爬虫调用Web服务端调用平用用些爬虫都使用

8）爬虫速度

单机源爬虫速度基本都讲本机网速用极限爬虫速度慢往往用户线程数少、网速慢或者数据持久化数据库交互速度慢些东西往往都用户机器二发代码决定些源爬虫速度都

9）明明代码写爬数据爬虫问题换爬虫能解决

代码写爬数据换其爬虫爬遇种情况要网站封要爬数据javascript爬数据通换爬虫能解决

10）哪爬虫判断网站否爬完、爬虫根据主题进行爬取

爬虫判断网站否爬完能尽能覆盖

至于根据主题爬取爬虫内容爬才知道主题所般都整爬再筛选内容嫌爬太泛通限制URL则等式缩范围

11）哪爬虫设计模式构架比较

设计模式纯属扯淡说软件设计模式都软件发完总结几设计模式设计模式软件发没指导性作用用设计模式设计爬虫使爬虫设计更加臃肿

至于构架源爬虫目前主要细节数据结构设计比爬取线程池、任务队列些家都能控制爬虫业务太简单谈构架

所于JAVA源爬虫我觉随便找用顺手业务复杂拿哪爬虫都要经复杂二发才满足需求

第三类：非JAVA单机爬虫

非JAVA语言编写爬虫优秀爬虫单独提取作类并针爬虫本身质量进行讨论针larbin、scrapy类爬虫发本影响

先说python爬虫python用30行代码完JAVA 50行代码干任务python写代码确快调试代码阶段python代码调试往往耗费远远于编码阶段省间使用python发要保证程序确性稳定性需要写更测试模块爬取规模、爬取业务复杂使用scrapy种爬虫蛮错轻松完爬取任务

于C++爬虫说习本比较且能计算习本软件需要团队发或者交接习本软件调试容易

些ruby、php爬虫评价确些非型数据采集任务用ruby或者php便选择些语言源爬虫面要调研相关态圈些源爬虫能些搜BUG（用少、资料少）

Q2: java爬取知乎答案的时候，如何去除其中的HTML标签

可以通过正则表达式去除html标签

import java.util.regex.Matcher;  

import java.util.regex.Pattern;  

  

public class HtmlUtil {  

    private static final String regEx_script = "script[^]*?[\\s\\S]*?\\/script"; // 定义script的正则表达式  

    private static final String regEx_style = "style[^]*?[\\s\\S]*?\\/style"; // 定义style的正则表达式  

    private static final String regEx_html = "[^]+"; // 定义HTML标签的正则表达式  

    private static final String regEx_space = "\\s*|\t|\r|\n";//定义空格回车换行符  

      

    /** 

     * @param htmlStr 

     * @return 

     *  删除Html标签 

     */  

    public static String delHTMLTag(String htmlStr) {  

        Pattern p_script = Pattern.compile(regEx_script, Pattern.CASE_INSENSITIVE);  

        Matcher m_script = p_script.matcher(htmlStr);  

        htmlStr = m_script.replaceAll(""); // 过滤script标签  

  

        Pattern p_style = Pattern.compile(regEx_style, Pattern.CASE_INSENSITIVE);  

        Matcher m_style = p_style.matcher(htmlStr);  

        htmlStr = m_style.replaceAll(""); // 过滤style标签  

  

        Pattern p_html = Pattern.compile(regEx_html, Pattern.CASE_INSENSITIVE);  

        Matcher m_html = p_html.matcher(htmlStr);  

        htmlStr = m_html.replaceAll(""); // 过滤html标签  

  

        Pattern p_space = Pattern.compile(regEx_space, Pattern.CASE_INSENSITIVE);  

        Matcher m_space = p_space.matcher(htmlStr);  

        htmlStr = m_space.replaceAll(""); // 过滤空格回车标签  

        return htmlStr.trim(); // 返回文本字符串  

    }  

      

    public static String getTextFromHtml(String htmlStr){  

        htmlStr = delHTMLTag(htmlStr);  

        htmlStr = htmlStr.replaceAll(" ", "");  

        htmlStr = htmlStr.substring(0, htmlStr.indexOf("。")+1);  

        return htmlStr;  

    }  

      

    public static void main(String[] args) {  

        String str = "div style='text-align:center;' 整治“四风”   清弊除垢br/span style='font-size:14px;' /spanspan style='font-size:18px;'公司召开党的群众路线教育实践活动动员大会/spanbr//div";  

        System.out.println(getTextFromHtml(str));  

    }  

}

Q3: 如何学习python知乎

对于Python的学习人员需要掌握以下技术。

1.网络编程。

网络编程在生活和开发中无处不在，哪里有通讯就有网络，它可以称为是一切开发的"基石"。对于所有编程开发人员必须要知其然并知其所以然，所以网络部分将从协议、封包、解包等底层进行深入剖析。

2. 爬虫开发。

将网络一切数据作为资源，通过自动化程序进行有针对性的数据采集以及处理。爬虫开发项目包含跨越防爬虫策略、高性能异步IO、分布式爬虫等，并针对Scrapy框架源码进行深入剖析，从而理解其原理并实现自定义爬虫框架。

3.Web开发。

Web开发包含前端以及后端两大部分，前端部分，带你从"黑白"到"彩色"世界，手把手开发动态网页;后端部分，带你从10行代码开始到n万行来实现并使用自己的微型Web框架，框架讲解中涵盖了数据、组件、安全等多领域的知识，从底层了解其工作原理并可驾驭任何业内主流的Web框架。

4. IT自动化开发。

IT运维自动化是一组将静态的设备结构转化为根据IT服务需求动态弹性响应的策略，目的就是实现减少人工干预、降低人员成本以及出错概率，真刀真枪的带你开发企业中最常用的项目，从设计层面、框架选择、灵活性、扩展性、故障处理、以及如何优化等多个层面接触真实的且来源于各大互联网公司真实案例，如:堡垒机、CMDB、全网监控、主机管理等。

5. 金融分析。

金融分析包含金融知识和Python相关模块的学习，手把手带你从金融小白到开发量化交易策略的大拿。学习内容囊括Numpy\Pandas\Scipy数据分析模块等，以及常见金融分析策略如"双均线"、"周规则交易"、"羊驼策略"、"Dual Thrust 交易策略"等，让梦想照进现实，进入金融行业不再是个梦。

6. 人工智能+机器学习。

人工智能时代来临，率先引入深度机器学习课程。其中包含机器学习的基础概念以及常用知识，如:分类、聚类、回归、神经网络以及常用类库，并根据身边事件作为案例，一步一步经过预处理、建模、训练以及评估和参调等。人工智能是未来科技发展的新趋势，Python作为最主要的编程语言，势必有很好的发展前景，现在学习Python也是一个很好的机会。

Q4: 如何对知乎内容进行爬虫

下面说明知乎爬虫的源码和涉及主要技术点：

（1）程序package组织

（2）模拟登录（爬虫主要技术点1）

要爬去需要登录的网站数据，模拟登录是必要可少的一步，而且往往是难点。知乎爬虫的模拟登录可以做一个很好的案例。要实现一个网站的模拟登录，需要两大步骤是：（1）对登录的请求过程进行分析，找到登录的关键请求和步骤，分析工具可以有IE自带(快捷键F12)、Fiddler、HttpWatcher；（2）编写代码模拟登录的过程。

模拟登录

（3）网页下载（爬虫主要技术点2）

模拟登录后，便可下载目标网页html了。知乎爬虫基于HttpClient写了一个网络连接线程池，并且封装了常用的get和post两种网页下载的方法。

（4）自动获取网页编码（爬虫主要技术点3）

自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。

（5）网页解析和提取（爬虫主要技术点4）

使用Java写爬虫，常见的网页解析和提取方法有两种：利用开源Jar包Jsoup和正则。一般来说，Jsoup就可以解决问题，极少出现Jsoup不能解析和提取的情况。Jsoup强大功能，使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。

（6）正则匹配与提取（爬虫主要技术点5）

虽然知乎爬虫采用Jsoup来进行网页解析，但是仍然封装了正则匹配与提取数据的方法，因为正则还可以做其他的事情，如在知乎爬虫中使用正则来进行url地址的过滤和判断。

（7）数据去重（爬虫主要技术点6）

对于爬虫，根据场景不同，可以有不同的去重方案。（1）少量数据，比如几万或者十几万条的情况，使用Map或Set便可；（2）中量数据，比如几百万或者上千万，使用BloomFilter（著名的布隆过滤器）可以解决；（3）大量数据，上亿或者几十亿，Redis可以解决。知乎爬虫给出了BloomFilter的实现，但是采用的Redis进行去重。

（8）设计模式等Java高级编程实践

除了以上爬虫主要的技术点之外，知乎爬虫的实现还涉及多种设计模式，主要有链模式、单例模式、组合模式等，同时还使用了Java反射。除了学习爬虫技术，这对学习设计模式和Java反射机制也是一个不错的案例。

4. 一些抓取结果

Q5: python为什么叫爬虫

因为python的脚本特性，易于配置，对字符的处理也非常灵活，就像虫子一样灵活，故名爬虫。

Python是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。

Python支持重载运算符和动态类型。相对于Lisp这种传统的函数式编程语言，Python对函数式设计只提供了有限的支持。有两个标准库(functools, itertools)提供了Haskell和Standard ML中久经考验的函数式程序设计工具。

扩展资料

Python的设计目标之一是让代码具备高度的可阅读性。它设计时尽量使用其它语言经常使用的标点符号和英文单字，让代码看起来整洁美观。它不像其他的静态语言如C、Pascal那样需要重复书写声明语句，也不像它们的语法那样经常有特殊情况和意外。

Python开发者有意让违反了缩进规则的程序不能通过编译，以此来强制程序员养成良好的编程习惯。

并且Python语言利用缩进表示语句块的开始和退出（Off-side规则），而非使用花括号或者某种关键字。增加缩进表示语句块的开始，而减少缩进则表示语句块的退出。缩进成为了语法的一部分。

例如if语句：python3。

关于java知乎爬虫代码和java爬虫源码的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。