爬虫python用哪个库，python爬虫哪个库好用

Python写爬虫都用到什么库

Python爬虫网络库Python爬虫网络库主要包括：urllib、requests、grab、pycurl、urllibhttplibRoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aiohttp等。

请求库 requests requests 类库是第三方库，比 Python 自带的 urllib 类库使用方便和 selenium 利用它执行浏览器动作，模拟操作。 chromedriver 安装chromedriver来驱动chrome。

requests 这个库是爬虫最常用的一个库 Selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作 对于一些用JS做谊染的页面来说，这种抓取方式是非常有效的。

requests requests库应该是现在做爬虫最火最实用的库了，非常的人性化。有关于它的使用我之前也写过一篇文章 一起看看Python之Requests库 ，大家可以去看一下。

PySpider：PySpider是一个轻量级的分布式爬虫框架，它基于Python 3开发，提供了简单易用的API和强大的分布式爬取功能。 Gevent：Gevent是一个基于协程的网络库，可以实现高并发的网络爬取。

相关问答

Q1: python爬虫需要安装哪些库

1、urllib-网络库(stdlib) 。requests-网络库。grab-网络库(基于py curl) 。py curl-网络库(绑定libcurl) 。urllib 3-Python HTTP库， 安全连接池、支持文件post 、可用性高。httplib 2-网络库。

2、请求库 requests requests 类库是第三方库，比 Python 自带的 urllib 类库使用方便和 selenium 利用它执行浏览器动作，模拟操作。 chromedriver 安装chromedriver来驱动chrome。

3、requests 这个库是爬虫最常用的一个库 Selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作 对于一些用JS做谊染的页面来说，这种抓取方式是非常有效的。

4、Python爬虫网络库Python爬虫网络库主要包括：urllib、requests、grab、pycurl、urllibhttplibRoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aiohttp等。

Q2: python爬虫用什么库

urllib-网络库(stdlib) 。 requests-网络库。 grab-网络库(基于py curl) 。 py curl-网络库(绑定libcurl) 。 urllib 3-Python HTTP库， 安全连接池、支持文件post 、可用性高。 httplib 2-网络库。

请求库 requests requests 类库是第三方库，比 Python 自带的 urllib 类库使用方便和 selenium 利用它执行浏览器动作，模拟操作。 chromedriver 安装chromedriver来驱动chrome。

requests 这个库是爬虫最常用的一个库 Selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作 对于一些用JS做谊染的页面来说，这种抓取方式是非常有效的。

Python爬虫网络库Python爬虫网络库主要包括：urllib、requests、grab、pycurl、urllibhttplibRoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aiohttp等。

pyspider是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。

基于库的爬虫使用Python的网络请求库（如requests）和解析库（如BeautifulSoup）来发送请求和解析网页内容。这种爬虫的开发相对简单，适合小规模的数据采集任务。基于框架的爬虫则使用Python的网络爬虫框架（如Scrapy）来进行开发。

Q3: Python什么爬虫库好用?

1、、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。

2、说实话感觉大同小异。各有优缺点吧~常见python爬虫框架1)Scrapy：很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。

3、PySpider：PySpider是一个轻量级的分布式爬虫框架，它基于Python 3开发，提供了简单易用的API和强大的分布式爬取功能。 Gevent：Gevent是一个基于协程的网络库，可以实现高并发的网络爬取。

4、获取文章的标题和内容很便利，用起来非常nice。

5、pyquery是一个网页解析库，采用类似jquery的语法来解析HTML文档。

6、cola – 一个分布式爬虫框架。Demiurge – 基于PyQuery 的爬虫微型框架。feedparser – 通用 feed 解析器。Grab – 站点爬取框架。MechanicalSoup – 用于自动和网络站点交互的 Python 库。portia – Scrapy 可视化爬取。

关于爬虫python用哪个库和python爬虫哪个库好用的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。