Python_爬虫笔记_2018.3.19

Python_爬虫_笔记

1.前言

1.1爬虫用途：

网站采集、接口采集(地图(jis 热力学 屋里端口/协议)、微信、知乎、)

1.2基本流程：网页下载(requests)+网页解析+爬虫调度

网页解析：在当前网站找信息、下一个入口等信息

调度：调度器/队列(先进先出、谁快谁先...)

1.3Python爬虫库 urllib、bs4/beautiful_soup、lxml/XPath、scripy

学习顺序：urllib→bs4/beautiful_soup→lxml/XPath→scripy

注：lxml/XPath 是指lxml下的Xpth库；具体用法会在下面部分详述

1.4反爬虫 和 反反爬虫 原理

反爬虫原理：检查request的(user-agent[识别爬虫]、Host、refer[来源，防盗链])、js异步加载、其他机制

反反爬虫：控制爬取节奏(time.sleep())、伪装头信息(user-agent、Host、refer)、伪装IP(代理池)、伪装cookie

1.5用到的知识点：

• web前端(css选择器、JS渲染规则)选择器；ajax异步加载、HTTP协议、Python进程线程等

-JSON的序列化dumps()和反序列化loads()

对付(HTTPs的)ssl安全套接层协议

HTTPs 有验证，处理办法：

1.引入ssl躲避    2.设置取消验证

---

2.IP代理、代理池维护【待完善】

url自带

1.调用urllib.request.ProxyHandler(proxies=None)   代理矩柄

2.创建Opener(类似urlopen)

3.安装Opener

代理IP

透明Ip 附加真实IP(用途少)，有的直接就是不生效

高密IP 隐藏自身IP

• cookie-urllib的cookie很复杂，到scrapy上再看

3.网页请求 与 网页解析

3.1 request请求

注：Python最最常用的请求库 - request，其他的可以忽略

#request请求案例(简版)：

import request

req = request.urlopen("url地址").read().decode('编码格式')

#request请求案例(标准版)-注：标准请求要加入表头信息

qingqiutou = request.Request(url=url,headers=headers,method="GET")

    res=request.urlopen(qingqiutou).read().decode('utf-8')

3.2页面解析库【重要！！！】

3.2.1 re模块,Python自带的正则解析库；最基础最不好用的解析库

注：最原始的办法是re模块正则解析，目前只用正则来处理不遵守结构化DOM(Document Object Model)树规范的页面

用法案例：略

3.2.2 Urllib模块

常见问题：

urllib.request  请求模块，打开和读取URLs

urllib.error    异常处理模块   分为：HTTPerror、urlerror

注：HTTPError在URLError之前，因为HTTPError是URLError的子类，若URLError在前报错会覆盖HTTPError

urllib.parse    url解析模块

urllib.robotparser robots.txt   解析模块【少，基本不用】

print(response.getcode())   #打印出状态码

f.getcode() 等同于 f.status 获取状态码

f.getheaders() 等同于 f.info()  获取表头

用法案例：略

3.2.3 bs4解析库【form bs4 import beautiful soup】

主要用于网页数据解析,根据标签机结构化解析

find_all  find

节点选取： 子节点、父节点、兄弟节点

bs4库能格式化html数据

包含4大(bs4)对象

1.Tag 标签    例如：supe.title 能表示标题，默认第一个【包含NavigableString、Comment】

2.NavigableString     例如：print(soup.p.string)  输出p标签里的内容【包含Comment】

3.BeautifulSoup       是一个特殊的tag对象  能提取name、attr等属性

4.Comment     能提取注释内容

bs4库的4个解析器

• 1、 Python标准库【主要,系统自带;】

  使用方法： BeautifulSoup(markup,"html.parser")【注：markup是html文档】
  
  Python的内置标准库

案例

from bs4 import BeautifulSoup

soup = BeautifulSoup.(html,'html.parser')

print(soup.title.string)

• 2、 lxmlHTML解析器

  BeautifulSoup(markup,"lxml")
  
  速度快、需要安装C语言库

• 3、 lxml XML解析器

  使用方法：BeautifulSoup(markup,"xml")
  
  速度快，唯一支持XML的解析器、需要安装C语言库

• 4、 html5lib

  BeautifulSoup(markup,"html5lib")
  
  容错性好，以浏览器的形式解析文档，生成html5格式的文档，但是速度慢

3.2.4 lxml.XPath解析库 可以代替re的lxml解析库

XML Path Language是一个小型的查询语言，根据DOM树路径一层层查找

from lxml import etree

select = etree.HTML(html代码)   #格式化

selector.xpath(表达式)  #返回为一列表

XPath四种标签：【注：唯一一个编号是从0开始的】

1. //   根路径，会全局扫描，取得内容后以列表的形式返回

2. /    路径    找当前或下一级内容

3. text()   获取当前路径下的文本内容；例：text(2) 取第二个

4. /@xxx 属性标签   获得当前路径下的属性值(取href值)  案例：/div[@classs="shuxing1"]/...

5. |    分割符 同时取多个路径

6. .    点 取当前节点

7. ..   两个点 取当前节点的父节点

Tips：

集合 content = set(content1) #集合可以去重，当做键