python beautifulsoup/xpath/re详解

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

自己在看python处理数据的方法，发现一篇介绍比较详细的文章

转自：http://blog.csdn.net/lingojames/article/details/72835972

20170531

这几天重新拾起了爬虫，算起来有将近5个月不碰python爬虫了。

对照着网上的程序和自己以前写的抓图的程序进行了重写，发现了很多问题。总结和归纳和提高学习效果的有效手段，因此对于这些问题做个归纳和总结，一方面总结学习成果，使之成为自己的东西，另一方面希望能够给其他初学爬虫的人一些启发。

爬虫程序核心是对网页进行解析，从中提取出自己想要的信息数据。这些数据可能是网址（url、href）、图片（image）、文字（text）、语音（MP3）、视频（mp4、avi……），它们隐藏在网页的html数据中，在各级等级分明的element里面，通常是有迹可循的，否则就没有爬取的必要了。提取的手段主要有三种：xpath、BeautifulSoup、正则表达式（Re）。下面分别进行介绍：

（一）BeautifulSoup

从本心来说，我更喜欢用BeautifulSoup。因为它更符合直观语义特性，find（）和find_all（）函数已经基本上足够提取出任何的信息，对于身份证号、QQ号等特征特别明显的数据，顶多再加上一个正则表达式就完全OK了。

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

具体介绍参见：

BeautifulSoup 的结构和用法简介

静下心来看完这篇博文才了解到原来BeautifulSoup有这么多的用法，特别是find_all（）和find（），下面是一些实例：

#实例

import requests

from bs4 import BeautifulSoup

headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}

html = requests.get(url, headers=headers)

soup = BeautifulSoup(html.text, 'lxml')  #以上是网络获取html

soup=BeautifulSoup(open('index.html')) # 读取本地的html，加个open函数即可

print（soup.prettify()）  # 用标准html 显示方法打印html

#soup.find_all()方法介绍 ，soup.find()与之基本类似，只是返回的是第一个值

find_all( name , attrs , recursive , text , **kwargs )

soup.find_all('b')  #查找所有的b标签，返回列表

soup.find_all(re.compile("^b")) # 正则表达式

soup.find_all(["a", "b"])  #传入列表参数，找到所有的a标签和b标签

soup.find_all(id='link2')  #传入id是link2的参数,Beautiful Soup会搜索每个tag的”id”属性

soup.find_all(href=re.compile("elsie")) #传入正则表达式，查找所有的href标签内容中含有 elsie 的内容

soup.find_all(href=re.compile("elsie"), id='link1') # 多层过滤，除了href进行限定之外，对id标签的内容也做了限定

soup.find_all("div", class_="sister") #最常用的查找技巧，这里之所以加‘_=’是因为‘class’不仅是html中的tag，也是python语法的关键词，其他的不用加下划线

data_soup.find_all(attrs={"data-foo": "value"}) # 针对html5里面的data- 进行的专项查找

soup.find_all(text="Elsie") # 对text内容进行查找

soup.find_all(text=["Tillie", "Elsie", "Lacie"]) # 列表形式进行查找，与上面name类似

soup.find_all(text=re.compile("Dormouse")) # 正则表达式形式，与上面类似

soup.find_all("a", limit=2) # 找到前两个a标签， limit用来限定次数(

还有一个select()函数比较有用，基本用法如下：

# 我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是soup.select()，返回类型是list

（1）通过标签名查找

soup.select('title')

（2）通过类名查找

soup.select('.sister')

（3）通过 id 名查找

soup.select('#link1')

（4）组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开

soup.select('p #link1')

（5）属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

soup.select('a[class="sister"]')

soup.select('a[href="http://example.com/elsie"]')

get_text()方法可以用来获取内容，请看下面代码：

soup = BeautifulSoup(html.text, 'lxml')

print (type(soup.select('title')))

print (soup.select('title')[0].get_text())  # 获取第一个title标签的对应内容

for title in soup.select('title'):

print (title.get_text()) # 获取列表中的title对应内容

好了，BeautifulSoup的用法基本介绍到这里，除了速度上比较鸡肋之外，BeautifulSoup的查找方法做到了堪称人性化，给人以非常直观的语义理解。

（二）Xpath的介绍和用法

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。结构关系包括 父、子、兄弟、先辈、后代等。

这里主要参考这篇博文：

Xpath 语法和lxml的用法简介

表达式                         功能描述

nodename       选取此节点的所有子节点。

/                        从根节点选取。

//                       从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。

.                        选取当前节点。

..                      选取当前节点的父节点。

@                     选取属性。

实例

在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：

路径表达式                                                     结果

bookstore                            选取 bookstore 元素的所有子节点。

/bookstore                           选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始                                                终代表到某元素的绝对路径！

bookstore/book                  选取属于 bookstore 的子元素的所有 book 元素。

//book                                  选取所有 book 子元素，而不管它们在文档中的位置。

bookstore//book                选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于                                                      bookstore 之下的什么位置。

//@lang                               选取名为 lang 的所有属性。

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。谓语被嵌在 方括号 中。

实例

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式                                                                        结  果

/bookstore/book[1]                       选取属于 bookstore 子元素的第一个 book 元素。

/bookstore/book[last()]                 选取属于 bookstore 子元素的最后一个 book 元素。

/bookstore/book[last()-1]             选取属于 bookstore 子元素的倒数第二个 book 元素。

/bookstore/book[position()<3]     选取最前面的两个属于 bookstore 元素的子元素的 book 元素。

//title[@lang]                                  选取所有拥有名为 lang 的属性的 title 元素。

//title[@lang=’eng’]                        选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。

/bookstore/book[price>35.00]     选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值                                                            须大于 35.00。

/bookstore/book[price>35.00]/title     选取 bookstore 元素中的 book 元素的所有 title 元素，且其中                                                                   的 price 元素的值须大于 35.00。

路径表达式                                    结果

/bookstore/*                   选取 bookstore 元素的所有子元素。

//*                                    选取文档中的所有元素。

//title[@*]                        选取所有带有属性的 title 元素。

选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式                                                                        结果

//book/title | //book/price                        选取 book 元素的所有 title 和 price 元素。

//title | //price                                            选取文档中的所有 title 和 price 元素。

/bookstore/book/title | //price                 选取属于 bookstore 元素的 book 元素的所有 title 元素，以及                                                                  文档中所有的 price 元素。

用法简介：