利用requests, beautifulsoup包爬取股票信息网站

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

这是第一次用requests, beautifulsoup实现爬虫，此次爬取的是一个股票信息网站：http://www.gupiaozhishi.net.cn。

实现非常简单，只是为了demo使用的数据采集，故而基本未做任何的优化，比方说代理，并发等。但对网上较为复杂的爬虫实例而言，此节可以作为简单的入门实例参考。

基本上爬虫的第一步都是对网页的解析，http://www.gupiaozhishi.net.cn这个网站非常简单，基本要爬取的信息的url信息均在首页上可以爬取到。

import requests
home = requests.get('http://www.gupiaozhishi.net.cn/',headers = {},cookies = {})
home.encoding = 'gb2312'from bs4 import BeautifulSoup
home_html_doc = home.texthome_soup = BeautifulSoup(home_html_doc, 'lxml')

通过上面的代码就已经将网页信息的html信息爬取下来，网站的默认的编码通过<meta>中的charset属性查看，由于charset = 'gb2312' ，故这边使用'gb2312'的编码方式。

将爬取下来的html信息传入BeautifulSoup实例，以'lxml'的方式对html信息进行解析。实际练习过程中，可以使用print( home_soup.prettify())的方式，将requests获取的http文件解析成我们习惯看的html格式的内容。

由于我此次是希望通过爬取首页信息获取所有的FAQ问题的url，所以通过下面代码获取相应的url信息。

url_list = [] # 用于存储所有的a 标签中的href内容
knowledge_url_list = home_soup.find_all('a') # 抓取到网页的所有a标签的信息，存储类型为list。
for i in knowledge_url_list:
uri = i.get('href') # 找到所有a标签内的超链接信息
url_list.append(uri)'''虽然上面已经解析出了所有的href信息，但是有很多信息并不是我们想要的，发现想要的FAQ信息的url都均有共同的特性，以.html结尾。所以选择用正则的方式剔除到不要的'''pattern_url_list =[] #用正则表达式的方式挑选符合条件的href内容import re
for i in url_list:
patterns =r'[a-zA-Z]+://[^\s]*.html$'
res = re.match(patterns , i) if res is not None:
pattern_url_list.append(res.group())#最后获取符合条件的url共计242个，即242个FAQ

成功爬取所有的信息后，我们就可以用各种方式去实现抓取所有的url信息里面的相应内容，针对一个FAQ页面的问题进行了解析处理，加上测试发现基本所有的url都可以用同样的方式去处理。特殊页面特殊处理。

其中发现了几个问题：

1. 字符编码问题：网页的问题中有少量的繁体字，不在gb2312的字符范围内，无法解析，出现乱码；

2. 有大量的内容信息中打印出来的信息有注释内容，需要将注释内容剔除。

3. 文本内容在一个span标签内，通过<br/>标签实现换行，少量的<p>标签的内容在内部最后。

4. 实现过程中采用的是将文本内容用列表的方式添加，在for循环体内，list类型的可变属性导致出现数据叠加。

下面的实现代码中实现了上面提到的几个问题，解决方法均有注释：

from bs4 import CData
from bs4 import element
import json
import os
pattern_url_list.remove('http://www.gupiaozhishi.net.cn/stock/chaogu/200702/4958.html')
pattern_url_list.remove('http://www.gupiaozhishi.net.cn/stock/rumen/200702/94.html')
#以上两个url是在实际测试中发现有特殊问题的两个url，选择直接剔除，避免复杂度。question_dicts = {}
contents_list_str = []
#定义函数每次获取url中的问题和答案。for u in pattern_url_list:
question = requests.get(u, headers = {}, cookies = {})
question.encoding = 'gb18030'
#由于繁体在gb18030中一定有映射关系，尝试后发现中文繁体乱码现象果然解决。
question_html_doc = question.text
question_soup = BeautifulSoup(question_html_doc,'lxml') [s.extract() for s in question_soup(['br','p'])] #去除不想要的br，p标签 question_soup.prettify() #测试过程中用来打印查看 question_name = question_soup.meta['content'] #获取标题
question_content = question_soup.find_all('span')[0] contents_list = question_soup.find_all('span')[0].contents
'''每个问题页面上有三个span标签，其中每个页面上的第一个span标签内存储存了所有的答案的文本内容。''' for i in contents_list:
if type(i) == element.Comment:
pass #如果这一行内容是注释，清除
else:
if len(i) <1 or i is None:
pass
else:
i = i.strip()
# 剔除空行和多余的空格键，换行符等 contents_list_str.append(str(i)) #将符合条件的字符串行添加到答案内容列表中 contents = ''.join(contents_list_str) #将列表内字符串拼接为一个字符串
question_dicts[question_name] = contents #将标签和内容添加到字典中 contents_list_str = [] #在下一次循环前，清空列表。防止元素叠加