正文
用Python爬取斗鱼网站的一个小案例
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
思路解析：
1、我们需要明确爬取数据的目的：为了按热度查看主播的在线观看人数
2、浏览网页源代码，查看我们需要的数据的定位标签
3、在代码中发送一个http请求，获取到网页返回的html(需要注意的是，许多网页都有反爬虫机制，所以需要在请求中添加user-agent,伪装成客户端访问)
4、对获取到的html进行分析，使用正则表达式提取我们需要的部分（需要注意的是要把主播名称和观看人数所在的块整个提取，分别提取的话如果网页设计不规律的话很难对应）
5、将得到的单个主播的数据存储在字典中，并把所有主播的数据存储在list中
6、如果抓取到的数据中包含空格换行等无用字符，还需要对数据进行精炼。
7、对抓取到的数据从大到小进行排序（需要注意的是：我们抓取到的数据是字符串，并且单位可能是人或者万人，所以要对观看人数进行处理）
8、将排好序的数据遍历输出。
由于斗鱼网站的网页是采用模板实现的，案例是抓取王者荣耀的主播的数据，想抓取别的类目的话，只需要修改url即可~
代码实现：
'''
爬取斗鱼网站的王者荣耀分类主播的观看人数和主播名字，并按热度排名
'''
from urllib import request
from io import BytesIO
import gzip
import reclass Spider():
url = 'https://www.douyu.com/g_wzry' # 根节点的字符串匹配正则表达式，匹配除了根节点中间的所有字符,非贪婪模式，找到第一个</div>就结束
root_pattern = '<div class="DyListCover-info">([\s\S]*?)</div>' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'} # 观看人数匹配字符串
number_pattern_str = '<span class="DyListCover-hot is-template">([\s\S]*?)</span>'
# 观看人数的字符串，删除前面的icon部分
number_pattern = '<svg><use xlink:href="#icon-hot_8a57f0b"></use></svg>' name_pattern_str = '<h2 class="DyListCover-user is-template">([\s\S]*?)</h2>'
name_pattern = '<svg><use xlink:href="#icon-user_c95acf8"></use></svg>' # 抓取自定网页内容并解码
def __fetch_content(self):
# 发送一个http的请求，获取返回的html代码
req = request.Request(Spider.url, headers=Spider.headers)
htmls = request.urlopen(req).read() # 解码
buff = BytesIO(htmls)
f = gzip.GzipFile(fileobj=buff)
htmls = f.read().decode('utf-8')
return htmls # 分析抓取内容，选取标签时尽量选取闭合标签，标签成组的选择好对应
def __analysis(self, htmls):
# 获取到需要的全部数据
root_html = re.findall(Spider.root_pattern, htmls)
# 由于网页中一个块有两个相同的class类，其中第一个主播介绍
# 第二个才是需要的数据，所以选取奇数下标元素
root_info_html = root_html[1::2] # 最后获取到的数据列表
anchors = []
# 遍历列表，提取用户名和观看人数
for html in root_info_html:
# 提取到的是带icon的部分
watch_num_str = re.findall(Spider.number_pattern_str, html)
# 剔除icon部分
watch_num = re.sub(Spider.number_pattern, '', watch_num_str[0]) # 提取带icon的name的部分
name_str = re.findall(Spider.name_pattern_str, html)
name = re.sub(Spider.name_pattern, '', name_str[0]) # 将名字和观看人数用字典存储，最后再用列表存储每个主播的数据
anchor = {'name': name, 'number': watch_num}
anchors.append(anchor) return anchors # 精炼函数
# def __refine(self, anchors):
# lam = lambda anchor: {'name': anchor['name'][0], 'number': anchor['number'][0]}
# return map(lam, anchors) # 排序
def __sort(self, anchors):
anchors = sorted(anchors, key=self.__sort_key, reverse=True)
return anchors # 排序规则
def __sort_key(self, anchor):
# 提取数字并计算
r = re.findall('\d*', anchor['number'])
number = float(r[0])
if '万' in anchor['number']:
number *= 10000
return number # 显示数据
def __show(self, anchors):
# for anchor in anchors:
# print(anchor['name'], ':', anchor['number'])
for rank in range(0, len(anchors)):
print("Rank ", rank+1, ": ", anchors[rank]['name'], " ", anchors[rank]['number']) # 入口方法
def go(self):
htmls = self.__fetch_content()
anchors = self.__analysis(htmls)
anchors = self.__sort(anchors)
self.__show(anchors)spider = Spider()
spider.go()
