练习： bs4 简单爬取 + matplotlib 折线图显示（关键词，职位数量、起薪）

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

要看一种技术在本地的流行程度，最简单的就是找招聘网站按关键词搜索。

比如今天查到的职位数量是vue 1296个，react 1204个，angular 721个。国际上比较流行的是react，本地市场中vue倒更受欢迎。所以学习的话可以先考虑前两个。

比如我们可以功利化一点：某些语言的薪资中值比较低，或者某些语言职位数比较少，那么我们做做比较，去学点别的吗。

分为两步，第一步爬取并保存成文本文件；第二步读取和解析文本文件显示折线图。（数据存在本地更好，免得频繁扒着玩，对方网站恨我。所以分为两步）

第一个文件：

按关键词，扒取页面 https://sou.zhaopin.com/jobs/searchresult.ashx?jl=北京

按薪资区间分为几挡：1～6000，6001～12000,12001～20000,20001～30000,30001～99999

# -*- coding: utf-8 -*-
# coding=utf-8import requests
import bs4
import urllibdef getPageTxt(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
r = requests.get(url, headers=headers)
soup = bs4.BeautifulSoup(r.content.decode("utf-8"), "lxml")
mylist = soup.select('.search_yx_tj em')
counts = mylist[0].text
return countsdef getUrl(word, moneymin=0, moneymax=99999):
url = "http://sou.zhaopin.com/jobs/searchresult.ashx?jl=北京&kw="
url += word + "&p=1&isadv=0&isfilter=1&sf=" + str(moneymin) + "&st=" + str(moneymax)
return url# 一、查询关键词
word000 = "前端,python" #限最多6个值，中间半角逗号分隔
#word000 = "前端,python,php"
words = word000.split(",")# 二、工资区间（最小值为0，最大值为99999）
moneys = [0, 6000, 12000, 20000, 30000, 99999]
money_min = list(map(lambda x: x+1, moneys[:-1])) #[1, 6001, 12001, 20001, 30001]
money_max = list(map(lambda x: x, moneys[1:])) #[6000, 12000, 20000, 30000, 99999]
print(money_min)
print(money_max)# 三、url拼串，扒取页面，生成字典文件
'''
字典文件的结构为：（counts是职位数量，startmoney是起薪。这两个list，后面将用于生成折线图）
[
{'key': '前端', 'counts': [1105, 4485, 4394, 1549, 393], 'startmoney': [1, 6001, 12001, 20001, 30001]},
{'key': 'python', 'counts': [700, 2945, 4467, 2454, 984], 'startmoney': [1, 6001, 12001, 20001, 30001]}
]'''
ulist = []
for word in words:
li = {}
counts = []
for k in money_min:
idx = money_min.index(k) # 索引
url = getUrl(word, money_min[idx], money_max[idx]) # 拼串
counts.append(int(getPageTxt(url))) # 扒取，并转换为数字，存入counts列表
li["key"] = word
li["counts"] = counts
li["startmoney"] = money_min
ulist.append(li)
print(ulist)
f = open("counts000.txt", "w")
f.write(str(ulist))
f.close()

第二个文件：

注意这里有个坑：json载入的字符串，必须是双引号

# -*- coding: utf-8 -*-
# coding=utf-8import json
f = open('counts000.txt', 'r+')
ulliststring = f.read()
f.close()ulliststring = ulliststring.replace("'", '"') # 注意这里有个坑！！ json的标准格式：要求必须只能使用双引号作为键或者值的边界符号，不能使用单引号，而且“键”必须使用边界符（双引号）
ullist = json.loads(ulliststring)import matplotlib
import matplotlib.pyplot as plt
matplotlib.rcParams['font.sans-serif'] = ['SimHei']# 为了能显示中文（而不是显示一个框）
matplotlib.rcParams['font.family']='sans-serif'
matplotlib.rcParams['axes.unicode_minus'] = False # 为了能显示负号（而不是显示一个框）colornames = ['#ff0000', '#ccee00', '#00aa00','#0000ff', '#9900ff', '#ff0099']plt.title('bj薪资、职位数量折线表', color='#ff33a0')
plt.xlabel('薪资区间') # 设置X坐标轴标题
plt.ylabel('职位数量') # 设置Y坐标轴表
plt.xlim(0, 35000) # 设置坐标轴的范围
plt.ylim(0, 5000)
# plt.xticks([2,4])#设置x轴的标签间隔
# plt.yticks([4,16])#设置y轴的标签间隔i = 0
for li in ullist:
x = li["startmoney"]
y = li["counts"]
plt.plot(x, y, colornames[i])
i += 1
plt.show()