python3爬取拉钩招聘数据

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

使用python爬去拉钩数据
第一步:下载所需模块
requests 进入cmd命令 :pip install requests 回车联网自动下载
xlwt 进入cmd命令 :pip install xlwt 回车联网自动下载
第二步：找到你要爬去的网页（我爬去的是拉钩网）
选择浏览器（火狐、谷歌）我使用的谷歌抓包
编码工具（idea）（ pyCharm）我使用的idea

import requests #导入下载过的requesta
import xlwt #导入下载过的xlwt
#用谷歌找到对应的网页，按f12进入检查

#NetWork,XHR里面有一个headers里面找
headers={
#第一个电脑和服务器信息，
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',#电脑和服务器信息
#第二个是你从哪里进入的拉钩网，没有这个以为是机器人访问。
'Referer':'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
#第三个为了辨别身份，有的网站需要，有的不需要
'Cookie':'user_trace_token=20170921093258-cc8e4c13-9e6c-11e7-9d07-525400f775ce; LGUID=20170921093258-cc8e52b6-9e6c-11e7-9d07-525400f775ce; index_location_city=%E5%85%A8%E5%9B%BD; JSESSIONID=ABAAABAACEBACDGD4C15CDA891A7242B76AA4F9B7450B8B; _gat=1; PRE_UTM=; PRE_HOST=www.sogou.com; PRE_SITE=https%3A%2F%2Fwww.sogou.com%2Flink%3Furl%3DhedJjaC291NlQquFD-D9iKfCABISWiMgDLW1Nx6fG3psqHL_zYlG_a3mlRzfPLR2; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2Fgongsi%2Fj75915.html; TG-TRACK-CODE=index_search; _gid=GA1.2.405703854.1505957562; _ga=GA1.2.1930895945.1505957562; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1505957579,1505957596,1505957630,1505969456; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1505969469; LGSID=20170921125112-7dcd03f6-9e88-11e7-9d2f-525400f775ce; LGRID=20170921125125-85aaed04-9e88-11e7-91fb-5254005c3644; SEARCH_ID=746090bf111a497aa55f7f1b8dabffd2'#来路，你是从哪个页面点入的
}
#data对应的是分页pn为1就相当于第一页
def getJobList(page):
data={
'first':'false',
'pn': page,
'kd': 'python'
}
#发起一个post请求，指的当前网页的链接
res=requests.post('https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult='
'false&isSchoolJob=0',data=data,headers=headers)
result=res.json()#将里面的数据以json格式展示类似于（key,value）
jobs=result['content']['positionResult']['result'] #每个对应查找
return jobs#结果返回excelTabel= xlwt.Workbook()#创建excel对象
sheet1=excelTabel.add_sheet('lagou',cell_overwrite_ok=True)
sheet1.write(0,0,'公司名')#公司名
sheet1.write(0,1,'城市')#城市
sheet1.write(0,2,'地区')#地区
sheet1.write(0,3,'全职/简直')#全职/简直
sheet1.write(0,4,'薪资')#薪资
sheet1.write(0,5,'职位')#职位
sheet1.write(0,6,'工作年限')#工作年限
sheet1.write(0,7,'公司规模')#公司规模
sheet1.write(0,8,'学历')#学历
n=1
for page in range(1,31):#循环输出每一页
for job in getJobList(page=page):
#下面的if判断可以加也可以不加
if '1-3'in job['workYear'] and '后端开发'in job['secondType'] and '本科'in job['education']: # and '朝阳区'in job['district']
sheet1.write(n,0,job['companyFullName'])#公司名
sheet1.write(n,1,job['city'])#城市
sheet1.write(n,2,job['district'])#地区
sheet1.write(n,3,job['jobNature'])#全职/简直
sheet1.write(n,4,job['salary'])#薪资
sheet1.write(n,5,job['secondType'])#职位
sheet1.write(n,6,job['workYear'])#工作年限
sheet1.write(n,7,job['companySize'])#公司规模
sheet1.write(n,8,job['education'])#学历
n+=1
#打印到wps的表格里面
excelTabel.save('lagou.xlsx')