实例学习——爬取豆瓣音乐TOP250数据

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

开发环境：（Windows）eclipse+pydev+MongoDB

豆瓣TOP网址：传送门

一、连接数据库

打开MongoDBx下载路径，新建名为data的文件夹，在此新建名为db的文件夹，db文件夹即用于存储数据

在bin路径下输入配置信息——>mongod --dbpath D:\MongoDB\data\db (此处为存储文件路径)

再打开新的命令行窗口，输入——>mongo

注意：启动服务的命令行窗口不要关闭

打开可视化管理工具Robomongo，点击Connections对话框，在右侧新建connect

保持默认设置，单击save，最后单击Connect即可连接到数据库

### 二、运行爬虫

# -*- coding:utf-8 -*- import pymongo from lxml import etree import re import requests import time client =pymongo.MongoClient('localhost',27017) #创建并连接数据库 mydb = client['mydb'] musictop = mydb['musictop']headers = {'User=Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'} #请求头def get_url_music(url): #获得详细url的函数 html = requests.get(url, headers = headers) selector = etree.HTML(html.text) music_hrefs = selector.xpath('//a[@class="nbg"]/@href') for music_href in music_hrefs: get_music_info(music_href)def get_music_info(url): #获取详细信息的函数 html = requests.get(url, headers=headers) selector = etree.HTML(html.text) name = selector.xpath('//*[@id="wrapper"]/h1/span/text()')[0] #xpath author = re.findall('表演者:.*?>(.*?)</a>',html.text,re.S)[0] #正则表达式 styles = re.findall('流派: (.*?) ',html.text,re.S) if len(styles)==0: style = '未知' else: style = styles[0].strip() time = re.findall('发行时间: (.*?) ',html.text,re.S)[0].strip() publishers = re.findall('出版者:.*?>(.*?)</a>',html.text,re.S) if len(publishers)==0: publisher = "未知" else: publisher = publishers[0].strip() score =selector.xpath('//*[@id="interest_sectl"]/div/div[2]/strong/text()')[0] print(name,author,style,time,publisher,score) info = { 'name':name, 'author':author, 'style':style, 'time':time, 'publisher':publisher, 'score':score, } musictop.insert_one(info)if __name__=='__main__': #主程序入口 urls = ['https://music.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)] for url in urls: get_url_music(url) time.sleep(2)