基于python的pixiv爬虫

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

1、目标

在和朋友吹逼过程中，聊到qq群机器人，突发奇想动手做一个p站每日推荐色图的色图机，遂学习爬虫。

目标：

批量下载首页推荐色图。
由于对qq机器人不熟，先利用flask搭键一个网页色图机。

2、流程

3、批量下载

1、分析网页

虽然直接进入pixiv的主页是需要登录的，但是进入排行榜却不需要这个过程。

通过网页源代码定位到图片id

可以看到这张图片的详细信息

data-rank="1" #排名为第一 data-user-name="よむ" #作者名为よむ data-id="89739433" #图片id为89739433

还有一个重要信息，是我在后期进行下载和引用时才发现的

class="page-count"><div class="icon"></div><span>4</span></div>

因为排行榜上的并非都是单张插画，也有此类多张的漫画，给爬虫工作增加了许多困难。

2、分析动态页面

在分析了这个页面所有的内容后，发现在主页面，只显示了至多50张图片的信息，但其实每日排行的图片远远不止这个数量，但是pixiv并非像豆瓣或者bangumi拥有静态的目录，而且采取动态加载的方法，一直往下滑，则页面一直加载。

滑了半天，得知每日图片推荐一共有500张图片

对于动态页面，采取抓包查看每次动态加载的具体内容。

除了不停加载的图片信息，抓到一条请求

https://www.pixiv.net/ranking.php?p=2&format=json

查看这个页面

显然，这是排行榜第二页的内容，将p=2改为p=1，同样显示了第一页的内容，也就是说，每次发送请求，则返回50张图片的信息，发送十次请求，则可以获得500张照片的信息，那么接下来的工作就简单了。

3、热门图片信息获取

抓取的网页并非html标准格式的，不能也没必要用bs4进行内容分析，直接用正则表达式即可。

先用request请求获取十个页面，并且打印出来看下是否正确。

import requests headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36', 'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust', } for i in range(1, 11): url = 'https://www.pixiv.net/ranking.php?p=%d&format=json' % i res = requests.get(url, headers=headers) print(res.text)

打印结果太多了，和上图浏览器中结果相同，就不做展示，正确的打印了十次请求获取的数据。

下面通过正则表达式获取每次请求中我们需要的内容，并打印查看

import re id = re.findall('"illust_id":(\d+)', res.text) for i in id: print(i)

图片id就哗啦啦地出来了，检查打印下len(id)每组都为50个，一切无误。

同时，也将每一组图片的张数进行获取，方便之后的显示、下载。

count = re.findall('"illust_page_count":"(\d+)"', res.text)

4、图片下载

拿到了排行榜图片的id、张数，下一步是对其进行下载。

能否进行下载一直是我很担心的一个难点，因为有的图片尺度过大，在未登录时是无法直接进行访问的。

先进入一张普通图片的页面，寻找图片下载的地址

<div role="presentation" class="sc-1qpw8k9-0 yjBCb"><a href="https://i.pximg.net/img-original/img/2021/05/10/08/20/13/89739433_p0.png" class="sc-1qpw8k9-3 kIEHmb gtm-expand-full-size-illust" target="_blank" rel="noopener"><img alt="#がんばれ同期ちゃん無題 - よむ的插画" src="https://i.pximg.net/img-master/img/2021/05/10/08/20/13/89739433_p0_master1200.jpg"

拿到图片下载的地址。

注意到，这个标签的role的值为presentation，之后如果使用bs4进行查找，则可以轻松获得下载地址。

url = 'https://www.pixiv.net/artworks/89739433' res = requests.get(url, headers=headers) with open('test.txt','wb') as f : f.write(res.text.encode('utf8'))

通过requests访问一下试试

然而，离谱的事情就出现了，那就是通过浏览器直接访问的内容和爬虫访问的内容是不一样的。不过还好，就算不一样，仍然可以拿到链接。

在txt文件中搜索https://i.pximg.net/img-original，找到了

"original":"https://i.pximg.net/img-original/img/2021/05/10/08/20/13/89739433_p0.png"}

通过正则，便可获取到这个下载地址

result = re.findall(r'"original":"(.+?)"',res.text)

在下载图片时，需要给图片命名，分为文件名和后缀名，全部通过正则提取。

pic_name = re.findall(r'"illustTitle":"(.+?)"', res.text)[0]

extension = re.findall(r'....$', pic_url)[0]

下载图片时，我用最简单的方法，将原始的url的末尾删除，for循环改变p的值，拼接上文件后缀名，从而达到下载一组多张图片的功能

pic_url = re.sub('.....$','',pic_url) # 下载图片 for i in range(0,int(count)): url = pic_url+str(i)+extension print(url) pic = requests.get(url, headers=headers) with open('%s%d%s' % (pic_name, i, extension), 'wb') as f: f.write(pic.content)

最后，将之前所有的代码整合，构造一个函数，输入图片id和图片张数，自动下载。

def download(id, count): headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36', 'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust', } url = 'https://www.pixiv.net/artworks/%d' % id res = requests.get(url, headers=headers) pic_url = re.findall(r'"original":"(.+?)"', res.text)[0] pic_name = re.findall(r'"illustTitle":"(.+?)"', res.text)[0] # 获取后缀 extension = re.findall(r'....$', pic_url)[0] pic_url = re.sub('.....$','',pic_url) # 下载图片 for i in range(0,int(count)): url = pic_url+str(i)+extension print(url) pic = requests.get(url, headers=headers) with open('%s%d%s'% (pic_name, i, extension), 'wb') as f: f.write(pic.content)

5、debug

获取到了图片的id和张数，并且构造了输入id和张数就能自动执行脚本的函数，将两者稍作整合，结果在运行时报错：

OSError: [Errno 22] Invalid argument: './ex/電車で寄りかかられたOLと寄りかかってきた居眠り(?)JK1.jpg'

显然，文件命名不能包含'?'，于是添加正则去除这些符号

if re.search('[\\\ \/ \* \? \" \: \< \> \|]', pic_name) != None: pic_name = re.sub('[\\\ \/ \* \? \" \: \< \> \|]', '', pic_name)

之后运行正常

6、总代码

#-*— codeing = utf-8 -*- import requests import re headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36', 'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust', } def download(id, count): url = 'https://www.pixiv.net/artworks/%d' % id res = requests.get(url, headers=headers) pic_url = re.findall(r'"original":"(.+?)"', res.text)[0] pic_name = re.findall(r'"illustTitle":"(.+?)"', res.text)[0] # 获取后缀 extension = re.findall(r'....$', pic_url)[0] pic_url = re.sub('.....$','',pic_url) if re.search('[\\\ \/ \* \? \" \: \< \> \|]', pic_name) != None: pic_name = re.sub('[\\\ \/ \* \? \" \: \< \> \|]', '', pic_name) # 下载图片 for i in range(0,int(count)): url = pic_url+str(i)+extension print('正在下载id为：%d的第%d张图片'%(id,i+1),end=' ') pic = requests.get(url, headers=headers) with open('./ex/%s%d%s' % (pic_name, i+1, extension), 'wb') as f: f.write(pic.content) print('下载成功', end='\n') def bot(): id = [] count = [] for i in range(1, 2): url = 'https://www.pixiv.net/ranking.php?p=%d&format=json' % i res = requests.get(url, headers=headers) id = id + re.findall('"illust_id":(\d+)', res.text) count = count + re.findall('"illust_page_count":"(\d+)"', res.text) if len(id) == len(count): for i in range(0,len(id)): download(int(id[i]),int(count[i])) bot()

4、网页搭键

1、思路

如果要将所有图片下载至服务器，且不说我使用的阿里云无法访问p站，占用空间、下载花费时间，都是问题。而p站的图片的下载地址链接并没有办法直接显示图片，固选择第三方代理来实现在网页中显示p站图片的功能。

使用的代理网站是

pixiv.cat

虽然在国内直接访问速度也并不理想，但是可以直接通过链接在网页中显示图片。

重新写一个爬虫，功能是把所有每日推荐图片的id存到一个txt文件中，方便我们在服务器上直接调用。值得注意的是，如果这组图片不止一张，就在图片id后加一个'-1'，这样代理网站才能正常工作（代理网站规则请自行前往查看）

2、爬虫代码

for i in range(1, 11): url = 'https://www.pixiv.net/ranking.php?p=%d&format=json' % i res = requests.get(url, headers=headers) illust_id = re.findall('"illust_id":(\d+?),', res.text) illust_page_count = re.findall('"illust_page_count":"(\d+?)"', res.text) len_ = len(illust_id) i = 0 if len_ != 0: while i < len_: with open('id.txt','a') as f: if illust_page_count[i] == '1': f.write(illust_id[i]) f.write('\n') else : f.write(illust_id[i]) f.write('-1') f.write('\n') i = i+1 else: pass

3、flask代码

from flask import Flask,render_template import randomapp = Flask(__name__) list_ = [] with open('id.txt')as id_list: for line in id_list: line = line.strip('\n') list_.append(line)len = len(list_) ran = list_[random.randint(1,len)]@app.route('/') def index(): ran = list_[random.randint(1, len)] return render_template("index.html",pic=ran)if __name__ == '__main__': app.run(app.run(host='0.0.0.0', port=8001, debug=True))

大致思路是读取txt文件，随机取得一张图片的id，并传递给前端

4、前端代码

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>色图机</title> <html lang="en"> <head> <meta charset="UTF-8"></head> <script> function handle() { document.getElementById('myImage').src='https://pixiv.cat/'+'{{ pic }}'+'.jpg'; } </script><body > <h1 style="text-align: center;">色图机</h1> <div style="text-align: center;"> <img height="500" id= "myImage" src='https://pixiv.cat/{{ pic }}.jpg'/> </div> <h2 style="text-align: center;">p站id为：{{pic}}</h2> <h2 style="text-align: center;">刷新页面以刷新色图</h2> <footer style="text-align: center;"> 图片来源为pixiv每日推荐，本网站仅做学习，图片内容与本人无关 <br>power by huigugu <br>To dear じじ </footer> </body> </html> </head> </html>