node 爬虫 --- 批量下载图片

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

步骤一：创建项目

npm init

步骤二：安装 request，cheerio，async 三个模块

request
用于请求地址和快速下载图片流。
https://github.com/request/request
cheerio
为服务器特别定制的，快速、灵活、实施的jQuery核心实现.
便于解析html代码。
https://www.npmjs.com/package/cheerio
async
异步调用，防止堵塞。
http://caolan.github.io/async/

npm i request cheerio async -D

步骤三：核心思路

（1）用request 发送一个请求。获取html代码，取得其中的img标签和a标签。

//发送请求
function requestall(url) {
request({
uri: url,
headers: setting.header
}, function (error, response, body) {
if (error) {
// 请求失败
console.log(error);
} else {
console.log(response.statusCode);
if (!error && response.statusCode == 200) {
// 请求成功
}
}
});
}

（2）通过获取的a表情进行递归调用。不断获取img地址和a地址，继续递归

// 递归爬虫
$('a').each(function () {
var murl = $(this).attr('href');
if (IsURL(murl)) {
setTimeout(function () {
fetchre(murl);
}, timeout);
timeout += setting.ajax_timeout;
} else {
setTimeout(function () {
fetchre("http://www.ivsky.com/" + murl);
}, timeout);
timeout += setting.ajax_timeout;
}
})

（3）获取img地址通过request(photo).pipe(fs.createWriteStream(dir + “/” + filename));进行快速下载。

//发送请求
function requestall(url) {
request({
uri: url,
headers: setting.header
}, function (error, response, body) {
if (error) {
console.log(error);
} else {
console.log(response.statusCode);
if (!error && response.statusCode == 200) {
var $ = cheerio.load(body);
var photos = [];
$('img').each(function () {
// 判断地址是否存在
if ($(this).attr('src')) {
var src = $(this).attr('src');
var end = src.substr(-4, 4).toLowerCase();
if (end == '.jpg' || end == '.gif' || end == '.png' || end == '.jpeg') {
if (IsURL(src)) {
photos.push(src);
}
}
}
});
downloadImg(photos, dir, setting.download_v);
// 递归爬虫
$('a').each(function () {
var murl = $(this).attr('href');
if (IsURL(murl)) {
setTimeout(function () {
fetchre(murl);
}, timeout);
timeout += setting.ajax_timeout;
} else {
setTimeout(function () {
fetchre("http://www.ivsky.com/" + murl);
}, timeout);
timeout += setting.ajax_timeout;
}
})
}
}
});
}

步骤四：防坑

（1）在request通过图片地址下载时，绑定error事件防止爬虫异常的中断。

// 防止pipe错误
request(photo)
.on('error', function (err) {
console.log(err);
})
.pipe(fs.createWriteStream(dir + "/" + filename));

（2）通过async的mapLimit限制并发。

async.mapLimit(photos, asyncNum, function (photo, callback) {
// 请求成功
}, function (err, result) {
// 请求失败
})

（3）加入请求报头，防止ip被屏蔽。

setting.js

/**
* 加入请求报头,防止ip被屏蔽
*/
module.exports = {
header : {
'User-Agent': 'request',
"Referer":"http://www.ivsky.com/",
},
// 并发数
ajax_timeout : 2000,
// 下载图片速度
download_v : 5
}

（4）获取一些图片和超链接地址，可能是相对路径（待考虑解决是否有通过方法）。

// 下载图片
function downloadImg(photos, dir, asyncNum) {
console.log("即将异步并发下载图片，当前并发数为:" + asyncNum);
async.mapLimit(photos, asyncNum, function (photo, callback) {
var filename = (new Date().getTime()) + photo.substr(-4, 4);
if (filename) {
console.log('正在下载' + photo);
// 默认
// fs.createWriteStream(dir + "/" + filename)
// 防止pipe错误
request(photo)
.on('error', function (err) {
console.log(err);
})
.pipe(fs.createWriteStream(dir + "/" + filename));
console.log('下载完成');
callback(null, filename);
}
}, function (err, result) {
if (err) {
console.log(err);
} else {
console.log(" all right ! ");
console.log(result);
}
})
}

步骤五：完整代码

app.js

/**
* node 爬虫
*/
var fs = require('fs');
var request = require("request");
var cheerio = require("cheerio");
var async = require('async');// 目标网址
var url = 'http://www.ivsky.com/tupian/ziranfengguang/';// 本地存储目录
var dir = './images';var setting = require('./setting');var timeout = 100;
// 封装了一层函数
function fetchre(url) {
requestall(url);
}
// 发送请求
function requestall(url) {
request({
uri: url,
headers: setting.header
}, function (error, response, body) {
if (error) {
console.log(error);
} else {
console.log(response.statusCode);
if (!error && response.statusCode == 200) {
var $ = cheerio.load(body);
var photos = [];
$('img').each(function () {
// 判断地址是否存在
if ($(this).attr('src')) {
var src = $(this).attr('src');
var end = src.substr(-4, 4).toLowerCase();
if (end == '.jpg' || end == '.gif' || end == '.png' || end == '.jpeg') {
if (IsURL(src)) {
photos.push(src);
}
}
}
});
downloadImg(photos, dir, setting.download_v);
// 递归爬虫
$('a').each(function () {
var murl = $(this).attr('href');
if (IsURL(murl)) {
setTimeout(function () {
fetchre(murl);
}, timeout);
timeout += setting.ajax_timeout;
} else {
setTimeout(function () {
fetchre("http://www.ivsky.com/" + murl);
}, timeout);
timeout += setting.ajax_timeout;
}
})
}
}
});
}// 下载图片
function downloadImg(photos, dir, asyncNum) {
console.log("即将异步并发下载图片，当前并发数为:" + asyncNum);
async.mapLimit(photos, asyncNum, function (photo, callback) {
var filename = (new Date().getTime()) + photo.substr(-4, 4);
if (filename) {
console.log('正在下载' + photo);
// 默认
// fs.createWriteStream(dir + "/" + filename)
// 防止pipe错误
request(photo)
.on('error', function (err) {
console.log(err);
})
.pipe(fs.createWriteStream(dir + "/" + filename));
console.log('下载完成');
callback(null, filename);
}
}, function (err, result) {
if (err) {
console.log(err);
} else {
console.log(" all right ! ");
console.log(result);
}
})
}// 判断是否为完整地址
function IsURL(str_url) {
var strRegex = '^((https|http|ftp|rtsp|mms)?://)';
var re = new RegExp(strRegex);
if (re.test(str_url)) {
return (true);
} else {
return (false);
}
}requestall(url);