利用Jsoup模拟跳过登录爬虫获取数据

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

今天在学习爬虫的时候想着学习一下利用jsoup模拟登录。下面分为有验证码和无验证码的情况进行讨论。

---------------------------无验证码的情况----------------------------

1.我们正常利用网页进行登录，利用浏览器自带的开发者工具查看一些登录信息

我们登录的时候需要携带自己的身份信息，也就是用户名和密码。也会携带一些浏览器的信息，所以我们可以通过Jsoup伪造一些请求头，并写到自己的身份信息去登录，然后获取登录后返回的cookie，cookie中会包含session，有了sessionid我们就可以爬取登录之后可以访问的url。

2.Jsoup伪造请求头且携带身份信息获取登录信息

/**
* 模拟登录获取cookie和sessionid
*/
public static void login() throws IOException {
String urlLogin = "http://qiaoliqiang.cn/Exam/user_login.action";
Connection connect = Jsoup.connect(urlLogin);
// 伪造请求头
connect.header("Accept", "application/json, text/javascript, */*; q=0.01").header("Accept-Encoding",
"gzip, deflate");
connect.header("Accept-Language", "zh-CN,zh;q=0.9").header("Connection", "keep-alive");
connect.header("Content-Length", "72").header("Content-Type",
"application/x-www-form-urlencoded; charset=UTF-8");
connect.header("Host", "qiaoliqiang.cn").header("Referer", "http://qiaoliqiang.cn/Exam/");
connect.header("User-Agent",
"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36")
.header("X-Requested-With", "XMLHttpRequest"); // 携带登陆信息
connect.data("username", "362501197407067215").data("password", "123456").data("user_type", "2")
.data("isRememberme", "yes"); //请求url获取响应信息
Response res = connect.ignoreContentType(true).method(Method.POST).execute();// 执行请求
// 获取返回的cookie
Map<String, String> cookies = res.cookies();
for (Entry<String, String> entry : cookies.entrySet()) {
System.out.println(entry.getKey() + "-" + entry.getValue());
}
System.out.println("---------华丽的分割线-----------");
String body = res.body();// 获取响应体
System.out.println(body);
}

结果:

logininfo-"362501197407067215,123456"
JSESSIONID-75ad3bad-30cd-4d7a-8918-b13054f4b737
rememberMe-deleteMe
---------华丽的分割线-----------
{"login_result":"success_manager","user_type":"2","login_url":"examParper\/examPaper\/examparperManage.jsp"}

反例:

此时我们将身份信息的密码改成错误密码:

// 携带登陆信息
connect.data("username", "362501197407067215").data("password", "123").data("user_type", "2")
.data("isRememberme", "yes");

结果:

---------华丽的分割线-----------
{"login_result":"error002","user_type":"2","login_url":null}

3.在上述获取cookie的基础上模拟访问网站登录可以访问的网址

将cookies定义为一个全局变量cookies，当我们访问登录可以访问的url的时候带着cookies去访问。

package cn.qlq.craw.Jsoup;import java.io.IOException;
import java.util.Map;
import java.util.Map.Entry;import org.jsoup.Connection;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;/**
* 模拟Jsoup跳过登陆进行爬虫
*
* @author liqiang
*
*/
public class JsoupCookieCraw {
private static Map<String, String> cookies = null; public static void main(String[] args) throws IOException {
// 先模拟登录获取到cookie和sessionid并存到全局变量cookies中
login(); String url = "http://qiaoliqiang.cn/Exam/view/testPerson/outEmployeeAllot.jsp";
// 直接获取DOM树，带着cookies去获取
Document document = Jsoup.connect(url).cookies(cookies).post();
System.out.println(document.toString());
} /**
* 模拟登录获取cookie和sessionid
*/
public static void login() throws IOException {
String urlLogin = "http://qiaoliqiang.cn/Exam/user_login.action";
Connection connect = Jsoup.connect(urlLogin);
// 伪造请求头
connect.header("Accept", "application/json, text/javascript, */*; q=0.01").header("Accept-Encoding",
"gzip, deflate");
connect.header("Accept-Language", "zh-CN,zh;q=0.9").header("Connection", "keep-alive");
connect.header("Content-Length", "72").header("Content-Type",
"application/x-www-form-urlencoded; charset=UTF-8");
connect.header("Host", "qiaoliqiang.cn").header("Referer", "http://qiaoliqiang.cn/Exam/");
connect.header("User-Agent",
"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36")
.header("X-Requested-With", "XMLHttpRequest"); // 携带登陆信息
connect.data("username", "362501197407067215").data("password", "123456").data("user_type", "2")
.data("isRememberme", "yes"); //请求url获取响应信息
Response res = connect.ignoreContentType(true).method(Method.POST).execute();// 执行请求
// 获取返回的cookie
cookies = res.cookies();
}}

结果:(可以获取到我们访问的页面的内容)

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>分配员工</title>
.....................

反例:

我们将登录方法去掉，同时访问的时候不携带cookies:

public static void main(String[] args) throws IOException {
String url = "http://qiaoliqiang.cn/Exam/view/testPerson/outEmployeeAllot.jsp";
// 直接获取DOM树，带着cookies去获取
Document document = Jsoup.connect(url).post();
System.out.println(document.toString());
}

结果:(我们访问到的是系统的主页，也就是登录界面，发现我们被拦在网站外面)

总结:

不带验证码的登录利用上面的模拟登录的方法基本能满足要求。