获取AJAX加载的内容

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

1.有些网页内容使用AJAX加载，AJAX一般返回的是JSON,直接对AJAX地址进行post或get，就返回JSON数据了。

2.用抓包工具分析https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20

提取https://movie.douban.com/j/chart/top_list?后面是get请求。可以传到data里面。

3.用抓包工具分析。

4.代码如下

1 # -*- coding:utf-8 -*-
2
3 import urllib,urllib2
4
5 url = "https://movie.douban.com/j/chart/top_list?"
6
7 header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) App leWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36 "}
8 data = {
9 'type':'',
10 'interval_id':'100:90',
11 'action':'',
12 'start':'',
13 'limit':''
14 }
15 data = urllib.urlencode(data)
16 request = urllib2.Request(url, data=data, headers=header)
17 # 返回的是json数据
18 response = urllib2.urlopen(request).read()
19 print response