python 3 关于requests库的 text / content /json

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

最近在爬SDFDA的数据，刚开始用urllib.request 库，一直连不到数据；

后来通过CHROME浏览器的F12，发现该网站用的是 JSON格式 {}'Content-Type': 'application/json',}，不同于以往的提交方式“Content-Type: text/html; charset=utf-8"

试了各种方法，一直不能取得数据。

看的许多介绍方法中有用“requests”库的，一试果然简单方便，可以直接发送JSON格式的数据参数；下载安装后，导入“import resquest”

很快以往的问题得到解决，能将想要页面内容读取出来，但显示的是\u9882十六进制的编码，没有办法继续“百度”，

发现了requests库中的，content 属性和JSON属性，一试果然见效；

查了下资料：

resp.text返回的是Unicode型的数据。
resp.content返回的是bytes型的数据。
也就是说，如果你想取文本，可以通过r.text。
如果想取图片，文件，则可以通过r.content。
（resp.json()返回的是json格式数据）

#-*- coding:utf-8 -*-

#读取山东FDA的药品GSP认证经营企业数据

# 20161128 zhangshaohua

import re

import requests

import json

#读取首页

url = 'http://124.128.39.251:9080/sdfdaout/jsp/datasearch/searchinfolist.jsp?pageSize=10&entType=drugGSP&thisPage=1'

url = 'http://124.128.39.251:9080/sdfdaout/jsp/datasearch/searchinfolist.jsp?pageSize=10&thisPage=2&entType=drugGSP'

#url = 'http://124.128.39.251:9080/sdfdaout/jsp/datasearch/searchinfolist.jsp?pageSize=10&thisPage=12&entType=drugGSP'

#取总记录数,每页20条#zjls = getContent(url,'共(\d{1,5})页','UTF-8')

headers = {

'Host': '124.128.39.251:9080',

'Proxy-Connection': 'keep-alive',

'Content-Length': '256',

'Origin': 'http://124.128.39.251:9080',

'X-Requested-With': 'XMLHttpRequest',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',

'Content-Type': 'application/json',

'Accept': '*/*',

'Referer': 'http://124.128.39.251:9080/sdfdaout/jsp/datasearch/searchinfolist.jsp',

'Accept-Encoding': 'gzip, deflate',

'Accept-Language': 'zh-CN,zh;q=0.8',

}

url = 'http://124.128.39.251:9080/sdfdaout/command/ajax/com.lc.datasearch.cmd.SearchInfoQueryCmd'

parms = {"params":{"javaClass":"org.loushang.next.data.ParameterSet","map":{"limit":10,"start":10,"entType":"drugGSP","defaultSort":{"javaClass":"ArrayList","list":[]},"dir":"ASC","needTotal":True},"length":7},"context":{"javaClass":"HashMap","map":{},"length":0}}

values = json.dumps(parms)

req = requests.post(url,data=values,headers=headers)

content = req.json()

print(content)

print(type(content))

print('药品零售企业读取完成！')