正文
Python爬虫十六式 - 第三式：Requests的用法
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
Requests: 让 HTTP 服务人类学习一时爽，一直学习一直爽
学习一时爽，一直学习一直爽
Hello，大家好，我是Connor，一个从无到有的技术小白。今天我们继续来说我们的 Python 爬虫，上一次我们说到了 urllib 与 urllib3 ，不知道大家看了以后有何感想，今天我们来继续聊聊 Python爬虫中的另一个常用库——requests，相信你今天看了这篇文章以后一定有想要揍我的冲动。
1.request 的简介
上一篇文章介绍了Python的网络请求库 urllib 和 urllib3 的使用方法，那么，作为同样是网络请求库的 Requests ，相较于 urllib 与 urllib3，它有哪些优势呢？
Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。
警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。
——requests官方文档
Emmn… 官方吐槽最为致命，从requests的话中，你就可以看得出它是多么的伟大了。
requests 还是少有的被官方推荐的库，在 urllib.request 的文档中，有这样的一句话来推荐 requests :
The Requests packageis recommended for a higher-level HTTP client interface.
urllib 做为Python的标准库，因为历史原因，使用的方式可以说是非常的麻烦而复杂的，而且官方文档也十分的简陋，常常需要去查看源码。与之相反的是，Requests的使用方式非常的简单、直观、人性化，让程序员的精力完全从库的使用中解放出来。
吹牛皮吹了这么久，那么requests库究竟可以强大到什么地方呢？Twitter、Spotify、Microsoft、Amazon、Lyft、BuzzFeed、Reddit、NASA、Amazon、Google、Twilio、Mozilla、Heroku、PayPal、NPR、Obama for America、Transifex、Native Instruments、Washington Post、Twitter、SoundCloud、Kippt、Readability、以及若干不愿公开身份的联邦政府机构都在内部使用。
怎么样，是不是有了一种想要打我的冲动了？这么好的库居然不早点拿出来说，藏着掖着的…其实 requests 是非常少有的配备有官方中文文档的第三方库，如果有需要的话你也可以去看看他们的官方文档 点我走起>>>
2.requests 的使用
百度五分钟解决问题，群里吹牛逼俩小时，哈哈哈，貌似今天你百度也要跟着吹牛两小时了，下面我们说点正经了，看看requests到底应该怎么使用吧：
2.1 requests 的简单使用
如果你想使用request访问一个页面的话，那么你可以直接这样：
In [1]: import requestsIn [2]: resp = requests.get('https://www.baidu.com')In [3]: resp.status_code
Out[3]: 200In [4]: resp.encoding
Out[4]: 'ISO-8859-1'In [5]: resp.headers['Date']
Out[5]: 'Mon， 07 Jan 2019 07:30:15 GMT'
可以看到，无论是发起请求还是响应处理，都是非常直观明了的。requests目前可以满足所有的请求需求，所以相较 urllib 与 urllib3 而言，大家还是更加喜欢使用 requests 库来发起访问。
2.2 requests 的安装
requests 的安装方式与所有的第三方库的安装方式都是相同的，你可以直接用 pip 进行安装
pip install requests
2.3 requests 的使用
requests的请求不再像urllib一样需要去构造各种Request、opener和handler，使用requests构造的方法，并在其中传入需要的参数即可。
2.3.1 发起请求
在 reqeuest 模块中，每一种method方法都有对应的封装好的函数供你使用，比如说，进行GET请求的时候，你可以直接使用 get() 方法：
In [1]: import requestsIn [2]: resp = requests.get('https://www.baidu.com')
而当你需要进行POST请求的时候，你可以直接使用封装好了的 post() 方法来进行访问：
In [3]: resp = requests.post('https://www.baidu.com'，
data = {'hello': 'world'})
其它的请求方式也都有相对应的请求方法来进行请求，如下：
In [4]: resp = requests.put('http://httpbin.org/put', data = {'key':'value'})
In [5]: resp = requests.delete('http://httpbin.org/delete')
In [6]: resp = requests.head('http://httpbin.org/get')
In [7]: resp = requests.options('http://httpbin.org/get')
虽然上述的几种方法并不常用，但是 requests 官方依旧很人性化的将它们都封装了进去。
2.3.2 传递 URL 参数
传递URL参数的时候再也不用使用 urllib 中的方法来将URL拼接起来了，它和 urllib3 的方式一致，直接将要拼接的 URL 构造成字典，传递给 params参数即可，和 urllib3 中的 request 方法中的 field 属性一致：
In [1]: import requestsIn [2]: params = {'searchtype': '1'， 'bookname': 'Detroit'}In [3]: resp = requests.get('https://httpbin.org/get', params=params)In [4]: resp.url
Out[4]: 'https://httpbin.org/get?searchtype=1&bookname=Detroit'
可以清晰的看到，request 自动帮我们把 params 参数拼接到了一起。当然，有的时候我们也会遇到同名不同值的参数，但是python语法中并不支持键名的重复，这个时候我们可以把属性名相同的参数变成一个列表，request会自动的帮我们把它们拼接到一起：
In [1]: import requestsIn [2]: params = {'name': 'Connor', 'others': ['abc', 'def']}In [3]: resp = requests.get('https://www.httpbin.org/get', params=params)In [4]: resp.url
Out[4]: 'https://www.httpbin.org/get?name=Connor&others=abc&others=def'
2.3.3 自定义headers
毫无疑问，requests 也能够设置 headers 参数，这是章口就莱的事，下面我们来看看如何设置 headers ：
import requests
datas = {'name': 'Connor', 'age': '22', 'height': '166'}
headers = {'User-Agent': 'ABCDE'}
resp = requests.post('https://www.httpbin.org/post', headers=headers, data=datas)
print(resp.json()['headers'])
运行之后的结果如下：
{'Accept': '*/*', 'Accept-Encoding': 'gzip， deflate', 'Connection': 'close', 'Content-Length': '29', 'Content-Type': 'application/x-www-form-urlencoded', 'Host': 'www.httpbin.org', 'User-Agent': 'ABCDE'}
可以明显的看到，我们的 User-Agent 属性已经变成了之前设定的 ABCDE，还是非常简单的
2.3.4 自定义Cookies
reqeusts 还可以帮我们构建cookie，我们不用再创建CookieJar对象了，直接将你的 Cookie传递给Cookies参数即可：
In [1]: import requestsIn [2]: url = 'https://www.httpbin.org/cookies'In [3]: cook = {'leijun': 'Are you OK?'}In [4]: resp = requests.get(url, cookies=cook)In [5]: resp.text
Out[5]: '{\n "cookies": {\n "leijun": "Are you OK?"\n }\n}\n'
2.3.5 设置代理
requests 连cookie都帮我们构建了，当然也少不了代理的构建，当我们需要使用代理的时候需要把构造的字典传递给 proxies 参数即可
import requests
url = 'https://www.httpbin.org/ip'
datas = {'name': 'Connor', 'age': '22', 'height': '166'}
headers = {'User-Agent': 'ABCDE'}
proxy = {'http': 'http://110.52.235.90:9999', 'https': 'https://110.52.235.90:9999'}
resp1 = requests.get(url)
resp2 = requests.get(url， proxies=proxy)
print(resp1.text， resp2.text)
运行之后的结果如下：
{"origin": "221.192.178.130"}
{"origin": "110.52.235.90"}
2.3.6 重定向
再网络请求中，我们常常会遇到状态码是3开头的重定向问题，在 requests 中默认是开启重定向的，即当我们遇到重定向的时候，reqeusts 会自动帮我们继续访问，你也可以手动关闭重定向：
In [1]: import requestsIn [2]: url = 'http://www.jianshu.com'In [3]: resp = requests.get(url, allow_redirects=False)In [4]: resp.status_code
Out[4]: 301
2.3.7 证书验证
有些时候，当我们使用了抓包工具的时候，由于抓包工具提供的证书不是受信任的数字证书颁发机构颁发的，所以会导致证书验证失败，这时我们应该关闭证书验证。
在请求的时候，我们可以关闭证书验证，只需要将 verify 属性设置为 False 即可：
In [1]: import requestsIn [2]: resp = requests.get('https://www.baidu.com', verify=False)
d:\software\python\python\lib\site-packages\urllib3\connectionpool.py:847: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
InsecureRequestWarning)
这个时候你会发现，关闭验证后会有一个烦人的847警告，你可以使用以下方式来关闭警告：
from requests.packages.urllib3.exceptions import InsecureRequestWarning
# 禁用安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
2.3.8 设置超时
当我们访问一个网站的时候，如果访问时间太久，或者响应时间太长，可能对我们的效率有很大的影响，这个时候我们可以设置超时时间，放弃一些数据来提升爬虫的效率。你只需要为其设置timeout 参数即可：
In [1]: import requestsIn [2]: requests.get('http://github.com', timeout=0.001)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)
2.4 requests的响应
通过 requests 发起请求得到的对象是 Resopnse 对象，通过这个对象我们可以方便的获取响应的内容。
2.4.1 响应内容
在上一式我们讲述 urllib 与 urllib3 的时候，我们获取到的内容是二进制格式的，这个时候需要我们自己手动的 decode() 将二进制的bytes数据转换成我们可以读懂的字符串数据。但是在 requests 中，它的 text 属性会主动的通过可能的方式帮我们解码：
In [1]: import requestsIn [2]: url = 'https://www.httpbin.org/get'In [3]: resp = requests.get(url)In [4]: resp.text
Out[4]: '{\n "args": {}, \n "headers": {\n "Accept": "*/*", \n "Accept-Encoding": "gzip, deflate", \n "Connection": "close", \n "Host": "www.httpbin.org", \n "User-Agent": "python-requests/2.21.0"\n }, \n "origin": "221.192.178.130", \n "url": "https://www.httpbin.org/get"\n}\n'
requests 会主动的帮我们进行解码，它会通过响应的报头来猜测网页的编码是什么，然后根据猜测的编码来解码网页的内容。大部分的网页他都能够正确的解码，但也有解码不正确的时候，如果发现解码不正确了，我们就需要自己来手动的指定解码的编码格式：
import requests
url = 'http://www.quanshuwang.com/'
resp = requests.get(url)
resp.encoding = 'GBK'
print(resp.text)
在这里我给大家推荐一个其他的python自带的库，这个库也是在猜测网页的编码格式，但是这个库的准确率更高一些吧。况且我们每次指定解码格式就要求我们去看网页的编码格式。像新浪微博这样的网站，它在无序可视化的页面上使用的是 GBK 编码格式，在需要可视的页面上的编码格式是 UTF-8，我们不希望每次访问都手动的去更改它的编码格式，这个时候就用下面这种方法：
这个时候，我们可以使用 chardet 中的 detect 方法：
import requests
import chardeturl = 'https://www.httpbin.org/get'
resp = requests.get(url)
resp.encoding = chardet.detect(resp.content)
print(resp.text)
如果你需要获得网页的原始二进制数据的时候，那么使用 content 属性即可：
In [1]: import requestsIn [2]: url = 'https://www.httpbin.org/get'In [3]: resp = requests.get(url)In [4]: resp.content
Out[4]: b'{\n "args": {}, \n "headers": {\n "Accept": "*/*", \n "Accept-Encoding": "gzip, deflate", \n "Connection": "close", \n "Host": "www.httpbin.org", \n "User-Agent": "python-requests/2.21.0"\n }, \n "origin": "221.192.178.130", \n "url": "https://www.httpbin.org/get"\n}\n'
如果我们访问之后获得的数据是JSON格式的，那么我们可以使用json()方法，直接获取转换成字典格式的数据：
In [1]: import requestsIn [2]: url = 'https://www.httpbin.org/get'In [3]: resp = requests.get(url)In [4]: resp.json()
Out[4]:
{'args': {},
'headers': {'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate',
'Connection': 'close',
'Host': 'www.httpbin.org',
'User-Agent': 'python-requests/2.21.0'},
'origin': '221.192.178.130',
'url': 'https://www.httpbin.org/get'}
2.4.2 状态码
有时候我们过于频繁的访问一个网址之后，或者某些网站对访问速度有限制的话，那我们应该判断以下响应的状态码，然后再判断是否需要数据的提取。你可以通过 status_code 属性来获取响应的状态码：
In [1]: import requestsIn [2]: url = 'https://www.httpbin.org/get'In [3]: resp = requests.get(url)In [4]: resp.status_code
Out[4]: 200
2.4.3 响应报头
当我们进行了访问之后，如果你想查看该网页的响应报头，那么你可以通过 headers 属性来查看你的响应报头：
In [1]: import requestsIn [2]: url = 'https://www.httpbin.org/get'In [3]: resp = requests.get(url)In [4]: resp.headers
Out[4]: {'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Date': 'Mon, 07 Jan 2019 11:36:04 GMT', 'Content-Type': 'application/json', 'Content-Length': '277', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true', 'Via': '1.1 vegur'}
2.4.4 服务器返回的cookies
你可以通过响应对象的 cookies 属性来获取服务器返回的 cookies ：
In [1]: import requestsIn [2]: url = 'https://www.httpbin.org/get'In [3]: resp = requests.get(url)In [4]: resp.cookies
Out[4]: <RequestsCookieJar[]>
返回的cookies是一个CookieJar对象，如果你想使用这个cookie，你还是需要构建CookieJar对象。cookies 在后续的内容里我会专门抽出一节课来讲这个的，这里我们掠过，只需要知道通过 cookie 属性可以获取从网页上访问的 cookies 即可。
2.4.5 url
你也可以通过 url 属性来查看响应的url，你可以通过这种方式来判断网页是否进行了重定向等各类操作：
In [1]: import requestsIn [2]: url = 'http://www.jianshu.com'In [3]: resp = requests.get(url)In [4]: resp.url
Out[4]: 'https://www.jianshu.com'
2.5 Session对象
2.5.1 Session 的简单使用
在 requests 中，实现了 Session 会话功能，当我们使用 Session 的时候，能够像浏览器一样，在没有关闭浏览器的时候，保持访问的状态，这个功能常常用于登陆之后，可以避免我们一次又一次的传递 cookies。session 其实非常的简单易用，它和 requests 对象几乎没有任何的差别，requests 的常用方法在 session 这里依旧适用。下面我们举一个简单的例子：
import requestsurl = 'https://www.httpbin.org/cookies'
session = requests.session()
resp = sesssion.get('https://www.httpbin.org/get')
print(resp.text)
运行结果如下：
{"args": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Cookie": "eare=https://www.httpbin.org", "Host": "www.httpbin.org", "User-Agent": "python-requests/2.20.0"}, "origin": "221.192.178.173", "url": "https://www.httpbin.org/get"}
从上面的运行结果中我们可以看到，session 操作起来还是非常容易上手的，它的方法和requests 的用法几乎是完全一致的。当然 session 也有自己更为独有的功能，下面我们一起来看看它还有哪些其它的功能：
2.5.2 updata方法
既然之前我们说 session 是一个可以大大提高效率的工具，可以保持一些数据，不用频繁的重复传参，那我们来试试看：
import requestsurl = 'https://www.httpbin.org/cookies'
session = requests.session()
cook = {'eare': 'https://www.httpbin.org'}
resp = session.get(url, cookies=cook)
print(resp.text)
resp = session.get('https://www.httpbin.org/get')
print(resp.text)
运行后的结果如下：
{"cookies": {"eare": "https://www.httpbin.org"}}{"args": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Host": "www.httpbin.org", "User-Agent": "python-requests/2.20.0"}, "origin": "221.192.178.173", "url":"https://www.httpbin.org/get"}
通过上面的结果我们会发现，第二次访问的时候并没有维持第一次访问时设置的 session 啊，这是为什么呢？难道是session的 doman 有问题？不是的，通过单次访问传参的方式来添加参数是不会对下一次访问起作用的，这个时候我们需要使用一个方法 session.args.updata() ：
import requestsurl = 'https://www.httpbin.org/cookies'
session = requests.session()
cook = {'eare': 'https://www.httpbin.org'}
session.cookies.update(cook)
resp = session.get(url)
print(resp.text)
resp = session.get('https://www.httpbin.org/get')
print(resp.text)
这次我们再来看运行结果：
{"cookies": {"eare": "https://www.httpbin.org"}}{"args": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Cookie": "eare=https://www.httpbin.org", "Host": "www.httpbin.org", "User-Agent": "python-requests/2.20.0"}, "origin": "221.192.178.173", "url": "https://www.httpbin.org/get"}
这一次我们明显的发现了第二次访问的时候带上了第一次设置的 cookie 参数，这样设置的话我们之后的每次访问都无需再次传参了。当然，前提是在同一个域名下的访问。关于 cookie 的作用域的问题，我在之前的文章：Python 爬虫十六式 - 第一式：HTTP协议 >>> 中已经写到过了,如果看不懂的话请参照该文章。
在上面的内容中，有一点尤为需要注意： session.args.updata() 并不指实际的方法，这只是一类参数的统称，个人的命名习惯，如有错误，欢迎指出！ session.args.updata（）包括如下的几种参数：
| 名称 | 作用 |
|---|---|
| headers | 设置session的请求头参数 |
| cookies | 设置session的cookies |
| params | 设置session的url拼接参数 |
| proxies | 设置session的proxy代理 |
2.5.3 Session.verify
session 当然也为我们提供了批量管理验证的方法，这与 requests 中的管理方式几乎相同，但和 session 的其它参数的管理相比又有所不同。session.verify 是一个属性，它是一个 Boolean 型的变量，你只需要将它设置为 False 即可关闭 session 对象的所有证书验证：
import requestsurl = 'https://www.httpbin.org/user-agent'
session = requests.session()
head = {'User-Agent': 'ABCDE'}
session.verify = False
session.headers.update(head)
resp = session.get(url)
print(resp.text)
运行结果如下：
py:847: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
InsecureRequestWarning)
{"user-agent": "ABCDE"}
嗯，又看到了烦人的 847报错，想要关闭它的话查看本文第2.3.7节证书验证，里面有如何关闭证书验证警告的方法，点我直达
好啦，到这里我们就说完 requests 的使用了，不知道你学到了多少东西，但是依旧希望这些东西对你有帮助，最后还是那句话送给大家：
学习一时爽， 一直学习一直爽！
我是一个从无到有的技术小白，Connor，我们下期再见！
系列文章连接：
Python 爬虫十六式 - 第一式：HTTP协议 >>>
Python 爬虫十六式 - 第二式：urllib 与 urllib3 >>>
Python 爬虫十六式 - 第四式: 使用Xpath提取网页内容>>>
Python 爬虫十六式 - 第五式：BeautifulSoup-美味的汤 >>>
Python 爬虫十六式 - 第六式：JQuery的假兄弟-pyquery >>>
Python 爬虫十六式 - 第七式：正则的艺术 >>>
