正文

python基于http协议编程：httplib,urllib和urllib2<转>

IP云
IP云V管理员/3 阅读
11/30
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

httplib实现了 HTTP 和HTTPS的客户端协议，一般不直接使用，在python更高层的封装模块中（urllib,urllib2）使用了它的 http 实现。 

 httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )

HTTPConnection类的构造函数，表示一次与服务器之间的交互，即请求/响应。参数host表示服务器主机，如： http ://www.csdn.net/；port为端口号，默认值为80； 参数strict的 默认值为false， 表示在无法解析服务器返回的状态行时( status line) （比较典型的状态行如： HTTP /1.0 200 OK ），是否抛BadStatusLine 异常；可选参数timeout 表示超时时间。 HTTPConnection提供的方法： 

HTTPConnection.request ( method , url [ , body [ , headers ]] )

调用request 方法会向服务器发送一次请求，method 表示请求的方法，常用有方法有get 和post ；url 表示请求的资源的url ；body 表示提交到服务器的数据，必须是字符串（如果method 是”post” ，则可以把body 理解为html 表单 中的 数据）；headers 表示请求的 http 头。 HTTPConnection.getresponse () 获取 Http 响应。返回的对象是HTTPResponse 的实例，关于HTTPResponse 在下面 会讲解。 HTTPConnection.connect () 连接到 Http 服务器。 HTTPConnection.close () 关闭与服务器的连接。 HTTPConnection.set_debuglevel ( level ) 设置高度的级别。参数level 的默认值为0 ，表示不输出任何调试信息。 httplib.HTTPResponse HTTPResponse表示服务器对客户端请求的响应。往往通过调用HTTPConnection.getresponse()来创建，它有如下方法和属性： HTTPResponse.read([amt]) 获取响应的消息体。如果请求的是一个普通的网页，那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。 HTTPResponse.getheader(name[, default]) 获取响应头。Name表示头域(header field)名，可选参数default在头域名不存在的情况下作为默认值返回。 HTTPResponse.getheaders() 以列表的形式返回所有的头信息。 HTTPResponse.msg 获取所有的响应头信息。 HTTPResponse.version 获取服务器所使用的 http 协议版本。11表示 http /1.1；10表示 http /1.0。 HTTPResponse.status 获取响应的状态码。如：200表示请求成功。 HTTPResponse.reason 返回服务器处理请求的结果说明。一般为”OK” 下面通过一个例子来熟悉HTTPResponse 中的 方法：

import httplib conn = httplib.HTTPConnection("www.g.com", , False) conn.request('get', '/', headers = {"Host": "www.google.com",                                     "User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5",                                     "Accept": "text/plain"}) res = conn.getresponse() print'version:', res.version print'reason:', res.reason print'status:', res.status print'msg:', res.msg print'headers:', res.getheaders() #html #print '\n' + '-' * 50 + '\n' #print res.read()conn.close()

Httplib模块中还定义了许多常量，如： Httplib. HTTP _PORT 的值为80，表示默认的端口号为80； Httplib.OK 的值为200，表示请求成功返回； Httplib. NOT_FOUND 的值为404，表示请求的资源不存在； 可以通过httplib.responses 查询相关变量的含义，如： Print httplib.responses[httplib.NOT_FOUND] #not found 更多关于httplib的信息，请参考Python手册httplib 模块。
urllib 和urllib2实现的功能大同小异，但urllib2要比urllib功能等各方面更高一个层次。目前的 HTTP 访问大部分都使用urllib2. urllib2:

req = urllib2.Request(' http ://pythoneye.com') response = urllib2.urlopen(req) the_page = response.read()

FTP同样： 

 req = urllib2.Request('ftp://pythoneye.com')

urlopen返回的应答对象response有两个很有用的方法info()和geturl() geturl — 这个返回获取的真实的URL，这个很有用，因为urlopen(或者opener对象使用的)或许 会有重定向。获取的URL或许跟请求URL不同。 Data数据 有时候你希望发送一些数据到URL

post方式： 

 values ={'body' : 'test short talk','via':'xxxx'} data = urllib.urlencode(values) req = urllib2.Request(url, data)

get方式： 

 data['name'] ='Somebody Here' data['location'] ='Northampton' data['language'] ='Python' url_values = urllib.urlencode(data) url ='http://pythoneye.com/example.cgi' full_url = url +'?'+ url_values data = urllib2.open(full_url)

使用Basic HTTP Authentication: 

 import urllib2 # Create an OpenerDirector with support for Basic HTTP Authentication...auth_handler = urllib2.HTTPBasicAuthHandler() auth_handler.add_password(realm='PDQ Application',                           uri='https://pythoneye.com/vecrty.py',                           user='user',                           passwd='pass') opener = urllib2.build_opener(auth_handler) # ...and install it globally so it can be used with urlopen.urllib2.install_opener(opener) urllib2.urlopen('http://www. pythoneye.com/app.html')

使用代理ProxyHandler： 

 proxy_handler = urllib2.ProxyHandler({'http': 'http://www.example.com:3128/'}) proxy_auth_handler = urllib2.HTTPBasicAuthHandler() proxy_auth_handler.add_password('realm', 'host', 'username', 'password')

opener = build_opener(proxy_handler, proxy_auth_handler) # This time, rather than install the OpenerDirector, we use it directly:opener.open('http://www.example.com/login.html')

URLError–HTTPError:

 from urllib2 import Request, urlopen, URLError, HTTPError req = Request(someurl) try:      response = urlopen(req) except HTTPError, e: print'Error code: ', e.code except URLError, e: print'Reason: ', e.reason else:       .............

或者： 

 from urllib2 import Request, urlopen, URLError req = Request(someurl) try:      response = urlopen(req) except URLError, e: if hasattr(e, 'reason'): print'Reason: ', e.reason elif hasattr(e, 'code'): print'Error code: ', e.code else:            .............

通常，URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生 异常同样会带有”reason”属性，它是一个tuple，包含了一个错误号和一个错误信息 

 req = urllib2.Request('http://pythoneye.com') try:    urllib2.urlopen(req) except URLError, e: print e.reason print e.code print e.read()

最后需要注意的就是，当处理URLError和HTTPError的时候，应先处理HTTPError，后处理URLError Openers和Handlers： opener使用操作器（handlers）。所有的重活都交给这些handlers来做。每一个handler知道 怎么打开url以一种独特的url协议（ http ，ftp等等），或者怎么处理打开url的某些方面，如， HTTP 重定向，或者 HTTP cookie。 默认opener有对普通情况的操作器 （handlers）- ProxyHandler, UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor. 再看python API：Return an OpenerDirector instance, which chains the handlers in the order given 这就更加证明了一点，那就是opener可以看成是一个容器，这个容器当中放的是控制器，默认的，容器当中有五个控制 器，程序员也可以加入自己的控制器，然后这些控制器去干活。 

 class HTTPHandler(AbstractHTTPHandler): def http_open(self, req): return self.do_open(httplib.HTTPConnection, req) http_request = AbstractHTTPHandler.do_request_

HTTPHandler是Openers当 中的 默认控制器之一，看到这个代码，证实了urllib2是借助于httplib实现的，同时也证实了Openers和Handlers的关系。 

import httplib conn = httplib.HTTPConnection("google.com") conn.request('get', '/') print conn.getresponse().read() conn.close()

python基于http协议编程：httplib,urllib和urllib2<转>的更多相关文章
  1. 异常处理、socke基于TCP协议编程

    一.异常处理 1.错误和异常 1.程序中难免出现错误,而错误分成两种 (1)语法错误(这种错误过不了Python解释器的语法检测,必须在程序执行前改正) #语法错误示范一 if #语法错误示范二 de ...

  2. 通过python基于netconf协议获取网络中网元的配置数据，助力企业网络控制自动化轻松实现！

    摘要:在当今信息化时代,大多数企业都需要网络支撑企业的ICT运行,提升企业运行效率,针对企业网络中的网元设备(包括交换机,路由器,防火墙等),很多企业希望根据自身的业务特点定制网络管理,比如可以实现网 ...

  3. httplib,urllib和urllib2

    一.httplib实现了HTTP和HTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的http实现. import httplib con ...

  4. python爬虫入门（一）urllib和urllib2

    爬虫简介  什么是爬虫? 爬虫:就是抓取网页数据的程序. HTTP和HTTPS HTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的 ...

  5. 基于UDP协议编程

    基于udp套接字 udp是无链接的,先启动哪一端都不会报错. UDP(user datagram protocol,用户数据报协议)是无连接的,面向消息的,提供高效率服务.不会使用块的合并优化算法,, ...

  6. 异常处理、socket基于TCP协议编程

    一.异常处理 1.错误和异常 1.程序中难免出现错误,而错误分成两种 (1)语法错误(这种错误过不了Python解释器的语法检测,必须在程序执行前改正) #语法错误示范一 if #语法错误示范二 de ...

  7. Python 基于urllib.request封装http协议类

    基于urllib.request封装http协议类 by:授客QQ:1033553122 测试环境: Python版本:Python 3.3   代码实践 #!/usr/bin/env python ...

  8. python 之 网络编程（基于TCP协议的套接字通信操作）

    第八章网络编程 8.1 基于TCP协议的套接字通信 服务端套接字函数 s.bind() 绑定(主机,端口号)到套接字 s.listen() 开始TCP监听 s.accept() 被动接受TCP客户的连 ...

  9. python 之 网络编程（基于UDP协议的套接字通信）

    8.5 基于UDP协议的套接字通信 UDP协议:数据报协议 特点:无连接,一发对应一收,先启动哪一端都不会报错 优点:发送效率高,但有效传输的数据量最多为500bytes 缺点:不可靠:发送数据,无需 ...

随机推荐
  1. Arduino 软重启 软件reset

    将12脚连接一个1K电阻,然后用电阻另一端连接RESET脚.注意不是12脚直接连接RESET!! 代码如下(要注意RESET脚为LOW时自动重启) #define PIN 12 void setup( ...

  2. Phonegap中用ajax读取PHP服务器的数据

    直接上代码: HTML: var URL="网站地址&callback=?"; $.ajax({ type : 'GET', url : URL, dataType : ' ...

  3. PhoneGap与Jquery Mobile结合开发android应用配置

    由于工作需要,用到phonegap与jquery moblie搭配,开发android应用程序. 这些技术自己之前也都没接触过,可以说是压根没听说过,真是感慨,在开发领域,技术日新月异,知识真是永远学 ...

  4. Java IO读写大文件的几种方式及测试

    读取文件大小:1.45G 第一种,OldIO: public static void oldIOReadFile() throws IOException{ BufferedReader br = n ...

  5. file的getPath getAbsolutePath和getCanonicalPath的不同

    file的这几个取得path的方法各有不同,下边说说详细的区别 概念上的区别:(内容来自jdk,个人感觉这个描述信息,只能让明白的人明白,不明白的人看起来还是有点难度(特别试中文版,英文版稍好些)所以 ...

  6. JVM 性能调优实战之：一次系统性能瓶颈的寻找过程

    玩过性能优化的朋友都清楚,性能优化的关键并不在于怎么进行优化,而在于怎么找到当前系统的性能瓶颈.性能优化分为好几个层次,比如系统层次.算法层次.代码层次…JVM 的性能优化被认为是底层优化,门槛较高, ...

  7. 使用 Google Fonts 为网页添加美观字体

    前言 文字是网页中很重要的组成部分.为文字选择一个合适的字体,能够更好的展现一个网站的个性,表达所要传递的信息,同时吸引用户来产生兴趣. 说到字体,我们首先会想到 CSS 里面的 font,例如: & ...

  8. C#轻量级企业事务 - TransactionScope

    using System; using System.Data.SqlClient; using System.Transactions; namespace SomeDBTransaction { ...

  9. java学习随笔--- 捣蛋vector

    最近比较有时间啦,有时间搞下java,个人觉得学这门语言语法太多啦,不一一去学习啦,心血来潮,挂了个struct2的源代码,一入深似海啊,看得我天花缭乱,从最简单的开始吧 public static ...

  10. Tcl之load

    做一个ASIC项目,基本结构是MCU+ROM+RAM.目前想把单片机程序下载到ROM中,然后在ModelSim中仿真程序,得到运行结果.好二哥给出的Tcl下载文件如下,细细研读中... puts &q ...

相关阅读

目录[+]