python爬虫 学习1

 1 import requests

 2 from bs4 import BeautifulSoup

 3 import bs4

 4 def gethtmltext(url):     #获取html内容,利用try和except框架可以抛出异常

 5     try:

 6         r = requests.get(url,timeout=30)   #获取url，时间限制为30秒

 7         r.raise_for_status()               #检查连接状态是否为200，即正常连接，如果为否则抛出except异常

 8         r.encoding=r.apparent_encoding     #确定编码

 9         return r.text                      #返回为html的内容

10     except:

11         return ''

12

13

14 def fillunivlist(ulist,html):      #解析html内容，提取所需数据  ulist是一个空列表，用来存取解析出来的所需数据

15     soup = BeautifulSoup(html,'html.parser')    #利用beautifulsoup的html.parser来解析r.text

16     for tr in soup.find('tbody').children:      #通过分析发现所需排序，学校名称，总分存在于tbody标签类的tr标签中的td标签 .children是查找tbody的子类

17         if isinstance(tr,bs4.element.Tag):      #因为tr标签包含其他string，而我们所需要的只是bs4.element.Tag标签类型,所以用isinstance(obj,class)作一个判断

18             tds = tr('td')     #若判断为真则 执行查找tr标签中的td标签，并赋值给tds

19             ulist.append([tds[0].string,tds[1].string,tds[2].string])    #将tds的数据追加给ulist

20

21 def printunivlist(ulist,num):       #格式化输出内容

22     print('{:^10}\t{:^6}\t{:^10}'.format('排名','学校名称','总分'))

23     for i in range(num):

24         u=ulist[i]

25         print('{:^10}\t{:^6}\t{:^10}'.format(u[0],u[1],u[2]))

26

27

28 def main():    #定义一个主函数，实现具体抓取并输出

29     uinfo = []

30     url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'

31     html = gethtmltext(url)

32     fillunivlist(uinfo,html)

33     printunivlist(uinfo,20)

34

35 main()