正文
【Python】简单实现爬取小说《天龙八部》，并在页面本地访问
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
背景
很多人说学习爬虫是提升自己的一个非常好的方法，所以有了第一次使用爬虫，水平有限，依葫芦画瓢，主要作为学习的记录。
思路- 使用python的requests模块获取页面信息
- 通过re模块（正则表达式）取出需要的内容（小说标题，正文）
- 通过MysqlDB模块入库
- 使用webpy模块生成访问页面
最终的效果图
- 使用python的requests模块获取页面信息
- 通过re模块（正则表达式）取出需要的内容（小说标题，正文）
- 通过MysqlDB模块入库
- 使用webpy模块生成访问页面
下面是效果图，简单实现了点击上一页、下一页翻页的功能：
目录结构
目录结构如下：
D:\PROJECT\SPIDER
│ fiction_spider.py
│ webapp.py
│
└─template
index.html
爬取信息及入库示例代码#coding:utf-8#fiction_spider.pyimport requestsimport reimport MySQLdbdef get_title(): html = requests.get('http://www.jinyongwang.com/tian/').content rem = r'<li><a href="(.*?)">(.*?)</a>' return re.findall(rem,html)def get_content(url): html = requests.get('http://www.jinyongwang.com/'+url).content #print html matchs_p = r'<p>(.*?)</p><script.*?' data = re.findall(matchs_p, html) return data[0]if __name__ == '__main__': a = MySQLdb.connect(host='10.1.*.*', port=3306, user='user', passwd='passwd', db='testdb', charset='utf8') for i in get_title(): cur = a.cursor() print i[1] print i[0] sqli = 'INSERT INTO `fiction` (`title`, `content`) VALUES ("%s","%s" )'%(i[1],get_content(i[0])) cur.execute(sqli) cur.close() a.commit() a.close()
生成访问页面示例代码#coding:utf-8#webapp.pyimport webimport reurls = ('/(.*)','Index')db = web.database(dbn = 'mysql',host='10.1.*.*', port=3306, user='user', passwd='passwd', db='testdb', charset='utf8')render = web.template.render('template')class Index: def GET(self,html): id = re.findall('(.*?).html',html)[0] print id data = db.query("select * from fiction where id=%s"%id) return render.index(data[0],id)if __name__ == '__main__': web.application(urls,globals()).run()
#coding:utf-8#fiction_spider.pyimport requestsimport reimport MySQLdbdef get_title(): html = requests.get('http://www.jinyongwang.com/tian/').content rem = r'<li><a href="(.*?)">(.*?)</a>' return re.findall(rem,html)def get_content(url): html = requests.get('http://www.jinyongwang.com/'+url).content #print html matchs_p = r'<p>(.*?)</p><script.*?' data = re.findall(matchs_p, html) return data[0]if __name__ == '__main__': a = MySQLdb.connect(host='10.1.*.*', port=3306, user='user', passwd='passwd', db='testdb', charset='utf8') for i in get_title(): cur = a.cursor() print i[1] print i[0] sqli = 'INSERT INTO `fiction` (`title`, `content`) VALUES ("%s","%s" )'%(i[1],get_content(i[0])) cur.execute(sqli) cur.close() a.commit() a.close()
#coding:utf-8#webapp.pyimport webimport reurls = ('/(.*)','Index')db = web.database(dbn = 'mysql',host='10.1.*.*', port=3306, user='user', passwd='passwd', db='testdb', charset='utf8')render = web.template.render('template')class Index: def GET(self,html): id = re.findall('(.*?).html',html)[0] print id data = db.query("select * from fiction where id=%s"%id) return render.index(data[0],id)if __name__ == '__main__': web.application(urls,globals()).run()
页面访问的index.html内容如下：
$def with(data,s)<meta charset="utf-8"/><title>$:data.title</title><h1>$:data.title</h1><div style="margin:0px auto;text-align:center;"><a href="$:(int(s)-1).html">上一页</a><a href="$:(int(s)+1).html">下一页</a></div>$:data.content<br><div style="margin:0px auto;text-align:center;"><a href="$:(int(s)-1).html">上一页</a><a href="$:(int(s)+1).html">下一页</a></div>
保存到txt:
if __name__ == '__main__': a = open(u'射雕**传.txt','w') m = 0 for i in get_title(): #print i[1], get_content(i[0]) time.sleep(2) data = i[1] + '\n' + '\n' + get_content(i[0]).replace('</p><p>','\n\n') + '\n\n' #在标题和内容之间插入换行符，将html中的<p>参数变成换行符 a.writelines(data) m += 1 print u'正在爬取第%s段内容' % m # if m >2: # print u'正在爬取第%s段内容' % m # break a.close()
