python定时重跑获取数据

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

做大数据的童鞋经常会写定时任务跑数据，由于任务之间的依赖（一般都是下游依赖上游的数据产出），所以经常会导致数据获取失败，因为很多人发现数据失败后

都会去查看日志，然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数，如果失败后自动重新去获取，直到把数据获取到。

建数据表：

CREATE TABLE `testtable` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`name` varchar(20) NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

开始的时候数据表是空的，等到脚本重试第3秒的时候向数据库插入数据。以下是python代码的实现

#!/usr/bin/env python
#-*- coning:utf-8 -*- import MySQLdb
from time import sleep class GetData(object):
def __init__(self):
self.conn = ''
self.host = '127.0.0.1'
self.port = 3306
self.user = 'root'
self.passwd = ''
self.db = 'test'
self.cnum = 5 #set retry number def init_connect(self):
self.conn = MySQLdb.connect(host=self.host, user=self.user, passwd=self.passwd, db=self.db, port=self.port,
charset='utf8') def get_data(self):
self.init_connect()
cur = self.conn.cursor()
sql = "select * from testtable"
cur.execute(sql)
rs = cur.fetchall()
cur.close()
self.conn.close()
return rs def run(self):
count = 1
while (count <= self.cnum):
rs = self.get_data()
if len(rs) > 0:
print len(rs)
break print count
sleep(10)
count += 1 if __name__ == '__main__':
gd = GetData()
gd.run()