python爬取信息到数据库与mysql简单的表操作

python 爬取豆瓣top250并导入到mysql数据库中

import pymysql
import requests
import re
url='https://movie.douban.com/top250'
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'}
proxies={
'http':'http://232.139.33.51:80'
}
list=[]
for word in range(0,250,25):
p={'start':word}
req=requests.get(url,headers=headers,proxies=proxies,params=p)
text=req.text
pattern=re.compile('<em class="">(.*?)</em>.*?<span class="title">(.*?)</span>.*?<p class="">.*?'
'导演: (.*?) .*?<br>.*?/&nbsp;(.*?)&nbsp;/&nbsp;(.*?)\n .*?<span class="inq">(.*?)</span>',re.S) #根据html页面写正则表达式来提取需要的信息
te=pattern.findall(text) for i in te:
print(i)
list.append(i)#print(list)
db=pymysql.connect(host='localhost',user='root',password='1234',charset='utf8') #passwd根据自己的数据库修改
cursor=db.cursor() #创建游标
cursor.execute('create database movie_data') #使用游标执行创建数据库
cursor.execute('use movie_data') #使用数据库
sql = '''create table movie(
id char(10) primary key,
name char(255),
director char(255),
country char(200),
type varchar(255),
brief varchar(255)
)default charset=utf8;
''' #创建表语句cursor.execute(sql)
for i in list:
insert_sql = "insert into movie values('%s','%s','%s','%s','%s','%s');" % (i[0], i[1], i[2], i[3], i[4],i[5]) #将变量值转入到sql语句。
cursor.execute(insert_sql)
db.commit() #提交insert的数据信息# #cursor.execute('drop database movie_data')


简单的mysql表操作

连接本地数据库

mysql -h localhost -u root -p

库操作

show databases;

create database 数据库名

drop database 数据库名

show create database 数据库

查看单个数据库信息

表操作

创建表

create table t1（

id int(4) not null,

name varchar(14) default 'allen'

);

约束条件

用于保证数据的完整性和一致性

PRIMARY KEY (PK) 标识该字段为该表的主键，可以唯一的标识记录
FOREIGN KEY (FK) 标识该字段为该表的外键
NOT NULL 标识该字段不能为空
UNIQUE KEY (UK) 标识该字段的值是唯一的
AUTO_INCREMENT 标识该字段的值自动增长（整数类型，而且为主键）
DEFAULT 为该字段设置默认值
UNSIGNED 无符号
ZEROFILL 使用0填充


查看表结构

desc 表名;

修改表名

alter table sc rename score;

插入数据

insert into student values

(1,'egon','male',18),

(2,'alex','female',81);

更新数据

UPDATE student set ssex='女'

where sname='张丽';

删除数据

DELETE FROM student

WHERE sno='2005030301';

详情mysql操作参考

这是一条超链接点击链接到mysql数据库总结笔记