小白学 Python 爬虫（5）：前置准备（四）数据库基础

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

人生苦短，我用 Python

前文传送门：

小白学 Python 爬虫（1）：开篇

小白学 Python 爬虫（2）：前置准备（一）基本类库的安装

小白学 Python 爬虫（3）：前置准备（二）Linux基础入门

小白学 Python 爬虫（4）：前置准备（三）Docker基础入门

本篇文章，我们接着介绍基础内容，数据库。

爬虫将数据爬取完成后，总要有地方存放吧，这个数据存在哪里呢？

当然是数据库中，那个说放在 Excel 里的，你给我站住！

当然 Excel 也是可以使用的，并且第三方也对 Excel 的操作提供了类库支持，但是，SQL 库还是一个老码农的坚持。

数据库现在分为关系型数据库，非关系型数据库和新型数据库。

还是换英文吧，说中文感觉不大对，防止小编说错，下面使用英文再介绍一遍。

SQL(Structured Query Language)：数据库，指关系型数据库。主要代表： SQL Server 、 Oracle 、 MySQL 、 PostgreSQL 。
NoSQL(Not Only SQL)：泛指非关系型数据库。主要代表： MongoDB 、 Redis 、 CouchDB 。
NewSQL：对各种新的可扩展/高性能数据库的简称。主要代表： Clustrix 、 GenieDB 、 TiDB 。

本系列文章会用到的数据库主要有 Mysql 和 Redis 。

下面，我们开始愉快的装起来。

Mysql 安装

Mysql 在 Win 环境下，可以找到 .exe 的安装包，但是小编不建议大家这么直接安装，这时，前面我们介绍的 Docker 就排上用场了，我们介绍如何在 Docker 中安装 Mysql 。

本文系统环境将使用 Linux ，当然，在 Windows 下通过 Docker 安装过程和命令基本一致。

首先，是将 Mysql 的镜像从镜像仓库中下载到本地：

docker pull mysql:5.7

静静的等待进度条走完，然后我们使用命令查看下刚才下载的镜像：

docker images

如果可以看到上图这样的显示就说明下载成功了，剩下的只需要我们来启动这个 Mysql 的镜像了。

docker run --name mysql --restart=always -p 3306:3306 -v /www/mysql/conf.d:/etc/mysql/conf.d -v /www/mysql/mysql.conf.d:/etc/mysql/mysql.conf.d -v /www/mysql/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai -d mysql:5.7

我来解释一下这里面的几个参数的含义：

--name：这里是命名启动后容器名称。

--restart：自动重启，比如服务器突然断电，重启服务器之后不需要重新手动启动。

-p：指定端口号。

-v：挂载。容器中的配置包括数据是不能直接访问的，但是可以将这些内容挂在到我们自己本机的目录中，小编这里的目录使用的是 linux 的文件目录，各位同学如果要在 win 的电脑上操作记得修改。

-e：配置数据库的 root 密码和指定时区是亚洲的上海。

-d：作为守护线程。

然后就结束了，我们的 Mysql 就安装完成了，可以通过命令查看一下容器是否正常启动。

docker ps

顺利完成！是不是感觉很简单，我们只需要三个命令就搭建了一个单机版的 Mysql 服务。而且在不同的系统中通过 Docker 安装，命令近乎一致。

但是 Mysql 装好了，我们怎么看里面的数据呢？这个可以安装一个客户端软件，叫做 Navicat ，可惜是收费的，而且还蛮贵的，那么怎么用就不用我多说了吧，自己悟。

界面还是蛮清爽的，操作也十分简单，毕竟有中文版，具体怎么操作各位同学自己点点看大致就知道了。

另外，建议各位同学在 Linux 中安装 Mysql 。

Redis 安装

首先来介绍下 Redis 。

Redis 我们一般是将其当成缓存来使用的，因为它的数据是存在内存中，所以它的读写速度要远远超出 MySQL，数据在内存中，意味着一旦断电重启后，将会丢失所有数据。

Redis 同样提供将数据持久化到硬盘，但是开启数据持久化到硬盘后，将会有效降低 Redis 的性能。

同样，我们在 Docker 中安装 Redis 。

下载 Redis ：

docker pull redis

这里先创建一个文件夹用来做 Redis 的挂载目录，小编这里创建的文件夹目录为 /www/redis/ ，用来存放redis的配置文件、数据等。

Redis 的启动命令为：

docker run -d -p 6379:6379 --restart=always -v /www/redis/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /www/redis/data:/data --name docker-redis redis --appendonly yes

Redis 的配置文件这里小编就不贴出来了，属实太长了，上传至代码仓库，有需要的同学自取吧。

顺便这个 Redis 缓存服务给大家做个共享，在公众号回复 redis 获取缓存服务配置。

硬件负载较低，本共享仅做测试使用，希望各位同学不要做压测等高危操作。

Excel 安装

目前 Office 也是更新至了 2019 版，具体怎么装我就不多讲了，只讲一个词： Office Tool ，懂的自然懂，不懂的就去百度下，百度这个必然不会让你失望的。

连接库安装

上面我们讲完了数据库的安装，如果我们想使用 Python 连接到这些数据库上，还需要一些第三方提供的类库。

PyMySQL

在 Python 中，想要连接到 MySQL 进行操作，就需要安装 PyMySQL 。

安装命令如下：

pip install pymysql

redis-py

在 Python 中，想要连接到 Redis 进行操作，就需要安装 redis-py 。

安装命令如下：

pip install redis

本篇内容到这里就结束，希望各位同学可以亲自动手实践一下，谢谢~~~。

示例代码

示例代码-Github

示例代码-Gitee

正文