爬虫数据存储——安装docker和ElasticSearch(基于Centos7)

爬虫数据存储——安装docker和ElasticSearch(基于Centos7)

先决条件

操作系统要求

要安装Docker Engine-Community，您需要一个CentOS 7的维护版本。不支持或未测试存档版本。

该centos-extras库必须启用。默认情况下，此存储库是启用的，但是如果已禁用它，则需要 重新启用它。

overlay2建议使用存储驱动程序。

卸载旧版本

较旧的Docker版本称为docker或docker-engine。如果已安装这些程序，请卸载它们以及相关的依赖项。

$ sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine


如果yum报告未安装这些软件包，则可以。

的内容（/var/lib/docker/包括图像，容器，卷和网络）被保留。现在称为Docker Engine-Community软件包docker-ce。

使用存储库安装docker

设置存储库

1.安装所需的软件包。yum-utils提供了yum-config-manager 效用，并device-mapper-persistent-data和lvm2由需要 devicemapper存储驱动程序。

$ sudo yum install -y yum-utils \
device-mapper-persistent-data \
lvm2


2.使用以下命令来设置稳定的存储库。

$ sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo


安装DOCKER ENGINE-社区

1.安装最新版本的Docker Engine-Community和containerd，或者转到下一步安装特定版本：

$ sudo yum install docker-ce docker-ce-cli containerd.io


2.要安装特定版本的Docker Engine-Community，请在存储库中列出可用版本，然后选择并安装：

$ yum list docker-ce --showduplicates | sort -rdocker-ce.x86_64 3:18.09.1-3.el7 docker-ce-stable
docker-ce.x86_64 3:18.09.0-3.el7 docker-ce-stable
docker-ce.x86_64 18.06.1.ce-3.el7 docker-ce-stable
docker-ce.x86_64 18.06.0.ce-3.el7 docker-ce-stable$ sudo yum install docker-ce-<VERSION_STRING> docker-ce-cli-<VERSION_STRING> containerd.io


3.启动Docker。

$ sudo systemctl start docker
$ sudo systemctl enable docker


4.通过运行hello-world 映像来验证是否正确安装了Docker Engine-Community 。

$ sudo docker run hello-world


卸载Docker Engine-社区

1.卸载Docker软件包：

$ sudo yum remove docker-ce


2.主机上的映像，容器，卷或自定义配置文件不会自动删除。要删除所有图像，容器和卷：

$ sudo rm -rf /var/lib/docker


您必须手动删除所有已编辑的配置文件。

配置docker加速器

1.登录http://get.daocloud.io/ 选择Docker Hub加速器

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io注意: 该脚本可以将 --registry-mirror 加入到你的 Docker 配置文件 /etc/docker/daemon.json 中。适用于 Ubuntu14.04、Debian、CentOS6 、CentOS7、Fedora、Arch Linux、openSUSE Leap 42.1，其他版本可能有细微不同。


安装elasticsearch

docker pull elasticsearch //下载最新版
docker run -d -p 9200:9200 elasticsearch //elasticsearch在9200端口运行
docker ps //列出所有在运行的容器信息
docker logs [OPTIONS] CONTAINER //获取容器日志
注意: 日志报错 OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
说明你的内存不够运行elasticsearch,elasticsearch运行需要2G内存