docker client和daemom

client 模式

docker命令对应的源文件是docker/docker.go,

docker [options] command [arg...]

其中options参数为flag，任何时候执行一个命令docker命令都需要先解析flag，然后按照用户生命的command向指定的子命令执行对应的操作

如果子命令为daemom，docker都会创建一个运行在宿主机上的daemom进程，即执行daemom模式。其余子命令都会执行client模式。处于client模式命令工作流程包含几个步骤

1.解析flag信息

docker命令支持大量的option，或者说flag，列出对于client模式下的docker比较重要的一些flag

Debug，对应-D和--debug参数，他将向系统中添加DEBUG环境变量且赋值为1，并把日志显示级别调为DEBUG级，这个flag用于启动调试模式

LogLevel，对应-l和--log-level 参数。默认等级为info，即只输出普通的操作信息。用户可以指定的日志等级现在有panic、fatal、error、warn、info、DEBUG这几种

hosts,对应-h和--hosts=[]参数，对于client模式，就是指本次操作需要连接的docker daemom位置，而对于daemom模式，则提供所要监听的地址，若host变量或者系统环境变量DOCKER_HOST不为空，说明用户指定了host对象；否则使用默认设置，默认情况下Linux系统设置为unix：///var/run/docker.sock

protAddrParts，这个参数来自-H参数中：//前后的两部分的组合，即与docker daemom建立通信的协议方式与socke地址

2创建client实例

client的创建就是在已有配置参数信息的基础上，调用api/client/cli.go#NewDockerCli,需要设置好proto（传输协议）、addr（host的目标地址）和tlsConfig（安全传输层协议的配置），另外还会配置标准输入输出及错误输出

3执行具体的命令

Docker client 对象创建成功后，剩下的执行具体命令的过程就交给cli/cli.go来处理

从命令到映射的方法

cli主要通过反射机制，从用户输入的命令（如run）得到匹配的执行方法（CmdRun），这就是所谓“约定大于配置”的方法命名规范。

同时，cli会根据参数列表的长度判断是否用于多级docker命令支持,然后根据找到的执行方法，把剩下的参数传入并执行。若参数传入的方法不正确或者错误，则返回docker的帮助并退出

每一个类似api/client/commnds.go#CmdRun 的方法都剥离出来作为一个单独的文件存在。docker run 这个命令的执行过程，就需要寻找api/client/run.go这个文件

执行对应的方法，发起请求

1.解析传入的参数，并针对参数进行配置处理

2.获取与Docker daemon通信所需要的认证配置信息

3.根据命令业务类型，给Docker daemon发送POST、GET等请求

4.读取来自Docker daemon

daemom  模式

一旦进入daemom模式，剩下的初始化工作都由docker的docker/daemon.go#CmdDaemon来完成；docker daemon通过一个server模块（api/server/server.go）接收来自client的请求，然后根据请求的类型，交由具体方法执行，因此daemom首先要启动并初始化这个server，另一方面启动server后。docker 进程需要初始化一个daemon对象（daemon/daemon.go）来负责处理server的请求。

docker daemon 初始化启动过程

API server的配置和初始化过程

启动过程

（1）整理解析用户指定的各项参数

（2）创建PID文件

（3）加载所需的server辅助配置，包括日志、是否允许远程访问、版本以及TLS认证信等。

（4）根据上述server配置，加上之前解析出来的用户指定的server配置（比如Host），通过goro-utine的方式启动API server。这个server监听的socket位置就是Host的值

（5）创建一个负责处理业务的daemon对象（对应daemon/daemon.go）作为负责处理用户请求的逻辑实体

（6）对APIserver中的路由表进行初始化，即将用户的请求和对应的处理函数相对应起来。

（7）设置一个channel，保证上述goroutine只是在server出错的情况才会退出

（8）设置信号捕获，docker daemon进程收到INT、TERM、QUIT信号时，关闭API server，用shutdowndaemon停止这个daemon

（9）如果上面流程完成后，API server就会与daemon绑定，并接受client的连接。

（10）最后，docker daemon进程向宿主机的init守护进程发送“READY=1”信号，表示docker daemon已经开始工作

关闭过程

（1）创建并设置一个channel，使用select监听数据。在正确完成关闭daemon工作后将channel关闭，标识该工作的完成；否则在超时15秒后报错

（2）调用daemon/daemon.go#Shoutdown方法执行如下工作

遍历所有运行中的容器，先用SIGTERM软杀死容器进程，如果10秒不能完成，则使用SIGKILL强制杀死

如果netController被初始化过，调用#libnetwork/controler.go#GC 方法进行垃圾回收

结束运行中的镜像驱动程序

在docker1.6版本以前的早期和以前所有版本，server的启动和初始化使用了一种复杂的job机制（API server即被看作一种job），并且依赖于一个专门的docker Engine来管理和运行这些job。1.7版本，这个设计在整个社区的推动下呗重构，上述说的是新的server初始化过程，该server会通过与daemon对象绑定来接受并处理完成具体的请求（类似于一个API接受器绑定了一个业务逻辑处理器）

daemon对象的创建与初始化

对象创建过程至少包括功能有：docker容器配置信息、检测系统支持及用户权限、配置工作路径、加载并配置graphdriver、创建docker网络环境、创建并初始化镜像数据库、创建容器管理驱动、检测DNS配置和加载已有Docker容器等。

docker  容器配置信息

容器配置信息的主要功能有：提供用户自由配置的docker容器的可选功能，使得docker容器运行更贴近用户期待的运行场景；设置默认的网络最大传输单元：当用户没有对-mut参数进行指定是，将其设置为1500.否则，沿用用户指定参数值  ；检测网桥配置信息：此部分配置为进一步配置docker网络提供铺垫

检测系统支持及用户权限

初步处理完docker的配置信息后，docker自身运行的环境进行一系列检测，主要包括3个方面

* 操作系统类型对docker daemon的支持，目前docker daemon只能运行在Linux上

* 用户权限的级别，必须是root权限

* 内核版本与处理器支持，只支持amd64架构的处理，且内核版本必须升至3.10.0及以是上。

配置daemon工作路径

配置docker daemon的工作路径，主要是创建Docker  daemon 运行中所在的工作目录，默认为/var/lib/docker.若该目录不存在，则会创建，并赋予0700权限

配置docker容器所需的文件环境

这一步docker daemon会在docker工作目录/var/lib/docker 下面初始化一些重要的目录文件，来构建docker容器工作所需的文件系统环境

这一，创建容器配置文件目录。docker daemon在出创建docker容器之后，需要将容器内的配置文件放到这个目录下统一管理。目录默认位置：/var/lib/docker/containers,它下面会为每个具体容器保存如下几个配置文件，其中xxx为容器ID

[root@mast ~]# ls /var/lib/docker/containers/4d5464672680c97ed061b73e7d8336741b2971c2fb5a81fa5ac2ec8fac096cf9/

4d5464672680c97ed061b73e7d8336741b2971c2fb5a81fa5ac2ec8fac096cf9-json.log  checkpoints  config.v2.json  hostconfig.json  hostname  hosts  mounts  resolv.conf  resolv.conf.hash

第二，配置graphdriver目录。它用于完成docker容器镜像管理所需的底层存储驱动层，所以在这一步的配置工作就是加载并配置镜像存储驱动graphdriver，创建存在驱动镜像管理层文件系统所需的目录和环境，初始化镜像层元数据存储。创建graphdriver时，首先会从环境变量DOCKER_DRIVER中读用户指定的驱动，若为空，则开始遍历优先级数组选择一个graphdriver，在Linux环境下，优先级从高到低依次为aufs、btrfs、zfs、devicemapper、overlay和vfs。 不同操作系统下，优先级列表的内容和顺序都会不同，而且随着内核的发展以及驱动的完善，会继续发生变化。

需要注意，目前vfs在docker中时用来管理volume的，并不作为镜像存储使用。另外，由于目前在overlay文件系统上运行的docker容器不兼容SELinux，因此当config中配置信息需要启动SELinux并且driver的类型为overlay时，该过程就会报错

当识别出对应的driver后，docker执行这个driver对应的初始化方法（位于daemon/graphdriver/aufs/aufs,go）,这个初始化的主要工作包括：尝试加载内核aufs模块来确定docker主机支持aufs，发送statfs系统调用获取当前docker主目录（/var/lib/docker）的文件系统信息，确定aufs是否支持该文件系统；创建aufs驱动根目录（默认：/var/lib/docker/aufs）并将该目录配置为私有挂载，在根目录下创建mnt、diff和layers目录作aufs驱动的工作环境，工作完成后，graphdriver的配置工作就完成。

第三，配置镜像目录。主要工作是在docker主目录下创建一个image目录，来存储所有镜像和镜像层管理数据，默认目录“/var/lib/docker/image”.在image目录下，每一graphdriver都有一个具体的目录用于存储使用该graphdriver存储的镜像相关的元数据

根据上一步graphdriver的选择情况（以aufs为例）创建image/aufs/layerdb/目录作为镜像层元数据存储目录，并创建MetadataStore用来管理元数据。根据graphdriver与元数据存储结构创建layerStore，用来管理所有的镜像和容器层，将逻辑镜像层的操作映射到物理存储驱动层graphdriver的操作，创建用于registry的镜像上传下载的uploadManager和downloadMannger

创建image/aufs/imagedb/目录用于存储镜像的元数据，根据layerStore创建imageStore，用来管理镜像的元数据。

第四，调用volume/local/local.go#New创建volume驱动目录（默认为/var/lib/docker/volumes）,docker中volume是宿主机上挂载到docker容器内的特定目录。volume目录下有一个metadata.db 数据库文件用于存储volume相关的元数据，其余以volume ID 命名的文件夹用于存储具体的volume内容。默认的volume驱动是local，用户也可以通过插件的形式使用其他volume驱动来存储

第五，准备“可信镜像”所需的工作目录。docker工作根目录下创建trust目录。这个存储目录可以根据用户给出的可信URL加载授权文件，用来处理可信镜像的授权和验证过程。

第六，创建distributionMetadataStore和referenceStore。referenceStore用于存储镜像仓库列表。记录镜像仓库的持久化文件位于docker根目录下的image/[graphdriver]/repositories.json中，主要记录镜像ID与镜像仓库之间的映射。distributionMetadataStore存储与第二版镜像仓库registry有关的元数据，主要用于做镜像层的diff_id与registry中镜像层元数据之间的映射

第七，将持久化在Docker根目录中的镜像、镜像层以及镜像仓库等的元数据内容恢复到daemon的imageStore、layerStore和reference中

第八，执行镜像迁移，docker1.10版本以后，镜像管理部分使用了基于内容寻址存储。在第一次启动daemon时，为了将老版本的graph镜像管理迁移到新的镜像管理体系中，这里会根据docker根目录中是否存在graph文件夹，如果存在就会读取graph中的老版本镜像信息，计算校验和并将镜像数据写入到新版本的imageStore和layerStore中，注意的是，迁移镜像中计算校验和是一项非常占CPU的工作，并且在未完成镜像迁移时，docker daemon是不会响应任何请求的，所有如果你本地的老版本镜像和容器比较多时，或者是在对服务器负载和响应比较敏感的线上环境尝试，docker版本升级，那就要注意妥善安排时间，docker提供了迁移工具让用户在老版本daemon运行的时候进行镜像迁移

这里docker daemon需要在docker根目录（/var/lib/docker）下创建并初始化一系列容器文件系统密切相关的目录和文件。

创建docker   network

创建docker daemon运行环境的时候，创建网络环境是极为重要的一部分。这不仅关系着容器对外通信，同样也关乎着容器之间的通信。网络部分早已被抽离出来作为一个单独的模块，称为libnetwork，libnetwork通过插件的形式为docker提供网络功能，使得用户可以根据自己需求实现自己的dirver来提供不同的网络功能。截止docker1.10版本，libnetwork实现了host、null、birdge和overlay的驱动。其中，birdge driver 为默认驱动，和之前版本中的docker网络功能是基本等价的，需要注意的是，同之前的docker网络一样，bridge driver并不提供跨主机通信的能力，overlay driver则是用于多主机环境

初始化execdriver

execdriver是docker中用来管理容器的驱动，docker会调用execdrivers中NewDriver()函数来创建新的execdriver

在创建execdriver的时候，需要注意一下5部分信息

运行时中指定使用的驱动类型，在默认配置文件中默认使用native，即其对应的容器运行时为libcontainer；

用户定义的execdirver选项，即-exec-opt参数值

用户定义的-exec-root参数值，docker execdriver运行的root路径，默认为/var/run/docker;

docker 运行时的root路径，默认为/var/lib//docker

系统功能的信息，包括容器的内存限制功能，交换分区内存限制功能、数据转发功能以及AppArel安全功能等；AppArel通过host主机是否存在/sys/kernel/security/apparmor来判断是否加入AppArel配置

最后，如果选择netive作为这个execdriver的驱动实现，上述driver的创建过程就会新建一个libcontainer，这个libcontainer会在后面创建和启动Linux容器时发挥作用

daemon对象诞生

docker daemon进程在经过以上诸多设置以及创建对象之后，最终创建出了daemon对象实例

恢复已有的docker容器

当docker daemon启动时，会去查看在daemon.repository也就是在/var/lib/docker/containers中的内容。若有已经存在的docker容器，则将相应信息收集并进行维护，同时重启restart policy 为always的容器

docker daemon的启动看起来非常复杂，这是docker在演进的过程中不断增加功能点造成的，但不管今后docker的功能点增加多少，docker daemon进程的启动都将遵循3步

（1）首先创建一个API server，它工作在用户通过-H指定socket

（2）然后docker使用NewDaemon方法创建一个daemon对象来保存信息和处理业务逻辑

（3）最后将上述API server和daemon对象绑定起来，接受并处理client的请求

只不过，NewDaemon方法的长度会不断增加而已

从client到daemon

发起请求

（1）docker  run命令开始运行，用户端的docker进入client模式

（2）经过初始化，新建出了一个client

（3）上述client通过反射机制找到了CmdRun方法

CmdRun在解析过程用户提供的容器参数等一系列操作后，最终发出了这样两个请求：

“POST”，“/containers/create?”+containerValues   //创建容器

“POST” ，“/containers/”+createResponse.ID+"/start"  //启动容器

至此，client  任务结束

创建容器

在这一步docker daemon并不需要创建一个真正的Linux容器，它只需要理解用户通过client提交的POST表单，然后使用这些参数在daemon中新建一个container对象出来即可，这个container实体就是container/container_unix.go，其中的commonContainer字段定义在平台为主。

启动容器

这个时候daemon这边的重点来了。API server接受到start请求后告诉docker daemon进行container启动容器操作，这个过程daemon/start.go

此时，由于container所需的各项参数，如NetworkSetings、ImageID等，都已经在容器过程中赋好了值，docker daemon会在start.go 中直接执行daemon.ContainerStart，就能够宿主机上创建对应的容器了；创建容器过程是docker daemon，containerMonitor将daemon设置为自己的supervisor。所以经过一系列调用后。daemon.ContainerStart 实际上执行的操作是

即告诉daemon进程，请使用container相关的信息作参数，执行对应的execdriver的Run方法

最后一步

“万事俱备，只欠东风”。在docker daemon已经完成所有的准备工作，最后下达了执行Run操作的命令后，跟系统打交道的任务都交给ExecDriver.Run来完成；execdriver是docker的重要组成部分，它封装了对namespace、cgroups等所有对OS资源操作的方法，而在docker中。execdriver的默认实现（native）就是libcontainer了，到这一步。docker daemon只需要提供三大参数，接下来等着返回结果

* commandv：该容器需要的所有配置信息集合

* pipes：用于将容器stdin、stdout、stderr重定向到daemon

* startCallback():回调方法