Ubuntu 搭建etcd

主节点通过网络IO向其他节点追加日志。若某节点收到日志追加的消息，首先判断该日志的TERM是否过期，以及该日志条目的INDEX是否比当前以及提交的日志的INDEX跟早。若已过期，或者比提交的日志更早，那么就拒绝追加，并返回该节点当前的已提交的日志的编号。否则，将日志追加，并返回成功。

当主节点收到其他节点关于日志追加的回复后，若发现有拒绝，则根据该节点返回的已提交日志编号，发生其编号下一条日志。

主节点像其他节点同步日志，还作了拥塞控制。具体地说，主节点发现日志复制的目标节点拒绝了某次日志追加消息，将进入日志探测阶段，一条一条发送日志，直到目标节点接受日志，然后进入快速复制阶段，可进行批量日志追加。

按照日志复制的逻辑，我们可以看到，集群中慢节点不影响整个集群的性能。另外一个特点是，数据只从主节点复制到Follower节点，这样大大简化了逻辑流程。

-- ::43.134431 I | etcdmain: etcd Version: 3.3.

-- ::43.134941 I | etcdmain: Git SHA: 27fc7e2

-- ::43.135324 I | etcdmain: Go Version: go1.10.4

-- ::43.135572 I | etcdmain: Go OS/Arch: linux/amd64

-- ::43.135781 I | etcdmain: setting maximum number of CPUs to , total number of available CPUs is1

-- ::43.136055 W | etcdmain: no data-dir provided, using default data-dir ./default.etcd

-- ::43.136331 N | etcdmain: the server is already initialized as member before, starting as etcd member...

-- ::43.136847 I | embed: listening for peers on http://localhost:2380

-- ::43.137159 I | embed: listening for client requests on localhost:

-- ::43.138055 I | etcdserver: name = default

-- ::43.138328 I | etcdserver: data dir = default.etcd

-- ::43.138718 I | etcdserver: member dir = default.etcd/member

-- ::43.139011 I | etcdserver: heartbeat = 100ms

-- ::43.139280 I | etcdserver: election = 1000ms

-- ::43.139545 I | etcdserver: snapshot count =

-- ::43.139839 I | etcdserver: advertise client URLs = http://localhost:2379

-- ::43.141035 I | etcdserver: restarting member 8e9e05c52164694d in cluster cdf818194e3a8c32 at commit index

-- ::43.141923 I | raft: 8e9e05c52164694d became follower at term

-- ::43.142228 I | raft: newRaft 8e9e05c52164694d [peers: [], term: , commit: , applied: , lastindex: , lastterm: ]

-- ::43.143985 W | auth: simple token is not cryptographically signed

-- ::43.145713 I | etcdserver: starting server... [version: 3.3., cluster version: to_be_decided]

-- ::43.148015 I | etcdserver/membership: added member 8e9e05c52164694d [http://localhost:2380] to cluster cdf818194e3a8c32

-- ::43.149041 N | etcdserver/membership: set the initial cluster version to 3.3

-- ::43.149478 I | etcdserver/api: enabled capabilities for version 3.3

-- ::45.043137 I | raft: 8e9e05c52164694d is starting a new election at term

-- ::45.043461 I | raft: 8e9e05c52164694d became candidate at term

-- ::45.043495 I | raft: 8e9e05c52164694d received MsgVoteResp from 8e9e05c52164694d at term

-- ::45.043519 I | raft: 8e9e05c52164694d became leader at term

-- ::45.043535 I | raft: raft.node: 8e9e05c52164694d elected leader 8e9e05c52164694d at term

-- ::45.044348 I | etcdserver: published {Name:default ClientURLs:[http://localhost:2379]} to cluster cdf818194e3a8c32

-- ::45.044593 E | etcdmain: forgot to set Type=notify in systemd service file?

-- ::45.044737 I | embed: ready to serve client requests

-- ::45.045232 N | embed: serving insecure client requests on 127.0.0.1:, this is strongly discouraged!

Error: unknown command "set" for "etcdctl"

Did you mean this?

    get

    put

    del

    user

Run 'etcdctl --help' for usage.

Error: unknown command "set" for "etcdctl"

Did you mean this?

    get

    put

    del

    user

ETCD_NAME ：ETCD的节点名，在集群中应该保持唯一，可以使用 hostname。

ETCD_DATA_DIR：ETCD的数据存储目录，服务运行数据保存的路径，默认为 ${name}.etcd。

ETCD_SNAPSHOT_COUNTER：多少次的事务提交将触发一次快照，指定有多少事务（transaction）被提交时，触发截取快照保存到磁盘。

ETCD_HEARTBEAT_INTERVAL：ETCD节点之间心跳传输的间隔，单位毫秒，leader 多久发送一次心跳到 followers。默认值是 100ms。

ETCD_ELECTION_TIMEOUT：该节点参与选举的最大超时时间，单位毫秒，重新投票的超时时间，如果 follow 在该时间间隔没有收到心跳包，会触发重新投票，默认为  ms。

ETCD_LISTEN_PEER_URLS：该节点与其他节点通信时所监听的地址列表，多个地址使用逗号隔开，其格式可以划分为scheme://IP:PORT，这里的scheme可以是http、https。和同伴通信的地址，比如 http://ip:2380 ，如果有多个，使用逗号分隔。需要所有节点都能够访问，所以不要使用 localhost。

ETCD_LISTEN_CLIENT_URLS：该节点与客户端通信时监听的地址列表，对外提供服务的地址：比如 http://ip:2379 ,http://127.0.0.1:2379 ，客户端会连接到这里和 etcd 交互

ETCD_INITIAL_ADVERTISE_PEER_URLS：该成员节点在整个集群中的通信地址列表，这个地址用来传输集群数据的地址。因此这个地址必须是可以连接集群中所有的成员的。该节点同伴监听地址，这个值会告诉集群中其他节点。

ETCD_INITIAL_CLUSTER：配置集群内部所有成员地址，其格式为：ETCD_NAME=ETCD_INITIAL_ADVERTISE_PEER_URLS，如果有多个使用逗号隔开，集群中所有节点的信息，格式为 node1=http://ip1:2380 ,node2=http://ip2:2380 ,…。注意：这里的 node1 是节点的 –name 指定的名字；后面的 ip1:2380 是 –initial-advertise-peer-urls 指定的值

ETCD_ADVERTISE_CLIENT_URLS：广播给集群中其他成员自己的客户端地址列表

ETCD_INITIAL_CLUSTER_STATE：新建集群的时候，这个值为new；假如已经存在的集群，这个值为 existing。

ETCD_INITIAL_CLUSTER_TOKEN:初始化集群token，创建集群的token，这个值每个集群保持唯一。这样的话，如果你要重新创建集群，即使配置和之前一样，也会再次生成新的集群和节点 uuid；否则会导致多个集群之间的冲突，造成未知的错误。

#/bin/bash

# 单击版etcd安装脚本

# 本脚本,只能在本地服务器安装。

# 请确保etcd-v3.3.10-linux-amd64.tar.gz文件和当前脚本在同一目录下。

# 务必使用root用户执行此脚本!

# 确保可以直接执行python3,因为倒数第4行,有一个json格式化输出。如果不需要可以忽略

#set -e

# 输入本机ip

while true

do

    echo '请输入本机ip'

    echo 'Example: 192.168.0.1'

    echo -e "etcd server ip=\c"

    read ETCD_Server

    if [ "$ETCD_Server" == "" ];then

        echo 'No input etcd server IP'

    else

            #echo 'No input etcd server IP'

            break

    fi

done

# etcd启动服务

cat > /lib/systemd/system/etcd.service <<EOF

[Unit]

Description=etcd - highly-available key value store

Documentation=https://github.com/coreos/etcd

Documentation=man:etcd

After=network.target

Wants=network-online.target

[Service]

Environment=DAEMON_ARGS=

Environment=ETCD_NAME=%H

Environment=ETCD_DATA_DIR=/var/lib/etcd/default

EnvironmentFile=-/etc/default/%p

Type=notify

User=etcd

PermissionsStartOnly=true

#ExecStart=/bin/sh -c "GOMAXPROCS=\$(nproc) /usr/bin/etcd \$DAEMON_ARGS"

ExecStart=/usr/bin/etcd \$DAEMON_ARGS

Restart=on-abnormal

#RestartSec=10s

#LimitNOFILE=

[Install]

WantedBy=multi-user.target

Alias=etcd3.service

EOF

# 主机名

name=`hostname`

# etcd的http连接地址

initial_cluster="http://$ETCD_Server:2380"

# 判断进程是否启动

A=`ps -ef|grep /usr/bin/etcd|grep -v grep|wc -l`

if [ $A -ne  ];then

    # 杀掉进程

    killall etcd

fi 

# 删除etcd相关文件

rm -rf /var/lib/etcd/*

rm -rf /etc/default/etcd

# 设置时区

ln -snf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 判断压缩文件

if [ ! -f "etcd-v3.3.10-linux-amd64.tar.gz" ];then

    echo "当前目录etcd-v3.3.10-linux-amd64.tar.gz文件不存在"

    exit

fi

# 安装etcd

tar zxf etcd-v3.3.10-linux-amd64.tar.gz -C /tmp/

cp -f /tmp/etcd-v3.3.10-linux-amd64/etcd /usr/bin/

cp -f /tmp/etcd-v3.3.10-linux-amd64/etcdctl /usr/bin/

# etcd配置文件

cat > /etc/default/etcd <<EOF

ETCD_NAME=$name

ETCD_DATA_DIR="/var/lib/etcd/"

ETCD_LISTEN_PEER_URLS="http://$ETCD_Server:2380"

ETCD_LISTEN_CLIENT_URLS="http://$ETCD_Server:2379,http://127.0.0.1:4001"

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://$ETCD_Server:2380"

ETCD_INITIAL_CLUSTER="$ETCD_Servernitial_cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-sdn"

ETCD_ADVERTISE_CLIENT_URLS="http://$ETCD_Server:2379"

EOF

# 临时脚本,添加用户和组

cat  > /tmp/foruser <<EOF

#!/bin/bash

if [ \`cat /etc/group|grep etcd|wc -l\` -eq 0 ];then groupadd -g 217 etcd;fi

if [ \`cat /etc/passwd|grep etcd|wc -l\` -eq 0 ];then mkdir -p /var/lib/etcd && useradd -g 217 -u 111 etcd -d /var/lib/etcd/ -s /bin/false;fi

if [ \`cat /etc/profile|grep ETCDCTL_API|wc -l\` -eq 0 ];then bash -c "echo 'export ETCDCTL_API=3' >> /etc/profile" && bash -c "source /etc/profile";fi

EOF

# 执行脚本

bash /tmp/foruser

# 启动服务

systemctl daemon-reload

systemctl enable etcd.service

chown -R etcd:etcd /var/lib/etcd

systemctl restart etcd.service

#netstat -anpt | grep 2379

# 查看版本

etcdctl -v

# 访问API, -s 去掉curl的统计信息. python3 -m json.tool 表示json格式化

curl $initial_cluster/version -s | python3 -m json.tool

# 删除临时文件

rm -rf /tmp/foruser /tmp/etcd-v3.3.10-linux-amd64