• User：指定以 k8s 账户运行；
• WorkingDirectory、--data-dir：指定工作目录和数据目录为 /var/lib/etcd，需在启动服务前创建这个目录；
• --name：指定节点名称，当 –initial-cluster-state 值为 new 时，–name 的参数值必须位于 –initial-cluster 列表中；
• --cert-file、--key-file：etcd server 与 client 通信时使用的证书和私钥；
• --trusted-ca-file：签名 client 证书的 CA 证书，用于验证 client 证书；
• --peer-cert-file、--peer-key-file：etcd 与 peer 通信使用的证书和私钥；
• --peer-trusted-ca-file：签名 peer 证书的 CA 证书，用于验证 peer 证书；

4，将刚刚的文件初始化成节点可用

替换模板文件中的变量，为各节点创建 systemd unit 文件：

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for (( i=0; i < 3; i++ ))
do
    sed -e "s/##NODE_NAME##/${NODE_NAMES[i]}/" -e "s/##NODE_IP##/${NODE_IPS[i]}/" etcd.service.template > etcd-${NODE_IPS[i]}.service 
done
EOF

$bash magic.sh
$ls *.service
etcd-192.168.106.3.service  etcd-192.168.106.4.service  etcd-192.168.106.5.service

• NODE_NAMES 和 NODE_IPS 为相同长度的 bash 数组，分别为节点名称和对应的 IP；

分发生成的 systemd unit 文件：

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "mkdir -p /var/lib/etcd && chown -R k8s /var/lib/etcd" 
    scp etcd-${node_ip}.service root@${node_ip}:/etc/systemd/system/etcd.service
done
EOF

• 如果前边没有 etcd 数据目录和工作目录，这里需要先创建。
• 文件重命名为 etcd.service。

5，启动 etcd 服务

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh root@${node_ip} "systemctl daemon-reload && systemctl enable etcd && systemctl start etcd &"
done
EOF

• etcd 进程首次启动时会等待其它节点的 etcd 加入集群，命令 systemctl start etcd 会卡住一段时间，为正常现象。

6，检查启动结果

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh k8s@${node_ip} "systemctl status etcd|grep Active"
done
EOF

结果如下，则说明正常：

$bash magic.sh
>>> 192.168.106.3
   Active: active (running) since Fri 2018-11-23 16:56:13 CST; 6h ago
>>> 192.168.106.4
   Active: active (running) since Fri 2018-11-23 16:56:13 CST; 6h ago
>>> 192.168.106.5
   Active: active (running) since Fri 2018-11-23 16:56:20 CST; 6h ago

否则查看日志，确认原因：

$ journalctl -xu etcd

7，验证服务状态

部署完 etcd 集群后，在任一 etc 节点上执行如下命令：

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ETCDCTL_API=3 /opt/k8s/bin/etcdctl \
    --endpoints=https://${node_ip}:2379 \
    --cacert=/etc/kubernetes/cert/ca.pem \
    --cert=/etc/etcd/cert/etcd.pem \
    --key=/etc/etcd/cert/etcd-key.pem endpoint health
done
EOF

结果如下，则说明正常：

$bash magic.sh
>>> 192.168.106.3
https://192.168.106.3:2379 is healthy: successfully committed proposal: took = 1.899188ms
>>> 192.168.106.4
https://192.168.106.4:2379 is healthy: successfully committed proposal: took = 1.653305ms
>>> 192.168.106.5
https://192.168.106.5:2379 is healthy: successfully committed proposal: took = 1.811279ms

输出均为 healthy 时表示集群服务正常。