轻课堂首页

播放记录

Kubernetes学习笔记-手动搭建k8s-1.10.4之部署高可用组件

博客 > 术业专攻> 云计算> kubernetes> Kubernetes学习笔记-手动搭建k8s-1.10.4之部署高可用组件 2019年08月29日 11:24:37

本文档讲解使用 keepalived 和 haproxy 实现 kube-apiserver 高可用的步骤：

  • keepalived 提供 kube-apiserver 对外服务的 VIP；
  • haproxy 监听 VIP，后端连接所有 kube-apiserver 实例，提供健康检查和负载均衡功能；

运行 keepalived 和 haproxy 的节点称为 LB 节点。由于 keepalived 是一主多备运行模式，故至少两个 LB 节点。

本文档复用 master 节点的三台机器，haproxy 监听的端口(8443) 需要与 kube-apiserver 的端口 6443 不同，避免冲突。

keepalived 在运行过程中周期检查本机的 haproxy 进程状态，如果检测到 haproxy 进程异常，则触发重新选主的过程，VIP 将飘移到新选出来的主节点，从而实现 VIP 的高可用。

所有组件（如 kubeclt、apiserver、controller-manager、scheduler 等）都通过 VIP 和 haproxy 监听的 8443 端口访问 kube-apiserver 服务。

1，安装软件包

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh root@${node_ip} "yum install -y keepalived haproxy"
done
EOF

2，配置和下发 haproxy 配置文件

haproxy 配置文件：

cat > haproxy.cfg <

注意更改其中的ip与自己的一致。

  • haproxy 在 10080 端口输出 status 信息；
  • haproxy 监听所有接口的 8443 端口，该端口与环境变量 ${KUBE_APISERVER} 指定的端口必须一致；
  • server 字段列出所有 kube-apiserver 监听的 IP 和端口；

下发 haproxy.cfg 到所有 master 节点：

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    scp haproxy.cfg root@${node_ip}:/etc/haproxy
done
EOF

3，起 haproxy 服务

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh root@${node_ip} "systemctl restart haproxy"
done
EOF

4，检查 haproxy 服务状态

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh root@${node_ip} "systemctl status haproxy|grep Active"
done
EOF

如果看到如下输出：

$bash magic.sh
>>> 192.168.106.3
   Active: active (running) since Fri 2018-11-23 17:45:33 CST; 6h ago
>>> 192.168.106.4
   Active: active (running) since Fri 2018-11-23 17:45:33 CST; 6h ago
>>> 192.168.106.5
   Active: active (running) since Fri 2018-11-23 17:45:34 CST; 6h ago

则说明正常，如果失败，用如下命令检查：

journalctl -xu haproxy

检查 haproxy 是否监听 8443 端口：

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh root@${node_ip} "netstat -lnpt|grep haproxy"
done
EOF

输出：

$bash magic.sh
>>> 192.168.106.3
tcp        0      0 0.0.0.0:8443            0.0.0.0:*               LISTEN      12672/haproxy
tcp        0      0 0.0.0.0:10080           0.0.0.0:*               LISTEN      12672/haproxy
>>> 192.168.106.4
tcp        0      0 0.0.0.0:8443            0.0.0.0:*               LISTEN      10172/haproxy
tcp        0      0 0.0.0.0:10080           0.0.0.0:*               LISTEN      10172/haproxy
>>> 192.168.106.5
tcp        0      0 0.0.0.0:8443            0.0.0.0:*               LISTEN      10333/haproxy
tcp        0      0 0.0.0.0:10080           0.0.0.0:*               LISTEN      10333/haproxy

5，配置和下发 keepalived 配置文件

keepalived 是一主（master）多备（backup）运行模式，故有两种类型的配置文件。master 配置文件只有一份，backup 配置文件视节点数目而定，对于本文档而言，规划如下：

  • master: 192.168.106.3
  • backup：192.168.106.4，192.168.106.5

master 配置文件：

$source /opt/k8s/bin/environment.sh

$cat  > keepalived-master.conf <
  • VIP 所在的接口（interface ${VIP_IF}）为 eth0；
  • 使用 killall -0 haproxy 命令检查所在节点的 haproxy 进程是否正常。如果异常则将权重减少（-30）,从而触发重新选主过程；
  • router_id、virtual_router_id 用于标识属于该 HA 的 keepalived 实例，如果有多套 keepalived HA，则必须各不相同；

backup 配置文件：

$source /opt/k8s/bin/environment.sh

$cat  > keepalived-backup.conf <
  • VIP 所在的接口（interface ${VIP_IF}）为 eth0；
  • 使用 killall -0 haproxy 命令检查所在节点的 haproxy 进程是否正常。如果异常则将权重减少（-30）,从而触发重新选主过程；
  • router_id、virtual_router_id 用于标识属于该 HA 的 keepalived 实例，如果有多套 keepalived HA，则必须各不相同；
  • priority 的值必须小于 master 的值；

6，下发 keepalived 配置文件

下发 master 配置文件：

scp keepalived-master.conf root@kube-node1:/etc/keepalived/keepalived.conf

下发 backup 配置文件：

scp keepalived-backup.conf root@kube-node2:/etc/keepalived/keepalived.conf
scp keepalived-backup.conf root@kube-node3:/etc/keepalived/keepalived.conf

7，起 keepalived 服务

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh root@${node_ip} "systemctl restart keepalived"
done
EOF

8，检查 keepalived 服务

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh root@${node_ip} "systemctl status keepalived|grep Active"
done
EOF

输出如下：

$bash magic.sh
>>> 192.168.106.3
   Active: active (running) since Fri 2018-11-23 17:51:56 CST; 6h ago
>>> 192.168.106.4
   Active: active (running) since Fri 2018-11-23 17:51:57 CST; 6h ago
>>> 192.168.106.5
   Active: active (running) since Fri 2018-11-23 17:51:57 CST; 6h ago

则正常，如果失败，则检查日志：

journalctl -xu keepalived

查看 VIP 所在的节点，确保可以 ping 通 VIP：

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh ${node_ip} "/usr/sbin/ip addr show ${VIP_IF}"
    ssh ${node_ip} "ping -c 1 ${MASTER_VIP}"
done
EOF

可以看到VIP目前在kube-node1节点上，而且各个节点也都是通的。

9，查看 haproxy 状态页面

浏览器访问 ${MASTER_VIP}:10080/status 地址，查看 haproxy 状态页面：

用户名密码就在刚刚定义的haproxy的配置当中。

转载：http://www.eryajf.net/2197.html
互联网 游戏分享 建站/维护 思科网络 SEO SEO问答 SEO算法 SEO诊断案例 吉他谱 其他 计算机技术 软件/应用 网络推广 站内事务 智商税 k8s Jenkins kubernetes 系统优化 docker 迎刃而解 nginx rancher Git nexus elk 消息队列 tomcat 云计算 shell maven kvm zabbix prometheus MySQL 镜像 kibana 进程管理 systemd Mac 阿里云 Windows Android redis pinpoint supervisor sonar rsyslog filebeat 微服务 lnmp vscode golang CentOS7

友情链接:

© 2018 www.qingketang.net 鄂ICP备18027844号-1

武汉快勤科技有限公司 13554402156 武汉市东湖新技术开发区关山二路特一号国际企业中心6幢4层7号