轻课堂首页

播放记录

Kubernetes学习笔记-手动搭建k8s-1.10.4之部署kube-proxy组件

博客 > 术业专攻> 云计算> kubernetes> Kubernetes学习笔记-手动搭建k8s-1.10.4之部署kube-proxy组件 2019年08月29日 11:24:19

kube-proxy 运行在所有 worker 节点上，，它监听 apiserver 中 service 和 Endpoint 的变化情况，创建路由规则来进行服务负载均衡。

本文档讲解部署 kube-proxy 的部署，使用 ipvs 模式。

1，创建 kube-proxy 证书

创建证书签名请求：

cat > kube-proxy-csr.json <
  • CN：指定该证书的 User 为 system:kube-proxy；
  • 预定义的 RoleBinding system:node-proxier 将User system:kube-proxy 与 Role system:node-proxier 绑定，该 Role 授予了调用 kube-apiserver Proxy 相关 API 的权限；
  • 该证书只会被 kube-proxy 当做 client 证书使用，所以 hosts 字段为空；

生成证书和私钥：

$cfssl gencert -ca=/etc/kubernetes/cert/ca.pem \
  -ca-key=/etc/kubernetes/cert/ca-key.pem \
  -config=/etc/kubernetes/cert/ca-config.json \
  -profile=kubernetes  kube-proxy-csr.json | cfssljson -bare kube-proxy

2，创建和分发 kubeconfig 文件

source /opt/k8s/bin/environment.sh
kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/cert/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy \
  --client-certificate=kube-proxy.pem \
  --client-key=kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig
  • --embed-certs=true：将 ca.pem 和 admin.pem 证书内容嵌入到生成的 kubectl-proxy.kubeconfig 文件中(不加时，写入的是证书文件路径)；

分发 kubeconfig 文件：

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh
for node_name in ${NODE_NAMES[@]}
do
    echo ">>> ${node_name}"
    scp kube-proxy.kubeconfig k8s@${node_name}:/etc/kubernetes/
done
EOF

3，创建 kube-proxy 配置文件

从 v1.10 开始，kube-proxy 部分参数可以配置文件中配置。可以使用 –write-config-to 选项生成该配置文件，或者参考 kubeproxyconfig 的类型定义源文件 ：https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/apis/kubeproxyconfig/types.go

创建 kube-proxy config 文件模板：

cat >kube-proxy.config.yaml.template <
  • bindAddress: 监听地址；
  • clientConnection.kubeconfig: 连接 apiserver 的 kubeconfig 文件；
  • clusterCIDR: kube-proxy 根据 --cluster-cidr 判断集群内部和外部流量，指定 --cluster-cidr 或 --masquerade-all 选项后 kube-proxy 才会对访问 Service IP 的请求做 SNAT；
  • hostnameOverride: 参数值必须与 kubelet 的值一致，否则 kube-proxy 启动后会找不到该 Node，从而不会创建任何 ipvs 规则；
  • mode: 使用 ipvs 模式；

为各节点创建和分发 kube-proxy 配置文件：

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh
for (( i=0; i < 3; i++ ))
do 
    echo ">>> ${NODE_NAMES[i]}"
    sed -e "s/##NODE_NAME##/${NODE_NAMES[i]}/" -e "s/##NODE_IP##/${NODE_IPS[i]}/" kube-proxy.config.yaml.template > kube-proxy-${NODE_NAMES[i]}.config.yaml
    scp kube-proxy-${NODE_NAMES[i]}.config.yaml root@${NODE_NAMES[i]}:/etc/kubernetes/kube-proxy.config.yaml
done
EOF

4，创建和分发 kube-proxy systemd unit 文件

$source /opt/k8s/bin/environment.sh

$cat > kube-proxy.service <

分发 kube-proxy systemd unit 文件：

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh
for node_name in ${NODE_NAMES[@]}
do 
    echo ">>> ${node_name}"
    scp kube-proxy.service root@${node_name}:/etc/systemd/system/
done
EOF

5，启动 kube-proxy 服务

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh root@${node_ip} "mkdir -p /var/lib/kube-proxy"
    ssh root@${node_ip} "mkdir -p /var/log/kubernetes && chown -R k8s /var/log/kubernetes"
    ssh root@${node_ip} "systemctl daemon-reload && systemctl enable kube-proxy && systemctl start kube-proxy"
done
EOF

6，检查启动结果

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh k8s@${node_ip} "systemctl status kube-proxy|grep Active"
done
EOF

如果输出如下：

$bash magic.sh
>>> 192.168.106.3
   Active: active (running) since Fri 2018-11-23 19:39:28 CST; 6h ago
>>> 192.168.106.4
   Active: active (running) since Fri 2018-11-23 19:39:28 CST; 6h ago
>>> 192.168.106.5
   Active: active (running) since Fri 2018-11-23 19:39:29 CST; 6h ago

则正常，如果启动失败，检查日志：

journalctl -xu kube-proxy

7，查看监听端口和 metrics

[k8s@kube-node1 abc]$sudo netstat -lnpt|grep kube-prox
tcp        0      0 192.168.106.3:10256     0.0.0.0:*               LISTEN      19061/kube-proxy
tcp        0      0 192.168.106.3:10249     0.0.0.0:*               LISTEN      19061/kube-proxy
  • 10249：http prometheus metrics port;
  • 10256：http healthz port;

8，查看 ipvs 路由规则

cat > magic.sh << "EOF"
#!/bin/bash

source /opt/k8s/bin/environment.sh

for node_ip in ${NODE_IPS[@]}
do
    echo ">>> ${node_ip}" 
    ssh root@${node_ip} "/usr/sbin/ipvsadm -ln"
done
EOF

输出：

$bash magic.sh
>>> 192.168.106.3
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.254.0.1:443 rr persistent 10800
  -> 192.168.106.3:6443         Masq    1      0          0
  -> 192.168.106.4:6443         Masq    1      0          0
  -> 192.168.106.5:6443         Masq    1      0          0
>>> 192.168.106.4
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.254.0.1:443 rr persistent 10800
  -> 192.168.106.3:6443         Masq    1      0          0
  -> 192.168.106.4:6443         Masq    1      0          0
  -> 192.168.106.5:6443         Masq    1      0          0
>>> 192.168.106.5
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.254.0.1:443 rr persistent 10800
  -> 192.168.106.3:6443         Masq    1      0          0
  -> 192.168.106.4:6443         Masq    1      0          0
  -> 192.168.106.5:6443         Masq    1      0          0

可见将所有到 kubernetes cluster ip 443 端口的请求都转发到了 kube-apiserver 的 6443 端口。

转载：http://www.eryajf.net/2211.html
互联网 游戏分享 建站/维护 思科网络 SEO SEO问答 SEO算法 SEO诊断案例 吉他谱 其他 计算机技术 软件/应用 网络推广 站内事务 智商税 k8s Jenkins kubernetes 系统优化 docker 迎刃而解 nginx rancher Git nexus elk 消息队列 tomcat 云计算 shell maven kvm zabbix prometheus MySQL 镜像 kibana 进程管理 systemd Mac 阿里云 Windows Android redis pinpoint supervisor sonar rsyslog filebeat 微服务 lnmp vscode golang CentOS7

友情链接:

© 2018 www.qingketang.net 鄂ICP备18027844号-1

武汉快勤科技有限公司 13554402156 武汉市东湖新技术开发区关山二路特一号国际企业中心6幢4层7号