网络优化工程师证厦门seo顾问屈兴东
一、概述
Kubernetes（[kubə’netis]），简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写，它是一个由Google 开源的全新的分布式容器集群管理系统。
二、准备
| IP | 角色 | 内存 |
|---|---|---|
| 192.168.1.130 | master | 4G |
| 192.168.1.131 | node | 2G |
| 192.168.1.132 | node | 2G |
说明：上述Linux环境网络适配器均为NAT模式；Linux环境搭建请参考视频教程：https://www.bilibili.com/video/BV15m4y1d7ZP/?spm_id_from=333.999.0.0
三、安装
1、共性操作
该操作要求每个节点均需执行的相同操作，包括修改hosts、时间同步、禁用firewalld、禁用selinux、禁用swap、网桥设置和安装K8s等。
a、修改hosts
命令：
# cat >> /etc/hosts << EOF
192.168.1.130 master
192.168.1.131 node1
192.168.1.132 node2
EOF
# cat /etc/hosts
如果不修改hosts文件，则node节点报如下错误：
5月 18 14:27:23 localhost.localdomain kubelet[71288]: E0518 14:27:23.915453 71288 controller.go:187] failed to update lease, error: Operation cannot be fulfilled on leases.coordination.k8s.io "localhost.localdomain": the object has been modified; please apply your changes to the latest version and try again
b、时间同步
# systemctl start chronyd && systemctl enable chronyd
# date
c、禁用firewalld
# systemctl stop firewalld && systemctl disable firewalld
如果不禁用firewalld，则出现如下警告：
[WARNING Firewalld]: firewalld is active, please ensure ports [6443 10250] are open or your cluster may not function correctly
d、禁用selinux
# setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
e、禁用swap
临时关闭, 重启失效：
# swapoff -a
永久关闭：
# swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
默认情况下，K8s为了追求高性能，不建议使用交换分区，为此它要求每个节点禁用swap，否则各个节点中的kubelet无法运行。
f、网桥设置
# cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF# sysctl --system
g、docker安装
# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# yum makecache fast
# yum -y install docker-ce
# systemctl enable docker && systemctl start docker
# docker -v
注意：yum -y install docker只能安装docker-1.13.x老版本的docker，2017年后版本有了CE（社区版本）和EE（企业版本），所以新版本使用yum -y install docker-ce
设置daemon.json：
# mkdir -p /etc/docker
# tee /etc/docker/daemon.json <<-'EOF'
{"exec-opts": ["native.cgroupdriver=systemd"],"registry-mirrors": ["https://ha65u7j9.mirror.aliyuncs.com"]
}
EOF
# systemctl daemon-reload && systemctl restart docker
在某个节点（master节点或node节点）中运行cat /var/lib/kubelet/config.yaml |grep group命令可以看出kubelet默认 cgoup 驱动为systemd，而docker 默认驱动为 cgroupfs，但K8s官网要求docker 和 kubelet 服务中的 cgroup 驱动必须一致，为此设置daemon.json时添加了"exec-opts": [“native.cgroupdriver=systemd”]配置。
g、安装K8s
①、镜像：
# cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpghttp://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# cat /etc/yum.repos.d/kubernetes.repo
②、安装：
# yum install -y kubeadm-1.23.17 kubectl-1.23.17 kubelet-1.23.17
# systemctl enable kubelet
# journalctl -xefu kubelet
说明：查看kubelet运行日志：
2、异性操作
K8s环境搭建过程中有些命令需要在不同角色的节点执行，异性操作罗列了不同角色计算机执行的命令
a、master
①、设置hostname：
# hostnamectl set-hostname master
②、初始化Kubernetes，保存该命令输出的一个join命令，该join命令需要在node角色的节点上执行
# kubeadm init \--apiserver-advertise-address=192.168.1.130 \--image-repository registry.aliyuncs.com/google_containers \--kubernetes-version v1.23.17 \--service-cidr=10.96.0.0/12 \--pod-network-cidr=10.244.0.0/16 \--ignore-preflight-errors=all
说明：
–apiserver-advertise-address #集群通告地址(master 机器IP)
–image-repository #由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
–kubernetes-version #K8s版本，与上面安装的一致
–service-cidr #集群内部虚拟网络，Pod统一访问入口
–pod-network-cidr #Pod网络，与下面部署的CNI网络组件yaml中保持一致
③、环境配置
普通用户：
# mkdir -p $HOME/.kube
# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# sudo chown $(id -u):$(id -g) $HOME/.kube/config
root用户：
# echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile
# source /etc/profile
如果不配置环境变量，则执行时提示如下错误：
# kubectl get node
The connection to the server localhost:8080 was refused - did you specify the right host or port?
④、配置flannel
flannel（[ˈflænl]）和calico（[ˈkælɪkoʊ]）都是用于k8s节点之间容器网络通信的一个k8s组件，flannel可以为不同node节点的分配不同的子网，实现容器间的跨机通信，从而实现整个kubenets层级通信。
— 下载：
# cd /opt
# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
— 上传：
# kubectl apply -f /opt/kube-flannel.yml
b、node
①、设置hostname：
# hostnamectl set-hostname noden
每个node节点都要执行上面命令，n的值和/etc/hosts 文件从节点相一致。
②、执行kubeadm join命令，该命令是master节点 初始化k8s时生成的
# kubeadm join 192.168.1.130:6443 --token 5hj7w9.kt3fnduortroodcd \--discovery-token-ca-cert-hash sha256:b6e461346caae2c96220ec38d5435d8863ded95383743105733615df74b0a496
注意：上面命令中token默认有效期为24小时，过期后可以在master节点执行kubeadm token create --print-join-command重新创建token
③、环境配置
# echo "export KUBECONFIG=/etc/kubernetes/kubelet.conf" >> /etc/profile
# source /etc/profile
3、节点状态
# kubectl get node
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 9m9s v1.23.17
node1 Ready <none> 2m29s v1.23.17
node2 Ready <none> 2m10s v1.23.17
4、问题解决
a、问题一
描述：执行kubectl get node命令时发现有些节点一致处于NotReady状态，在这些节点执行journalctl -xefu kubelet命令则提示如下错误：
5月 19 06:15:21 master kubelet[6469]: E0519 06:15:21.849698 6469 kubelet.go:2394] "Container runtime network not ready" networkReady="NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized"
5月 19 06:15:24 master kubelet[6469]: I0519 06:15:24.336305 6469 cni.go:240] "Unable to update cni config" err="no networks found in /etc/cni/net.d"
原因：故障节点没有自动生成/etc/cni/net.d/10-flannel.conflist。
方案：将正常节点上/etc/cni/net.d/10-flannel.conflist拷贝到故障节点对应目录。