1.《DevOps》系列K8S部署CICD流水线之部署K8S集群~version1.28.2

架构

服务器IP	服务名称	硬件配置
192.168.1.100	k8s-master	8核、16G、120G
192.168.1.101	k8s-node1	8核、16G、120G
192.168.1.102	k8s-node2	8核、16G、120G
192.168.1.103	nfs	2核、4G、500G

操作系统：Rocky9.3

后续通过K8S部署GitLab、Harbor、Jenkins

一、环境准备

关闭firewalld、selinux、swap

（三台K8S集群服务器同时操作）

#关闭防火墙开机自启

systemctl disable firewalld

#关闭防火墙服务

systemctl stop firewalld

#临时SELINUX

setenforce 0

#修改SELINUX配置文件，以免下次重启系统开启SELINUX

sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

#临时关闭内存交换

swapoff -a

#修改fstab配置文件，以免下次重启系统开启swap

sed -i '/\sswap\s/s/^/#/' /etc/fstab

设置主机名称

（三台K8S集群服务器同时操作）

修改主机名称
hostnamectl set-hostname 主机名称

写入hosts配置
cat >> /etc/hosts <<EOF
192.168.1.100 k8s-master
192.168.1.101 k8s-node1
192.168.1.102 k8s-node2
EOF

将桥接的ipv4流量传递到iptables链

（三台K8S集群服务器同时操作）

#生成bridge相关内核参数

modprobe br_netfilter

#写入k8s.conf 配置

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

#生效

sysctl --system

#打开端口转发

echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf

#刷新

sysctl -p

同步时间

（三台K8S集群服务器同时操作）

yum install -y chrony

systemctl start chronyd

systemctl enable chronyd

timedatectl set-timezone Asia/Shanghai

二、部署containerd

K8S的1.24版本后续移除了dockershim，k8s绕过docker，直接调用containerd，所以本次部署不用docker，选择部署containerd

（三台K8S集群服务器同时操作）

#先安装yum-utils工具
yum install -y yum-utils

#配置Docker官方的yum仓库，如果做过，可以跳过
yum-config-manager \
--add-repo \
https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

#安装containerd
yum install containerd.io -y

#启动服务
systemctl enable containerd
systemctl start containerd

生成默认配置
containerd config default > /etc/containerd/config.toml

修改配置
sed -i 's@sandbox_image = "registry.k8s.io/pause:3.8"@sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.8"@' /etc/containerd/config.toml

#改为阿里云镜像地址

sed -i 's@SystemdCgroup = false@SystemdCgroup = true@' /etc/containerd/config.toml

#重启containerd服务

systemctl restart containerd

三、配置kubernetes仓库

（三台K8S集群服务器同时操作）

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

四、安装kubeadm和kubelet

（三台K8S集群服务器同时操作）

#查看所有版本
yum --showduplicates list kubeadm

#安装1.28.2版本
yum install -y kubelet-1.28.2 kubeadm-1.28.2 kubectl-1.28.2

#启动kubelet服务
systemctl start kubelet.service
systemctl enable kubelet.service

五、设置crictl连接 containerd

（三台K8S集群服务器同时操作）

crictl config --set runtime-endpoint=unix:///run/containerd/containerd.sock

六、集群初始化

#Master执行初始化

一定要在master机子上操作以下命令！！！

一定要在master机子上操作以下命令！！！

一定要在master机子上操作以下命令！！！

kubeadm init --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers --apiserver-advertise-address=192.168.1.100 --kubernetes-version=v1.28.2 --service-cidr=10.15.0.0/16 --pod-network-cidr=10.18.0.0/16

提示：输入命令后初始化比较久，该过程会下载相关东西，保证网络通畅

然后初始化完成后，你会看到token，跟下面类似的，先复制保存

kubeadm join 192.168.1.100:6443 --token 2a6go4.u2fxys0a208s8brv \
--discovery-token-ca-cert-hash sha256:4f5c4fef972b51fa34735675ee87fa52c5c1855f03e60f33009e8919e5e9ef40

#配置权限（不然无法使用kubectl命令操作K8S集群）
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

#node节点加入master

在两台node节点服务器上输入刚刚master初始化后得到的token

kubeadm join 192.168.1.100:6443 --token 2a6go4.u2fxys0a208s8brv \
--discovery-token-ca-cert-hash sha256:4f5c4fef972b51fa34735675ee87fa52c5c1855f03e60f33009e8919e5e9ef40

然后在master上等待一会再执行查询命令，观察节点是否加入
kubectl get node
kubectl get pod --all-namespaces

成功后会出现node信息
[root@k8s-master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
k8s-master NotReady control-plane 2d18h v1.28.2
k8s-node1 NotReady <none> 2d18h v1.28.2
k8s-node2 NotReady <none> 2d18h v1.28.2

七、配置代理镜像

因为默认的dockerhub地址被屏蔽导致镜像无法拉取，则需要在/etc/containerd/config.toml文件下进行配置代理镜像解决网络问题，如果能科学上网则不用配置代理镜像

#修改配置文件

vim /etc/containerd/config.toml
找到下面这一行mirrors
[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
后插入下面这两行
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint=["docker.1panel.live"]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."registry.k8s.io"]
endpoint=["docker.1panel.live"]

保存后需要重启containerd

systemctl restart ontainerd

注意：docker.1panel.live代理地址不知道什么时候会出现无法使用，如果配置后还是无法下载镜像，自行去网上寻找新的镜像或者科学上网

也可以在别的拉取镜像的机器打包成镜像tar压缩包，分别在node上通过以下命令进行上传镜像

ctr -n k8s.io image import 镜像压缩包名称镜像名称:v版本号

八、安装calico网络

master节点上操作

curl https://raw.githubusercontent.com/projectcalico/calico/v3.25.0/manifests/calico.yaml -O

下载完后还需要修改⾥⾯定义 Pod ⽹络（CALICO_IPV4POOL_CIDR），与前⾯ kubeadm init 的 --podnetwork-cidr 指定的⼀样

vim calico.yaml
# - name: CALICO_IPV4POOL_CIDR
# value: "192.168.0.0/16"
# 修改为：
- name: CALICO_IPV4POOL_CIDR
value: "10.18.0.0/16"

部署
kubectl apply -f calico.yaml

查看
kubectl get pod -A

如果calico相关的pod都进入Running状态，则查看node信息

kubectl get pod

[root@k8s-master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
k8s-master Ready control-plane 2d18h v1.28.2
k8s-node1 Ready <none> 2d18h v1.28.2
k8s-node2 Ready <none> 2d18h v1.28.2

则calico安装成功