文章目录
1 Kubernetes简介(k8s)2 安装实战2.1 主机安装并初始化2.2 安装docker2.3 安装Kubernetes组件2.4 准备集群镜像2.5 集群初始化2.6 安装flannel网络插件 3 部署nginx 测试3.1 创建一个nginx服务3.2 暴漏端口3.3 查看服务3.4 测试服务
1 Kubernetes简介(k8s)
传统部署:互联网早期会直接将应用程序部署在物理机上或者虚拟操作系统中,如部署到tomcat/weblogin/websphere等,这种部署方式比较简单,但是很难合理地分配计算资源,而且程序之间容易产生影响;
容器化部署:运行应用程序所需要的资源都被容器包装,并和底层基础架构解耦, 带来很多便利,但是也会出现一些问题,比如说:
一个容器故障停机了,怎么样让另外一个容器立刻启动去替补停机的容器当并发访问量变大的时候,怎么样做到横向扩展容器数量这些容器管理的问题统称为容器编排问题,为了解决这些容器编排问题,就产生了一些容器编排的软件,目前k8s的时长占有率是最高的,本文参考尚硅谷教程记录了k8s一主一从简单集群环境的搭建过程,及实践过程中遇到的问题解决办法。
这里环境搭建是通过kubeadm 部署方式,kubeadm 是官方社区推出的一个用于快速部署kubernetes 集群的工具,这个工具能通过两条指令完成一个kubernetes 集群的部署:
创建一个Master 节点kubeadm init将Node 节点加入到当前集群中$ kubeadm join <Master 节点的IP 和端口>2 安装实战
用到的主机是2台Linux系统,均内置Centos 7操作系统,准备好系统后我们在来从零开始安装docker、k8s三大组件-kubeadm/kubelet/kubectl程序。
2.1 主机安装并初始化
大家都装过CentOS虚拟机吧,默认过程不详述了,我装的是CentOS 7,安装的时候打开了网卡,因为安装过程中需要访问外网拉取镜像,硬盘设置为30GB 或更多。
这里有个坑,后面集群初始化的时候报错:the number of available CPUs 1 is less than the required 2
也就是说硬件配置必须要有2个或更多CPU,建议还是用实体机测试吧
记录系统初始化步骤之前看一个小知识点,就是使用MobaXterm工具操作Linux系统的时候,工具栏有个MultiExec工具可以同时打开多个窗口同时执行某个命令或者粘贴命令行执行,这样我们就不用反复切换三台机器执行同样的代码了,部署集群环境又简单了一步,多窗口样子如下图:
设置主机名解析
为了方便后面集群节点间的直接调用,在这配置一下主机名解析,企业中通常会有内部DNS服务器做解析。两台机器同时执行以下命令:
cat <<EOF>> /etc/hosts192.168.177.132 master192.168.177.133 node1EOF
时间同步(两台机器同时执行) kubernetes要求集群中的节点时间必须精确一致,这里有两个方案,一个是直接使用chronyd服务从网络同步时间 # 启动chronyd服务
systemctl start chronyd# 设置chronyd服务开机自启
systemctl enable chronyd# chronyd服务启动稍等几秒钟,就可以用date命令验证时间了
date
#设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai
#将当前的 UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
#重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond
kubernetes和docker在运行中会产生大量的iptables规则,为了不让系统规则跟它们混淆,直接关闭系统的规则
禁用selinux(两台机器同时执行)
selinux是linux系统下的一个安全服务,如果不关闭它,在安装集群中会产生各种奇葩问题
禁用swap分区(两台机器同时执行)
kubernetes要求每个节点都要禁用swap设备
#编辑分区配置文件/etc/fstab,注释掉swap分区一行
注意修改完毕之后需要重启linux服务
vim /etc/fstab
注释掉 /dev/mapper/centos-swap swap
#/dev/mapper/centos-swap swap
# 修改linux的内核采纳数,添加网桥过滤和地址转发功能# 编辑/etc/sysctl.d/kubernetes.conf文件,添加如下配置:net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1# 重新加载配置[root@master ~]# sysctl -p# 加载网桥过滤模块[root@master ~]# modprobe br_netfilter# 查看网桥过滤模块是否加载成功[root@master ~]# lsmod | grep br_netfilter
配置ipvs功能(两台机器同时执行) # 1.安装ipset和ipvsadm[root@master ~]# yum install ipset ipvsadmin -y# 2.添加需要加载的模块写入脚本文件[root@master ~]# cat <<EOF> /etc/sysconfig/modules/ipvs.modules#!/bin/bashmodprobe -- ip_vsmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrrmodprobe -- ip_vs_shmodprobe -- nf_conntrack_ipv4EOF# 3.为脚本添加执行权限[root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules# 4.执行脚本文件[root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules# 5.查看对应的模块是否加载成功[root@master ~]# lsmod | grep -e -ip_vs -e nf_conntrack_ipv4nf_conntrack_ipv4 15053 10 nf_defrag_ipv4 12729 1 nf_conntrack_ipv4nf_conntrack 133095 10 ip_vs,nf_nat,nf_nat_ipv4,nf_nat_ipv6,xt_conntrack,nf_nat_masquerade_ipv4,nf_nat_masquerade_ipv6,nf_conntrack_netlink,nf_conntrack_ipv4,nf_conntrack_ipv6
2.2 安装docker
(两台机器同时执行)
# 1、切换镜像源,wget命令找不到的话就 yum -y install wget[root@master ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d.docker-ce.repo# 2、查看当前镜像源中支持的docker版本,我这里报错了,需要先cd到/etc/yum.repos.d/文件夹[root@master ~]# yum list docker-ce --showduplicates# 3、安装特定版本的docker-ce# 必须制定--setopt=obsoletes=0,否则yum会自动安装更高版本[root@master ~]# yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y# 4、添加一个配置文件#Docker 在默认情况下使用Vgroup Driver为cgroupfs,而Kubernetes推荐使用systemd来替代cgroupfs[root@master ~]# mkdir /etc/docker[root@master ~]# cat <<EOF> /etc/docker/daemon.json{"exec-opts": ["native.cgroupdriver=systemd"],"registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]}EOF# 5、启动dokcer[root@master ~]# systemctl restart docker[root@master ~]# systemctl enable docker
上面我执行第2部分查看当前镜像源中支持的docker版本时报错如下,没匹配到软件包,需要cd到/etc/yum.repos.d/文件夹下面就ok了
2.3 安装Kubernetes组件
(两台机器同时执行)
# 1、由于kubernetes的镜像在国外,速度比较慢,这里切换成国内的镜像源# 2、编辑/etc/yum.repos.d/kubernetes.repo,添加下面的配置cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpgEOF[root@k8s-node1 ~]# yum makecache# 3、安装kubeadm、kubelet和kubectl[root@master ~]# yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y# 4、配置kubelet的cgroup#编辑/etc/sysconfig/kubelet, 添加下面的配置cat <<EOF > /etc/sysconfig/kubeletKUBELET_CGROUP_ARGS="--cgroup-driver=systemd"KUBE_PROXY_MODE="ipvs"EOF# 5、设置kubelet开机自启[root@master ~]# systemctl enable --now kubelet
2.4 准备集群镜像
(两台机器同时执行)
# 在安装kubernetes集群之前,必须要提前准备好集群需要的镜像,所需镜像可以通过下面命令查看[root@master ~]# kubeadm config images list# 下载镜像# 此镜像kubernetes的仓库中,由于网络原因,无法连接,下面提供了一种替换方案,直接执行images=(kube-apiserver:v1.17.4kube-controller-manager:v1.17.4kube-scheduler:v1.17.4kube-proxy:v1.17.4pause:3.1etcd:3.4.3-0coredns:1.6.5)for imageName in ${images[@]};dodocker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageNamedocker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageNamedocker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName done
2.5 集群初始化
下面的操作只需要在master节点上执行即可
# 创建集群,注意192.168.177.132是master节点的ip[root@master ~]# kubeadm init --apiserver-advertise-address=192.168.177.132 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.17.4 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16# 创建必要文件[root@master ~]# mkdir -p $HOME/.kube[root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config[root@master ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
下面的操作只需要在node节点上执行即可
#kubeadm join命令在master执行完上面的初始化后进行提示,注意保存,后面会使用该命令让node节点加入k8s集群kubeadm join 192.168.177.132:6443 --token awk15p.t6bamck54w69u4s8 \ --discovery-token-ca-cert-hash sha256:a94fa09562466d32d29523ab6cff122186f1127599fa4dcd5fa0152694f17117
此时,通过kubectl get nodes命令查看主从节点都是NotReady状态
2.6 安装flannel网络插件
只在master节点操作即可,需要下载kube-flannel.yml配置文件,外网不好下载,可以直接生成/root/kube-flannel.yml文件,内容如下:
https://github.com/flannel-io/flannel/tree/master/Documentation/kube-flannel.yml
[root@k8s-master1 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12[root@k8s-master1 ~]# docker tag registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannelv014 quay.io/coreos/flannel:v0.14.0[root@k8s-master1 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12[root@k8s-master1 ~]# docker tag registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12 rancher/flannel-cni-plugin:v1.2[root@k8s-master1 ~]# kubectl apply -f kube-flannel.yml Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+podsecuritypolicy.policy/psp.flannel.unprivileged createdclusterrole.rbac.authorization.k8s.io/flannel createdclusterrolebinding.rbac.authorization.k8s.io/flannel createdserviceaccount/flannel createdconfigmap/kube-flannel-cfg createddaemonset.apps/kube-flannel-ds created[root@k8s-master1 ~]# kubectl get nodesNAME STATUS ROLES AGE VERSIONmaster Ready control-plane,master 50m v1.22.4node1 Ready <none> 44m v1.22.4
此时,通过kubectl get nodes命令查看主从节点都是Ready状态
3 部署nginx 测试
3.1 创建一个nginx服务
[root@k8s-master1 ~]# kubectl create deployment nginx --image=nginxdeployment.apps/nginx created
3.2 暴漏端口
[root@k8s-master1 ~]# kubectl expose deployment nginx --port=80 --type=NodePortservice/nginx exposed
3.3 查看服务
[root@k8s-master1 ~]# kubectl get pod,svcNAME READY STATUS RESTARTS AGEpod/nginx-6799fc88d8-ldpw2 1/1 Running 0 31sNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEservice/kubernetes ClusterIP 172.16.0.1 <none> 443/TCP 56mservice/nginx NodePort 172.16.172.68 <none> 80:32550/TCP 14s