|
Kubernetes 集群安装 前期准备 第一步：Router软路由构建
集群安装 系统初始化 设置系统主机名以及Host文件 hostnamectl set-hostname k8s-master01 hostnamectl set-hostname k8s-node01 hostnamectl set-hostname k8s-node02安装依赖包 wget -O /etc/yum.repos.d/CentOS-Base.repo yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git设置防火墙为Iptables并设置空规则 systemctl stop firewalld && systemctl disable firewalld yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save关闭SELINUX 调整内核参数，对于K8s 必备三调参数：开启bridge网桥模式，关闭ipv6协议 cat > kubernetes.conf << EOF net.bridge.bridge-nf-call-iptables=1 net.bridge.bridge-nf-call-ip6tables=1 net.ipv4.ip_forward=1 net.ipv4.tcp_tw_recycle=0 vm.swappiness=0 # 禁止使用swap空间，只有当系统OOM时才允许使用它 vm.overcommit_memory=1 # 不检查物理内存是否够用 vm.panic_on_oom=0 # 开启OOM fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=1048576 fs.file-max=52706963 fs.nr_open=52706963 net.ipv6.conf.all.disable_ipv6=1 net.netfilter.nf_conntrack_max=2310720 EOF cp kubernetes.conf /etc/sysctl.d/kubernetes.conf sysctl -p /etc/sysctl.d/kubernetes.conf报错1：显示/proc/sys/net/bridge/bridge-nf-call-iptables：没有这个文件或者目录 modprobe br_netfilter报错2：显示sysctl: cannot stat /proc/sys/net/netfilter/nf_conntrack_max: 没有那个文件或目录 modprobe ip_conntrack调整系统时区 # 设置系统时区为 中国/上海 timedatectl set-timezone Asia/Shanghai # 将当前的UTC时间写入硬件时钟 timedatectl set-local-rtc 0 # 重启依赖于系统时间的服务 systemctl restart rsyslog systemctl restart crond关闭系统不需要的服务 systemctl stop postfix && systemctl disable postfix设置rsyslogd和systemd journald 修改系统内核为4.44 CentOS 7.x系统自带的3.10x内核存在一些Bugs，导致运行的Docker、Kubernetes不稳定。 rpm -Uvh # 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次 yum --enablerepo=elrepo-kernel install -y kernel-lt # 设置开机从新内核启动 grub2-set-default "CentOS Linux (4.4.182-1.el7.elrepo.x86_64) 7 (Core)" 检测： [root@k8s-master01 ~]# uname -r 4.4.237-1.el7.elrepo.x86_64修改DNS vim /etc/hosts 10.0.100.10 k8s-master01 10.0.100.11 k8s-node01 10.0.100.12 k8s-node02 scp /etc/hosts root@k8s-node01:/etc/hosts scp /etc/hosts root@k8s-node02:/etc/hostskube-proxy开启ipvs的前置条件 安装Docker软件 yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager \ --add-repo \ yum update -y && yum install -y docker-ce ## 创建/etc/docker目录 mkdir /etc/docker # 配置daemon cat > /etc/docker/daemon.json << EOF { "exec-opts":["native.cgroupdriver=systemd"], "log-driver":"json-file", "log-opts":{ "max-size":"100m" } } EOF # 创建存放docker的配置文件 mkdir -p /etc/systemd/system/docker.service.d # 重启docker服务 systemctl daemon-reload && systemctl restart docker && systemctl enable docker安装Kubeadm（主从配置） 初始化主节点 如果有xxr，可通过软路由配置让K8s集群机器 vim load-images.sh，因为要导入的镜像太多，直接用脚本。 #!/bin/bash # 默认会解压到/root/kubeadm-basic.imageswe文件下 tar -zxvf /root/kubeadm-basic.images.tar.gz ls /root/kubeadm-basic.images > /tmp/image-list.txt cd /root/kubeadm-basic.images for i in $( cat /tmp/image-list.txt ) do docker load -i $i done rm -rf /tmp/image-list.txt接着 # 显示默认init初始化文件打印到 yaml文件中。从而得到默认的初始化模板 kubeadm config print init-defaults > kubeadm-config.yaml vim kubeadm-config.yaml 修改为（默认的调度方式是ipvs）： advertiseAddress: 10.0.100.10 kubernetesVersion: v1.15.1 添加覆盖： networking: dnsDomain: cluster.local podSubnet: "10.244.0.0/16" serviceSubnet: 10.96.0.0/12 scheduler: {} --- apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration featureGates: SupportIPVSProxyMode: true mode: ipvs 然后 kubeadm init --config=kubeadm-config.yaml | tee kubeadm-init.log
安装完成后，还需要进行如下设置 在当前家目录下创建.kube文件，这里会保存连接配置 kubectl和kubeapi交互，采取HTTPS协议，所以需要些缓存和认证文件都会保存到.kube文件 然后拷贝管理配置文件到.kube目录下 mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config查看当前有哪些节点，kubectl get node
为什么是NotReady状态，因为k8s要求有一个扁平化网络存在，还没构建Flannel网络插件，所以还是NotReady 部署网络 kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml [root@k8s-master01 ~]# mkdir install-k8s mv kubeadm-init.log kubeadm-config.yaml install-k8s/ cd install-k8s/ mkdir core mv * core/ mkdir plugin cd plugin mkdir flannel cd flannel/ wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml kubectl create -f kube-flannel.yml 查看组件运行，发现flannel已经在运行 kubectl get pod -n kube-system 发现已经ready了 kubectl get node 原理：kubectl是命令行管理工具，get获取pod状态，-n是指定名称空间为kube-system。因为所有的系统组件都被安装在kube-system 如果不加-n指定，默认是default
加入主节点以及其余工作节点 在其余工作节点 执行主节点的安装日志中的加入命令即可（语句在安装的结尾处）
kubectl get node 查看
Centos7系统，然后安装Docker，跟上面安装docker一样 vim /etc/docker/daemon.json 为了让k8s集群信任这个自己制作的证书 每个节点，包括harbor都需要加这么一句话 "insecure-registries": ["https://hub.atguigu.com"]systemctl restart docker
docker-compose 例如，在 Linux 64 位系统上直接下载对应的二进制包。 $ sudo curl -L https://github.com/docker/compose/releases/download/1.17.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose $ sudo chmod +x /usr/local/bin/docker-compose国内源安装 curl -L https://get.daocloud.io/docker/compose/releases/download/1.24.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose
拉入docker-compose到harbor 链接：https://pan.baidu.com/s/1cE-1DWb_2JbOunOtS_J4-g 提取码：rswr mv docker-compose /usr/local/bin/ chmod a+x /usr/local/bin/docker-compose拉入harbor安装包 tar -zxvf harbor-offline-installer-v1.2.0.tgz mv harbor /usr/local/ cd /usr/local/harbor/ vim harbor.cfg 修改： hostname = hub.atguigu.com ui_url_protocol = https创建https证书以及配置相关目录 创建https证书的目录，在harbor.cfg对应 mkdir -p /data/cert cd /data/cert # 创建私钥密码 openssl genrsa -des3 -out server.key 2048 # ssl请求 # 国家名 CN # 省 GD # 组织 atguigu # 域名 hub.atguigu.com # Common Name (eg, your name or your server's hostname) []:hub.atguigu.com openssl req -new -key server.key -out server.csr # 备份私钥 cp server.key server.key.org # 转换成证书，让私钥的密码退掉，因为docker启动时私钥的证书有密码，会启动不成功 openssl rsa -in server.key.org -out server.key # 证书签名 openssl x509 -req -days 365 -in server.csr -signkey server.key -out server.crt # 证书赋予权限 chmod -R 777 /data/cert
运行install脚本 每个节点 echo "10.0.100.13 hub.atguigu.com" >> /etc/hosts harbor目录下 ./install.sh
（1）联网问题，修改主机名为 hub.atguigu.com ERROR: for harbor-ui UnixHTTPConnectionPool(host='localhost', port=None): Read timed out. (read timeout=70) ERROR: for ui UnixHTTPConnectionPool(host='localhost', port=None): Read timed out. (read timeout=70) ERROR: An HTTP request took too long to complete. Retry with --verbose to obtain debug information. If you encounter this issue regularly because of slow network conditions, consider setting COMPOSE_HTTP_TIMEOUT to a higher value (current value: 60).解决：hostnamectl set-hostname hub.atguigu.com （2）has active endpoints ERROR: error while removing network: network harbor_harbor id 91ec97d7a1f661e4d687b7d69c3060144de77df113f0205590f07fb39843f44b has active endpoints解决 docker network inspect harbor_harbor //断开网络，这里有两个Name参数 ，分别是上面标记的参数一和参数二 docker network disconnect -f harbor_harbor harbor-ui //然后执行 docker-compose up -d再次执行install.sh （3）Timed out ERROR: for jobservice UnixHTTPConnectionPool(host='localhost', port=None): Read timed out. (read timeout=60) ERROR: An HTTP request took too long to complete. Retry with --verbose to obtain debug information. If you encounter this issue regularly because of slow network conditions, consider setting COMPOSE_HTTP_TIMEOUT to a higher value (current value: 60).解决 解决思路：把 COMPOSE_HTTP_TIMEOUT 的值调大，并转为环境变量即可。 解决步骤： 先进入/etc/profile配置文件，执行命令： vi /etc/profile 然后在尾部添加上下面代码： export COMPOSE_HTTP_TIMEOUT=500 export DOCKER_CLIENT_TIMEOUT=500 接着使/etc/profile配置文件生效，执行命令： source /etc/profile 最后重新执行命令 docker-compose up 即可。（4）容器重新建 ERROR: for 30a708d1ccb1_harbor-ui b'You cannot remove a running container 30a708d1ccb166cb63885c4aa66e73a4b1c0e5b815185d990eb5190e16463da7. Stop the container before attempting removal or force remove' ERROR: for ui b'You cannot remove a running container 30a708d1ccb166cb63885c4aa66e73a4b1c0e5b815185d990eb5190e16463da7. Stop the container before attempting removal or force remove' ERROR: Encountered errors while bringing up the project.解决 删除不掉容器文件占用，其实是网络问题。 解决办法如下 1、docker stop 容器ID\容器名 先暂停 2、docker network disconnect --force bridge 容器ID\容器名 清除网络 3、docker rm -f 容器ID\容器名 再强制删除最终成功，各种报错，一步步终于好了！！！
W10真实主机 在/usr/local/harbor/harbor.cfg文件中
检测k8s是否能利用到harbor仓库，那在k8s利用之前，docker要能先利用到 1、node01上检测docker 重新打标签，因为推送镜像必须要命名成hub.atguigu.com
完整过程
2、测试k8s集群是否可用，与镜像仓库连接情况
k8s-master01执行： 暴露端口80和docker的80是不一样的，不写也可以访问的，因为是扁平化网络 kubectl run nginx-deployment --image=hub.atguigu.com/library/myapp:v1 --port=80 --replicas=1 kubectl get deployment kubectl get rs kubectl get pod kubectl get pod -o wide
然后到node01查看是否有nginx的
如果master想访问node01的话，直接curl IP，因为是扁平化网络
这样一来私有仓库连接成功。减轻外网网络资源压力 3、harbor仓库查看，镜像下载次数1
kubectl get pod 获取pod
因为在之前kubectl run的时候已经指明了副本replicas=1，会保持为1
kubectl get svc
curl访问测试，是一个轮询的机制
ipvsadm -Ln | grep 10.105.236.174
kubectl get pod -pod -o wide
发现SVC机制就是调度LVS模块实现负载均衡，这个是内部地址。 如果外部想访问怎么办？修改类型
kubectl get svc
netstat -anpt | grep 30000
10.0.100.10:32651
终于大功告成！！！！！！！！！！ (责任编辑：) |
