K8S 部署 Rancher 2.X 版本

xingyuzhe 2020-05-12

Rancher 介绍

Rancher是一套容器管理平台,它可以帮助组织在生产环境中轻松快捷的部署和管理容器。 Rancher可以轻松地管理各种环境的Kubernetes,满足IT需求并为DevOps团队提供支持。
Kubernetes不仅已经成为的容器编排标准,它也正在迅速成为各类云和虚拟化厂商提供的标准基础架构。Rancher用户可以选择使用Rancher Kubernetes Engine(RKE)创建Kubernetes集群,也可以使用GKE,AKS和EKS等云Kubernetes服务。 Rancher用户还可以导入和管理现有的Kubernetes集群。
Rancher支持各类集中式身份验证系统来管理Kubernetes集群。例如,大型企业的员工可以使用其公司Active Directory凭证访问GKE中的Kubernetes集群。IT管理员可以在用户,组,项目,集群和云中设置访问控制和安全策略。 IT管理员可以在单个页面对所有Kubernetes集群的健康状况和容量进行监控。
Rancher为DevOps工程师提供了一个直观的用户界面来管理他们的服务容器,用户不需要深入了解Kubernetes概念就可以开始使用Rancher。 Rancher包含应用商店,支持一键式部署Helm和Compose模板。Rancher通过各种云、本地生态系统产品认证,其中包括安全工具,监控系统,容器仓库以及存储和网络驱动程序。下图说明了Rancher在IT和DevOps组织中扮演的角色。每个团队都会在他们选择的公共云或私有云上部署应用程序。

K8S 部署 Rancher 2.X 版本

Helm 简介

Helm是一种简化Kubernetes应用程序安装和管理的工具。可以把它想象成apt/yum/homebrew。
Helm有两部分:client(helm)和server(tiller)
,Tiller在您的Kubernetes集群内部运行,并管理chart的发布(安装)。
Helm可在您的笔记本电脑,或在任何位置运行。
chart是包含至少两件事的Helm包:
包的描述(Chart.yaml)
一个或多个模板,包含Kubernetes清单文件
chart可以存储在磁盘上,也可以从远程chart存储库(如Debian或RedHat包)中获取.

RKE介绍

RKE是一个用Golang编写的Kubernetes安装程序,极为简单易用,用户不再需要做大量的准备工作,即可拥有闪电般快速的Kubernetes安装部署体验。

部署环境

主机名IP地址角色配置
master192.168.1.4主节点2C/4G
node01192.168.1.6工作节点12C/2G
node02192.168.1.7工作节点2C/2G

安装方法:

1.直接docker pull镜像,适合实验环境,不适合线上环境,可参考https://docs.rancher.cn/rancher2x/quick-start.html
2.使用k8s群集部署,官网推荐线上环境,本文使用就是这种办法,参考官网教程 https://docs.rancher.cn/rancher2x/

部署过程

---------------------------在3台服务器都要操作---------------------------------------

一、Docker 安装部署

参考博客 https://blog.51cto.com/13760351/2488508

二、用户设置

1.创建用户zhangsan,设置密码

useradd zhangsan
psswd zhangsan
vim /etc/sudoers

插入:
zhangsan        ALL=(ALL)       ALL

2.添加用户到docker组

usermod -aG docker zhangsan

三、配置ssh免密登陆

1.生成ssh key

su zhangsan
ssh-keygen

2.将ssh公钥发送到三台机器上

ssh-copy-id -i .ssh/id_rsa.pub
ssh-copy-id -i .ssh/id_rsa.pub
ssh-copy-id -i .ssh/id_rsa.pub

K8S 部署 Rancher 2.X 版本

3.验证

ssh
ssh
ssh

K8S 部署 Rancher 2.X 版本

**--------------------在master服务器上面-------------------------**

四、RKE创建K8s集群

1.下载 kubectl,rke,helm并上传到master

下载地址: https://docs.rancher.cn/rancher2x/install-prepare/download/
cd /home/zhangsan #进入用户目录
sudo mv linux-amd64-v1.18.2-kubectl kubectl #重命名
sudo mv v1.1.1-rke_linux-amd64 rke
sudo chmod +x rke kubectl #授权
sudo cp kubectl rke /usr/bin

2.安装helm

tar xvf helm-v3.0.3-linux-amd64.tar.gz
sudo cp linux-amd64/helm /usr/bin/

3.创建 rancher-cluster.yml

vim rancher-cluster.yml

nodes:
           - address: 192.168.1.4
             user: zhangsan
             role: [controlplane, worker, etcd]
           - address: 192.168.1.6
             user: zhangsan
             role: [controlplane, worker, etcd]
           - address: 192.168.1.7
             user: zhangsan
             role: [controlplane, worker, etcd]

 services:
  etcd:
   snapshot: true
   creation: 6h
   retention: 24h

4.使用rke创建集群

这里采用rke安装k8s
./rke up --config ./rancher-cluster.yml

K8S 部署 Rancher 2.X 版本

如果出现以下报错:
K8S 部署 Rancher 2.X 版本

不要慌,再执行一遍就可以了

./rke up --config ./rancher-cluster.yml

5.查看所有的节点状态

sudo mkdir $HOME/.kube/
sudo cp kube_config_rancher-cluster.yml $HOME/.kube/config
kubectl --kubeconfig=kube_config_rancher-cluster.yml get nodes
kubectl --kubeconfig=kube_config_rancher-cluster.yml get pods --all-namespaces

五、安装 ssl证书

1.编写一键生成证书脚本

vim cert.sh

#!/bin/bash -e

help ()
{
    echo  ‘ ================================================================ ‘
    echo  ‘ --ssl-domain: 生成ssl证书需要的主域名,如不指定则默认为localhost,如果是ip访问服务,则可忽略;‘
    echo  ‘ --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求,有时候需要使用ip去访问server,那么需要给ssl证书添加扩展IP,多个IP用逗号隔开;‘
    echo  ‘ --ssl-trusted-domain: 如果想多个域名访问,则添加扩展域名(SSL_TRUSTED_DOMAIN),多个扩展域名用逗号隔开;‘
    echo  ‘ --ssl-size: ssl加密位数,默认2048;‘
    echo  ‘ --ssl-date: ssl有效期,默认10年;‘
    echo  ‘ --ca-date: ca有效期,默认10年;‘
    echo  ‘ --ssl-cn: 国家代码(2个字母的代号),默认CN;‘
    echo  ‘ 使用示例:‘
    echo  ‘ ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ ‘
    echo  ‘ --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650‘
    echo  ‘ ================================================================‘
}

case "$1" in
    -h|--help) help; exit;;
esac

if [[ $1 == ‘‘ ]];then
    help;
    exit;
fi

CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" ‘{print $1}‘ )
    value=$(echo ${OPTS} | awk -F"=" ‘{print $2}‘ )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done

#CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=localhost

#ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-localhost}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}

##国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}

SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt

echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"

if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 发现已存在CA私钥,备份"${CA_KEY}"为"${CA_KEY}"-bak,然后重新创建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi

if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 发现已存在CA证书,先备份"${CA_CERT}"为"${CA_CERT}"-bak,然后重新创建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi

echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM

if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done

    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi

echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}

echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}

echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT}     -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT}     -days ${SSL_DATE} -extensions v3_req     -extfile ${SSL_CONFIG}

echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed ‘s/^/  /‘
echo
echo "ca_cert: |"
cat $CA_CERT | sed ‘s/^/  /‘
echo
echo "ssl_key: |"
cat $SSL_KEY | sed ‘s/^/  /‘
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed ‘s/^/  /‘
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed ‘s/^/  /‘
echo

echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed ‘s/^/  /‘
echo

echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

2.生成证书文件

sudo chmod +x cert.sh
./cert.sh --ssl-domain=rancher.sigs.applysquare.net --ssl-size=2048 --ssl-date=3650

3.创建命名空间

kubectl create namespace cattle-system

4.服务证书和私钥密文

kubectl -n cattle-system create \
secret tls tls-rancher-ingress \
--cert=./tls.crt \
--key=./tls.key

K8S 部署 Rancher 2.X 版本

5.ca证书密文

kubectl -n cattle-system create secret \
generic tls-ca \
--from-file=./cacerts.pem

注意:

证书、私钥、ca名称必须是tls.crt、tls.key、cacerts.pem

六、Helm安装Rancher

1.添加Chart仓库地址

helm repo add rancher-stable https://releases.rancher.com/server-charts/stable

2.安装rancher

helm install rancher rancher-stable/rancher \
--namespace cattle-system \
--set hostname=rancher.test.com \
--set ingress.tls.source=secret \
--set privateCA=true

K8S 部署 Rancher 2.X 版本

注意:

证书对应的域名需要与hostname选项匹配,否则ingress将无法代理访问Rancher。

3.查看pod的运行状态

kubectl --kubeconfig=kube_config_rancher-cluster.yml get pods --all-namespaces

K8S 部署 Rancher 2.X 版本

4.在各个服务器hosts文件加入(包括宿主机)

192.168.1.4 rancher.test.com

4.页面访问:https://rancher.test.com/

4.1第一次登录会要求设置管理员密码,默认管理员账号为: admin

K8S 部署 Rancher 2.X 版本
K8S 部署 Rancher 2.X 版本
K8S 部署 Rancher 2.X 版本

K8S 部署 Rancher 2.X 版本

4.2.查看群集状态

K8S 部署 Rancher 2.X 版本

4.3 如果想要导入新的K8s群集,可以这样操作:

K8S 部署 Rancher 2.X 版本

K8S 部署 Rancher 2.X 版本

K8S 部署 Rancher 2.X 版本

K8S 部署 Rancher 2.X 版本

如果访问页面发生如下报错:

K8S 部署 Rancher 2.X 版本

解决办法:

1.查看防火墙
2.查看hosts文件
3.重启docker

参考文件

1.rancher 官方文档 https://docs.rancher.cn/rancher2x/
2.rancherhttps://rancher2.docs.rancher.cn/

相关推荐