CentOS 7 上安装配置 Kubernetes 集群

毛宏斌 2019-08-06

安装和配置 Kubernetes 集群的过程是比较繁琐的，这里阐述在 Mac 上利用 virtualbox 配置 CentOS 7 上的 Kubernetes 集群的过程。

目标

我们需要搭建的 Kubernetes 集群目标和规格如下：

  • k8s 集群包含 4 个节点，一个 Master 节点， 3 个 Worker 节点
  • 主机为 Mac OS 10.14.5，所有节点的虚拟机在 VirtualBox 中实现
  • 节点的操作系统为 CentOS 7.6
  • 节点的配置为 CPU 1 核，内存 2G，硬盘 50G (动态分配)
  • 节点采用 NAT 网络，划分网段为 192.168.56.0/24
  • docker 的版本为 18.09.7
  • Kubernetes 的版本为 1.15.0
  • 由于宿主机不能与 NAT 网络直接通信，宿主机与节点采用 Host-Only 网络进行通信

4 个节点的规划如下

主机名IP 地址Host-Only IP 地址用途
k8s-node1192.168.56.11192.168.7.11master
k8s-node2192.168.56.12192.168.7.12worker
k8s-node3192.168.56.13192.168.7.13worker
k8s-node4192.168.56.14192.168.7.14worker

开始之前

请按照如下要求准备环境

安装 VirtualBox 6

本文使用 VirtualBox 6 配置虚拟机，请自行安装。

设置 NAT 网络

  1. 打开 VirtualBox, 按下快捷键 Command + ,， 或者点击菜单 VirtualBox -> 偏好设置，打开偏好设置窗口， 然后进入网络标签，点击 NAT 网络列表右侧的 添加新NAT网络 按钮，则添加了一个 NAT 网络 NatNetwork, 如下图

  2. 选中网络 NatNetwork，点击右侧的编辑NAT网络按钮，修改字段“网络 CIDR”的值为 192.168.56.0/24，然后点击 OK 按钮。如下图

现在 NAT 网络就设置好了。

设置 Host-Only 网络

  1. 点击菜单 管理 -> 主机网络管理器，进入主机网络管理器界面，点击 创建 按钮, 添加 vboxnet0 网络，如下图
  2. 切换到 网卡 标签页
    • “IPv4 地址” 修改为 192.168.7.1
    • “IPv4 网络掩码” 修改为 255.255.255.0
  3. 切换到 DHCP 服务器 标签页，选中 “启用服务器”，按如下修改字段
    • “服务器地址” 修改为 192.168.7.2
    • “服务器网络掩码” 修改为 255.255.255.0
    • “最小地址” 修改为 192.168.7.11
    • “最大地址” 修改为 192.168.7.254

这里设置最小地址为 192.168.7.11， 单纯是为了和 NAT 服务器的地址的最后一位对应上，没有其他的意义。

现在已经设置好了 Host-Only 网络

创建和配置虚拟机

下载 CentOS 7.6 镜像

请在 http://mirrors.163.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-Minimal-1810.iso 下载 CentOS 7.6 镜像

新建虚拟机节点

  1. 在 VirtualBox 中点击新建虚拟机, 名称命名成 k8s-node1，并配置成 CPU 1 核，内存 2G，硬盘 50G (动态分配)。
  2. 选择启动开始安装 centos, 启动后会让提示选择 刚刚下载的 centos 7.6 的 iso 文件。
  3. 等待完成安装。
  4. 安装完成后，进入虚拟机设置，切换到 网络 标签
    1. 启用 网卡1，“连接方式”选择 NAT 网络， “界面名称”选择 NatNetwork。
    2. 启用 网卡2，“连接方式”选择 仅主机(Host-Only)网络, “界面名称”选择 vboxnet0。

此时虚拟机已经创建完毕，宿主如果想和虚拟机通信，需要通过 Host-Only 网络的 IP 地址。

可以通过一下命令查看 Host-Only 网络的 IP 地址

ip addr

结果如下：

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 08:00:27:14:21:b0 brd ff:ff:ff:ff:ff:ff
    inet 192.168.56.11/24 brd 192.168.56.255 scope global noprefixroute enp0s3
       valid_lft forever preferred_lft forever
    inet6 fe80::7734:1bd6:9da6:5d1f/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: enp0s8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 08:00:27:1b:66:a7 brd ff:ff:ff:ff:ff:ff
    inet 192.168.7.11/24 brd 192.168.7.255 scope global noprefixroute dynamic enp0s8
       valid_lft 1153sec preferred_lft 1153sec
    inet6 fe80::5f85:8418:37a4:f428/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

则接口 enp0s8 为 Host-Only 的接口，ip 地址为 192.168.7.11 。

配置节点 1

由于以后安装的需要，这里要做一些基础的配置。

  1. 更新系统

    yum update -y

  2. 设置静态 IP

    vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

    修改的内容如下

    TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp0s3
DEVICE=enp0s3
ONBOOT=yes
IPADDR=192.168.56.11
GATEWAY=192.168.56.1
DNS1=192.168.56.1

    注意 BOOTPROTO=static 这一行是设置 IP 为静态 IP。

  3. 停止并禁用防火墙

    systemctl stop firewalld
systemctl disable firewalld

  4. 关闭 SELinux

    setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

  5. 设置主机名

    通过以下命令将本机的主机名修改为 k8s-node1

    echo k8s-node1 > /etc/hostname

    修改文件 /etc/hosts，将主机名 k8s-node1 添加到 hosts ，以便在本机能够解析。效果如下：

    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 k8s-node1
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

  6. 关闭 swap， 并取消自动挂载 /swap

    swapoff -a && sysctl -w vm.swappiness=0
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab

复制其他节点

  • 操作之前建议备份节点。
  • 此时也可以不进行节点复制，等 docker 和 kubelet, kubeadm, kubectl 的安装完成后在进行节点复制更方便。

在 VirtualBox 中复制 k8s-node1 节点为其他节点，其他节点的名称分别为 k8s-node2, k8s-node3, k8s-node4。然后分别修改各个节点的如下项：

  1. 修改节点的固定 IP
  2. 修改节点的主机名 和 hosts 文件

至此基础环境已经安装完毕，下一步进入到 docker 和 k8s 的安装。

安装 docker

此步骤要在所有的 4 个节点执行。

  1. 安装依赖项

    yum install -y yum-utils device-mapper-persistent-data lvm2 deltarpm

  2. 添加阿里云的 yum 仓库

    yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast

  3. 安装 docker

    yum install -y docker-ce docker-ce-cli containerd.io

    完成后查看 docker 版本

    docker --version

    输出结果为

    Docker version 18.09.7, build 2d0083d

    现在 docker 已经成功安装了。

  4. 修改docker 的 cgroup 驱动为 systemd ，与k8s一致

    cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF

  5. 重启 docker ，并设置为随机自启动，请输入：

    systemctl restart docker
systemctl enable docker

安装 kubelet kubeadm kubectl

此步骤要在所有的 4 个节点执行。

  1. 添加 kubernetes YUM 仓库，其中源修改为阿里云

    cat > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

  2. 安装 kubelet, kubeadm, kubectl, ipvsadm

    yum install -y kubelet kubeadm kubectl ipvsadm

  3. 设置路由

    安装路由工具包，并加载 br_netfilter 模块

    yum install -y bridge-utils.x86_64
modprobe  br_netfilte

    设置路由

    cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

    重新加载所有配置

    sysctl --system

  4. 启动并设置随机自动启动

    systemctl start kubelet
systemctl enable kubelet

配置 master 节点

执行初始化操作

执行如下命令来初始化 master 节点。

kubeadm init \
--apiserver-advertise-address=192.168.56.11 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.15.0 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.2.0.0/16 \
--service-dns-domain=cluster.local \
--ignore-preflight-errors=Swap \
--ignore-preflight-errors=NumCPU

先看一下几个重点的参数

  • --apiserver-advertise-address：指定用 Master 的 IP 地址与其他节点通信。
  • --service-cidr：指定 Service 负载均衡 VIP 使用的 IP 地址段。
  • --pod-network-cidr：指定 Pod 的 IP 地址段。
  • --image-repository：Kubenetes 默认 Registries 地址是 k8s.gcr.io，在国内并不能访问 gcr.io，通过这个参数，将其指定为阿里云镜像地址：registry.aliyuncs.com/google_containers。
  • --kubernetes-version=v1.13.3：指定要安装的版本号。
  • --ignore-preflight-errors=：忽略运行时的错误，--ignore-preflight-errors=NumCPU 和 --ignore-preflight-errors=Swap 就是忽略 CPU 内核的数的限制和 Swap 的限制。

整个过程可能会持续 5 分钟左右，整个输出的结果如下:

[init] Using Kubernetes version: v1.15.0
[preflight] Running pre-flight checks
[WARNING NumCPU]: the number of available CPUs 1 is less than the required 2
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Activating the kubelet service
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "etcd/ca" certificate and key
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [k8s-node1 localhost] and IPs [192.168.56.11 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [k8s-node1 localhost] and IPs [192.168.56.11 127.0.0.1 ::1]
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [k8s-node1 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.1.0.1 192.168.56.11]
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[kubelet-check] Initial timeout of 40s passed.
[apiclient] All control plane components are healthy after 41.503341 seconds
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.15" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --upload-certs
[mark-control-plane] Marking the node k8s-node1 as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node k8s-node1 as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: 5wf7mp.v61tv0s23ewbun1l
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.56.11:6443 --token 5wf7mp.v61tv0s23ewbun1l \
    --discovery-token-ca-cert-hash sha256:ca524d88dbcc9a79c70c4cf21fba7252c0f12e5ab0fe9674e7f6998ab9fb5901 

上面输出的最后部分提示我们连个信息： - 需要执行几个命令来在用户目录下建立配置文件 - 告诉我们其他节点加入集群的命令

准备配置文件

按照上面的执行结果中的要求，执行以下命令。

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

在配置文件中，记录了 API Server 的访问地址，所以后面直接执行 kubectl 命令就可以正常连接到 API Server 中。

使用以下命令查看组件的状态

kubectl get cs

输出结果如下

NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   

这里能够正常返回结果，说明 API server 已经正常运行

获取 Node 信息

kubectl get node

输出如下

NAME        STATUS     ROLES    AGE     VERSION
k8s-node1   NotReady   master   6m48s   v1.15.0

可以看出 k8s-node1 还是 NotReady 的状态，这是因为还未安装网络插件。现在进入网络插件的安装。

部署网络插件 canal

插件的部署通过 kubectl 命令应用 yaml 配置文件。分别运行以下两个命令。

kubectl apply -f https://docs.projectcalico.org/v3.3/getting-started/kubernetes/installation/hosted/canal/rbac.yaml

输出

clusterrole.rbac.authorization.k8s.io/calico created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/canal-flannel created
clusterrolebinding.rbac.authorization.k8s.io/canal-calico created
kubectl apply -f https://docs.projectcalico.org/v3.3/getting-started/kubernetes/installation/hosted/canal/canal.yaml

输出

configmap/canal-config created
daemonset.extensions/canal created
serviceaccount/canal created
customresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org created

运行以下查看启动的 Pod

kubectl get pods --all-namespaces

输出为

NAMESPACE     NAME                                READY   STATUS              RESTARTS   AGE
kube-system   canal-rj2fm                         0/3     ContainerCreating   0          44s
kube-system   coredns-bccdc95cf-rgtbx             0/1     Pending             0          11m
kube-system   coredns-bccdc95cf-x6j8l             0/1     Pending             0          11m
kube-system   etcd-k8s-node1                      1/1     Running             0          11m
kube-system   kube-apiserver-k8s-node1            1/1     Running             0          10m
kube-system   kube-controller-manager-k8s-node1   1/1     Running             0          10m
kube-system   kube-proxy-zcssq                    1/1     Running             0          11m
kube-system   kube-scheduler-k8s-node1            1/1     Running             0          10m

可以看出 canal 正在创建容器， 而 coredns 处于 pending 状态。 由于需要下载 canal 镜像，所以需要一些时间，等镜像下载完成后，则 coredns 的状态变温 Running 。

需要注意的是，如果出现 ErrImagePull 等错误，则可能是由于 canal 镜像由于在 google 服务器访问不到的缘故，此时需要开启 VPN 才能正常下载。

等镜像下载完成后，再次运行 kubectl get pods --all-namespaces , 则状态都正常了，如下所示：

NAMESPACE     NAME                                READY   STATUS    RESTARTS   AGE
kube-system   canal-rj2fm                         3/3     Running   0          35m
kube-system   coredns-bccdc95cf-rgtbx             1/1     Running   0          46m
kube-system   coredns-bccdc95cf-x6j8l             1/1     Running   0          46m
kube-system   etcd-k8s-node1                      1/1     Running   1          46m
kube-system   kube-apiserver-k8s-node1            1/1     Running   1          45m
kube-system   kube-controller-manager-k8s-node1   1/1     Running   1          45m
kube-system   kube-proxy-zcssq                    1/1     Running   1          46m
kube-system   kube-scheduler-k8s-node1            1/1     Running   1          45m

此时再运行 kubectl get node 查看 master 节点的状态，则状态已经 Ready, 如下

NAME        STATUS   ROLES    AGE   VERSION
k8s-node1   Ready    master   48m   v1.15.0

部署 Worker 节点

首先在 master 节点上执行以下命令来获取在集群中添加节点的命令

kubeadm token create --print-join-command

输出为

kubeadm join 192.168.56.11:6443 --token eb0k80.qhqbjon1mh55w803     --discovery-token-ca-cert-hash sha256:ca524d88dbcc9a79c70c4cf21fba7252c0f12e5ab0fe9674e7f6998ab9fb5901 

然后在每个 worker 节点上执行上面的命令，这个时候 kubernetes 会使用 DaemonSet 在所有节点上都部署 canal 和 kube-proxy。

需要注意的是，如果出现 ErrImagePull 等错误，则可能是由于镜像由于在 google 服务器访问不到的缘故，此时需要开启 VPN 才能正常下载。

等待全部部署完毕，在 master 节点运行以下命令查看信息。

查看所有 daemonset

kubectl get daemonset --all-namespaces
NAMESPACE     NAME         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                 AGE
kube-system   canal        4         4         4       4            4           beta.kubernetes.io/os=linux   16h
kube-system   kube-proxy   4         4         4       4            4           beta.kubernetes.io/os=linux   17h

可以看到 READY 和 AVAILABLE 都是 4， 也就是 4 个节点都已经可用了。

查看所有 Pod

kubectl get pod --all-namespaces
NAMESPACE     NAME                                READY   STATUS    RESTARTS   AGE
kube-system   canal-6w2zb                         3/3     Running   12         16h
kube-system   canal-jgw4m                         3/3     Running   47         16h
kube-system   canal-klmfs                         3/3     Running   33         16h
kube-system   canal-rj2fm                         3/3     Running   12         17h
kube-system   coredns-bccdc95cf-rgtbx             1/1     Running   3          17h
kube-system   coredns-bccdc95cf-x6j8l             1/1     Running   3          17h
kube-system   etcd-k8s-node1                      1/1     Running   4          17h
kube-system   kube-apiserver-k8s-node1            1/1     Running   6          17h
kube-system   kube-controller-manager-k8s-node1   1/1     Running   4          17h
kube-system   kube-proxy-7bk98                    1/1     Running   0          16h
kube-system   kube-proxy-cd8xj                    1/1     Running   0          16h
kube-system   kube-proxy-xfzfp                    1/1     Running   0          16h
kube-system   kube-proxy-zcssq                    1/1     Running   4          17h
kube-system   kube-scheduler-k8s-node1            1/1     Running   4          17h

查看所有节点

kubectl get node
NAME        STATUS   ROLES    AGE   VERSION
k8s-node1   Ready    master   17h   v1.15.0
k8s-node2   Ready    <none>   16h   v1.15.0
k8s-node3   Ready    <none>   16h   v1.15.0
k8s-node4   Ready    <none>   16h   v1.15.0

现在可以看到所有的节点已经运行 Ready 。

测试集群

通过上面的步骤，k8s 集群（1个 master 节点和 3 个 worker 节点）环境已经搭建完毕，并且所有的节点都得正常工作，现在我们要通过添加 Nginx 应用来测试集群。

创建单 Pod 的 Nginx 应用

kubectl create deployment nginx --image=nginx:alpine
deployment.apps/nginx created

查看 pod 详情

kubectl get pod -o wide
NAME                   READY   STATUS    RESTARTS   AGE   IP         NODE        NOMINATED NODE   READINESS GATES
nginx-8f6959bd-6pth6   1/1     Running   0          73s   10.2.1.2   k8s-node2   <none>           <none>

Pod 的 IP 地址是从 Master 节点初始化的参数 --pod-network-cidr=10.2.0.0/16 的地址段中分配的。

访问 nginx

通过上面获取的 Pod 的 ip 10.2.1.2 地址访问 nginx

curl -I http://10.2.1.2
HTTP/1.1 200 OK
Server: nginx/1.17.1
Date: Thu, 18 Jul 2019 07:53:22 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 25 Jun 2019 14:15:08 GMT
Connection: keep-alive
ETag: "5d122c6c-264"
Accept-Ranges: bytes

扩容为 2 个 节点

kubectl scale deployment nginx --replicas=2
deployment.extensions/nginx scaled

查看 pod

kubectl get pod -o wide
NAME                   READY   STATUS    RESTARTS   AGE     IP         NODE        NOMINATED NODE   READINESS GATES
nginx-8f6959bd-6pth6   1/1     Running   0          6m44s   10.2.1.2   k8s-node2   <none>           <none>
nginx-8f6959bd-l56n9   1/1     Running   0          28s     10.2.3.2   k8s-node4   <none>           <none>

可以看到 Pod 已经有了两个副本，每个副本都有各自的 IP， 通过 IP 访问新增加的副本，照样是可以提供服务的。

curl -I http://10.2.3.2
HTTP/1.1 200 OK
Server: nginx/1.17.1
Date: Thu, 18 Jul 2019 07:58:27 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 25 Jun 2019 14:15:08 GMT
Connection: keep-alive
ETag: "5d122c6c-264"
Accept-Ranges: bytes

**暴露为服务 **

多个副本需要暴露为一个服务来统一对外提供服务，服务会创建一个Cluster IP，从 Master 节点初始化参数 --service-cidr=10.1.0.0/16 地址段中进行分配。服务会自动在在多个副本之间进行负载均衡。

运行以下命令为 nginx 应用暴露服务，并开启 NodePort 在所有节点上进行端口映射，进行外部访问。

kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed

运行以下命令看一下服务列表

kubectl get service
NAME         TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP   10.1.0.1      <none>        443/TCP        19h
nginx        NodePort    10.1.59.105   <none>        80:32502/TCP   80s

可以看到，nginx 服务的 vip 为 10.1.59.105， Node 节点上端口 32502 映射到 nginx 的 80 端口。

运行以下命令，通过 vip 访问服务

curl -I http://10.1.59.105
HTTP/1.1 200 OK
Server: nginx/1.17.1
Date: Thu, 18 Jul 2019 08:10:45 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 25 Jun 2019 14:15:08 GMT
Connection: keep-alive
ETag: "5d122c6c-264"
Accept-Ranges: bytes

在主机上运行以下命令通过节点的 IP 访问服务

curl -I http://192.168.7.11:32502
HTTP/1.1 200 OK
Server: nginx/1.17.1
Date: Thu, 18 Jul 2019 08:14:31 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 25 Jun 2019 14:15:08 GMT
Connection: keep-alive
ETag: "5d122c6c-264"
Accept-Ranges: bytes

这里由于宿主机不能直接访问 VirtualBox 的 NAT 网络，采用的 Host-Only 网络的 IP 进行访问。

毛宏斌

毛宏斌

相关推荐

6张图带你学懂 Kubernetes Ingress

Kubernetes Ingress 只是 Kubernetes 中的一个普通资源对象，需要一个对应的 Ingress 控制器来解析 Ingress 的规则，暴露服务到外部，比如 ingress-nginx，本质上来说它只是一个 Nginx Pod，然后将

朱培知浅ZLH / 0评论 2020-11-16

推荐4款超好用本地Kubernetes部署工具

我们本地开发者，真的需要一个 Kuberntees 吗?这个是必要的吗？我认为这个答案是非必要，并不是所有的本地开发者都需要有一个独立的 Kubernetes 集群来使用，但是如果有符合下列需求之一，就会需要创建一个本地的 Kubernetes 集群：。而

cdbdqn00 / 0评论 2020-11-12

值得推荐的13个 Jenkins 替代方案

Jenkins 是目前最常用的持续集成工具，拥有近 50% 的市场份额，它还是很多技术团队的第一个使用的自动化工具。但是随着自动化领域的持续发展，Jenkins 逐渐暴露出了一些问题，例如缺乏功能、维护问题、依赖关系和扩展问题等等。本文将为大家介绍几个持续

达观数据 / 0评论 2020-11-11

2020年非常值得推荐的7种 Kubernetes 日志管理工具

你可能会奇怪，为什么要为 Kubernetes 的日志管理工具而烦恼？Kubernetes 是容器编排市场的主导者，经常被用来托管微服务。微服务的每个实例都会生成大量的日志事件，并且这些事件很快就会变得难以管理。大多数 Kubernetes 日志管理工具都

JustinChia / 0评论 2020-11-11

两款超好用的Kubernetes实时日志查看工具

通常情况下，Kubernetes 环境下的应用日志都需要通过日志系统来进行收集，比如：Filebeat + ElasticSearch + Kibana 的组合来实现。虽然这一组合的功能相当强大，但是在一些比较简陋的测试集群中，或者不具备浏览器条件的自动化

远远的山 / 0评论 2020-11-09

本地环境运行Kubernetes的4种开源工具

Kubernetes作为最重要的开源容器编排平台，用于自动化部署，扩展和管理容器化应用程序。无论遇到什么情况，建议将本地Kubernetes设置为开发环境，因为这种设置可以创建安全，灵活的应用程序部署过程。Minikube是本地Kubernetes应用程序

jingtao / 0评论 2020-11-08

五款值得关注的Kubernetes日志监控工具

Kubernetes在容器编排市场中占主导地位，推动企业向微服务演进。微服务的每个实例都会生成大量日志事件，这些事件很快就变得难以管理。但更复杂的是当出现问题时，由于服务之间复杂的交互作用，以及可能的故障模式，导致很难找到根本原因。潜在的问题使得Kuber

大叔比较胖 / 0评论 2020-10-30

机器学习任务编排工具比较

最近，出现了用于编排任务和数据工作流的新工具。这些工具的数量众多，因此很难选择要使用的工具，也难以理解它们的重叠方式，因此我们决定对一些最受欢迎的工具进行比较。> Airflow is the most popular solution, follo

gracecxj / 0评论 2020-10-30

使用Ansible的Kubernetes模块实现容器编排自动化

将 Kubernetes 与 Ansible 结合实现云端自动化。此外，还可以参照我们的 Ansible 的 k8s 模块速查表。Ansible是实现自动化工作的优秀工具，而Kubernetes则是容器编排方面的利器，要是把两者结合起来，会有怎样的效果呢？

onepiecedn / 0评论 2020-10-29

面试问到了K8S原理，花5分钟来总结下，以后再也不怕了

K8S现在是一项必会的技能，它为软件工程师提供了强大的容器编排能力，模糊了开发和运维之间的边界，让我们开发、管理和维护一个大型的分布式系统和项目变得更加容易，并且每次面试多多少少都会问到，笔者也是被问到了很多次。本文就准备用最短的篇幅来介绍下K8S的工作过

kunyus / 0评论 2020-10-28

如何降低开发人员的生产力？

关于开发人员是如何因构造其日常工作而导致生产力下降的文章很多。常见的一个例子是：在一天中安排了很多非必要的会议，因此没人能进入深度聚焦模式。今天，我想研究开发人员生产力方面的最大杀手：配置和设置DevOps工作流程的方式。在几乎所有情况下，我都遇到了一些捷

JustHaveTry / 0评论 2020-10-27

Windows环境下，如何在Docker里运行SAP UI5应用

本文面向的读者是对Docker技术有一些基本概念，但因为没有测试环境，所以没有动手操作过的朋友们。最近Jerry因为要做一个新的SAP云产品开发，得搭各种开发环境，其中之一就是Docker.当时给出的例子是，在Ubuntu操作系统下用Docker和Kube

锋锋 / 0评论 2020-10-26

解放开发者！3款工具实现快速K8S开发

时至今日，Kubernetes正在变得越来越重要，不仅仅是运维需要Kubernetes，在开发的世界里Kubernetes也不可或缺。因此能够熟练掌握Kubernetes知识会备受追捧。然而问题是，开发人员是否需要直接上手操作Kubernetes，他们是否

hubanbei00的家园 / 0评论 2020-10-25

什么是CaaS？简化容器管理

随着现代容器化应用陆续被各大企业发现并认可，主要供应商开始提供容器基础设施和管理 "即服务 "只是时间问题。根据Flexera最新的2020年云计算状态报告，容器的使用在全球企业中稳中有升，65%的组织表示他们使用Docker容器，58

谢恩铭 / 0评论 2020-10-23

Linux基金会开源软件大学技术公开课丨K8s必备技能攻略

随着云开发向容器方面转移，Kubernetes等与容器相关的技术已成为当下技术人员的必备技能。数字时代，许多企业及其所服务的客户正在探寻更灵活、更快交付，且在私有云、混合云，甚至多云环境下都能快速部署或运行的软件及系统。此外，应用Kubernetes还能带

btqszl / 0评论 2020-10-21

Kubernetes上对应用程序进行故障排除的6个技巧

从 Docker 迁移到 Docker Swarm，再到 Kubernetes，然后处理了多年来的所有各种 API 更改之后，我非常乐意发现部署中出现的问题和把问题进行修复。我今天分享下我认为最有用的5条故障排除技巧，以及一些其他的使用技巧。这个命令如此重

kaidiphp / 0评论 2020-10-13

避免云锁定有哪几招？

我们Render正在构建一个跨多个公共云启动的新云平台，计划增加本地工作负载，这对于我们避免将自己被某一家提供商锁定至关重要。本文讨论了我们做出的一些关键技术决策，以避免自己被某一家云提供商锁定，并为混合云未来做好准备。大受欢迎的选择包括AWS Clou

guchengxinfen / 0评论 2020-10-12

企业扩大容器和Kubernetes应用的5大现实问题

虽然容器已经诞生了10多年，但在过去几年中，容器的普及和采用率仍然不断增长。根据Gartner的调查，到2025年全球超过85%的企业将在生产中运行容器化应用，这比2019年的不到35%有了大幅增长。为了从容器和Kubernetes技术中受益，并做出更明智

liverlife / 0评论 2020-10-10

如何设置一个正经的Kubernetes终端

Kubernetes预先包装了出色的CLI。对于基本操作，它的运行非常出色。las，当需要快速执行某项操作时，复杂性就会增加。Kubernetes社区已经构建了各种基于Web的工具来监视您的集群-kube ops视图，grafana等。但是，拥有完整的终

BigDataMining / 0评论 2020-10-08

首次部署 Kubernetes 应用，总会忽略这些事

根据我的个人经验，大多数人似乎倾向于通过 Helm 或者手动方式将应用程序甩给 Kubernetes，之后就坐等每天轻松调用的美好生活。但在 GumGum 公司的实践当中，我们体会到 Kubernetes 应用的一系列“陷阱”，也希望把这些陷阱与大家分享，

JustHaveTry / 0评论 2020-09-29

云原生如何助力微服务？

随着技术的发展，我们云托管时代逐步的向云原生演进了。所谓云原生，就是将微服务、DevOps的架构理念与云所提供的容器、Serverless无服务器更好的结合，提升资源的使用效率，提高研发运维效率。那么在云原生时代，微服务应该如何与云原生相辅相成呢?但是当一

kunyus / 0评论 2020-09-25

Kubernetes的五种安全实践

Kubernetes还不到6岁，但它已经是每个人最喜欢的容器编排程序了。云和基础设施监测公司Datadog发现Kubernetes主导着容器市场：“大约45%的运行容器的Datadog客户使用Kubernetes。”其他容器编排程序，如Marathon和D

JackXuF / 0评论 2020-09-25

Kubernetes 3年生产中我们所学到的东西

本文转载自微信公众号「新钛云服」，作者祝祥 。我们于2017年开始构建第一个基于1.9.4版本的Kubernetes集群。至今，我们已经有两个集群，一个集群在裸机RHEL VM上运行，另一个集群在公有云AWS EC2上运行。今天，我们的Kubernete

ioniconline / 0评论 2020-09-22

容器云平台No.2~kubeadm创建高可用集群v1.19.1

通过kubernetes构建容器云平台第二篇，最近刚好官方发布了V1.19.0，本文就以最新版来介绍通过kubeadm安装高可用的kubernetes集群。市面上安装k8s的工具很多，但是用于学习的话，还是建议一步步安装，了解整个集群内部运行的组件，以便后

xingyuzhe / 0评论 2020-09-21

Kubernetes如何为应用程序提供网络和存储？

网络组件支持pod到pod、节点到pod、pod到服务以及外部客户端到服务的通信。Kubernetes遵循用于实现网络服务的插件模式。Kubenet是默认的网络插件，配置简单。它通常与为节点之间或单节点环境中的通信设置路由规则的云提供商一起使用。Kuber

cloudvtech / 0评论 2020-09-18

云原生安全模型与实践

在消息传递和协作环境中，纵深防御体系可以确保恶意攻击活动被阻止在基础结构内的多个检查点，降低了威胁进入内部网络的可能性。以某IDaaS系统为例，我们把一个云原生系统安全模型分为 4 个层面，由外至内分别是：云/数据中心/网络层、集群层、容器层、代码层，如下

cynthiachf / 0评论 2020-09-18

（转）Kubernetes总架构图

Kubecfg将特定的请求，比如创建Pod，发送给Kubernetes Client。API Server根据请求的类型，比如创建Pod时storage类型是pods，然后依此选择何种REST Storage API对请求作出处理。REST Storage

xieyixiao / 0评论 2020-09-17

如何为物联网构建数据流、人工智能和机器学习平台

当今的IoT用例越来越依赖于对大量设备生成的数据进行分析或实时更新机器学习算法。如果没有实时获取、处理和采取行动，以监控患者、自动驾驶汽车或预测性维护应用的数据，则患者会遭受伤害，车辆坠毁或系统出现故障。企业可以使用基于开放源代码软件堆栈构建的流平台和数据

leehbing / 0评论 2020-09-15

如何利用开放策略代理保护Kubernetes

随着越来越多的组织将容器化应用程序转移到生产环境中，Kubernetes已经成为在私有云、公共云和混合云环境中管理这些应用程序的有效方法。事实上，根据云原生计算基金会的调查，至少84%的组织已经在业务中使用容器，78%的组织利用Kubernetes来部署容

朱培知浅ZLH / 0评论 2020-09-15

Kubernetes探针踩坑记

本文转载自微信公众号「Dotnet Plus」，可以通过以下二维码关注。最近一两个月生产K8s集群频繁出现短时503 Service Temporarily Unavailable，还不能主动复现，相当郁闷，压力山大。HTTP 5xx响应状态码用于定义服务

技术积累LZ / 0评论 2020-09-15

在生产环境使用Kubernetes三年后我学到的东西

我们于2017年开始构建第一个Kubernetes集群1.9.4版本。我们有两个集群，一个集群在裸机RHEL VM上运行，另一个集群在AWS EC2上运行。今天，我们的Kubernetes基础架构团队由分布在多个数据中心的400多个虚拟机组成。该平台托管高

kunyus / 0评论 2020-09-14

Kubernetes部署的10种反模式

随着容器采用率和使用率的不断提高，Kubernetes已成为容器编排的领先平台。这是一个开源项目，拥有来自315多家公司的数万名贡献者，旨在保持可扩展性和不可知论性，并且它是每个主要云提供商的基础。并且有许多工具与Kubernetes集成在一起，可以满足您

朱培知浅ZLH / 0评论 2020-09-14

从架构到部署，全面了解K3s

Kubernetes无处不在——开发者的笔记本、树莓派、云、数据中心、混合云甚至多云上都有Kubernetes。它已然成为现代基础设施的基础，抽象了底层的计算、存储和网络服务。Kubernetes隐藏了各种基础设施环境之间的差异，它将多云变成了现实。尽管K

godwot / 0评论 2020-09-11

采用GitOps的11大原因

Kubernetes允许我们单纯地使用声明性的配置文件来管理我们的应用部署和其他基础设施组件。这使我们能够把所有这些文件放到Git仓库中，然后把它挂到流水线上，流水线会把这些变化应用到集群上，然后就有了GitOps。为了使工作正常进行，我们必须确保改变集群

JustHaveTry / 0评论 2020-09-11

Kubernetes 存活、就绪探针

在设计关键任务、高可用应用程序时，弹性是要考虑的最重要因素之一。当应用程序可以快速从故障中恢复时，它便具有弹性。云原生应用程序通常设计为使用微服务架构，其中每个组件都位于容器中。为了确保Kubernetes托管的应用程序高可用，在设计集群时需要遵循一些特定

dingtianhao / 0评论 2020-09-10

如何管理Kubernetes集群的容量与资源

显然，通过kubectl get，我们发现有数十个evicted pod，而实际上可能只想运行5个pod。此时，您可能非常希望通过对Kubernetes集群资源的管理，来自动实现对于容量和资源的分配。如上图所示，假设我们手头有一个带有16个虚拟CPU和6

ioniconline / 0评论 2020-09-09

部署Prometheus监控平台，应该考虑6个因素，缺一不可

企业在采用容器的同时，也将容器的监控问题放在了比较优先的位置上，不少企业使用普罗米修斯监控容器和微服务，对于规模企业通常会更加激进，所以当他们规模部署时将面临扩展的挑战。现在由于容器以及向微服务架构的迁移，要跟踪的实体数量激增。Prometheus已成为开

JackXuF / 0评论 2020-09-06

C++的替补选手：微软是如何应用Rust的？

微软拥有世界上最大的C/C++代码库之一。从Windows、Office到Azure云，微软的所有核心产品都在该代码库上运行。但因为C++不是内存安全的语言，代码库中自然频频出现内存漏洞，大量的时间被耗费在修补漏洞上。微软自去年开始寻找用以替代的编程语言来

tkernel / 0评论 2020-09-03

管理Kubernetes资源：5件要注意的事情

本文转载自微信公众号「新钛云服」，作者黄豪杰 翻译。Kubernetes自动化了许多大规模管理容器的工作。但是容器化的应用程序通常共享池化的资源，因此您需要正确地分配和管理它们。想想Kubernetes 在项目官方网站上自我描述的强大功能:“Kuberne

zccheu / 0评论 2020-09-01

Kubernetns LB方案：无需云厂商的动态DNS和负载均衡

本文转载自微信公众号「新钛云服」，作者祝祥 翻译 。我们经常谈论托管Kubernetes或在云中运行的Kubernetes，但我们也在非云的环境上运行Kubernetes。您可能还会听到很多有关云供应商集成的经典案例：您可以获取无密码凭据来访问托管服务，无

YzhilongY / 0评论 2020-08-31

如何部署一个Kubernetes集群

在本篇文章中我将以在Mac笔记本中安装两台Ubantu系统的方式，演示如何部署一套具备一个控制节点和一个计算节点的Kubernetes学习集群。要求64位Linux操作系统，且内核版本要求3.10及以上，能满足安装Docker项目所需的要求;机器之间要保持

gracecxj / 0评论 2020-08-25

第7章：Kubernetes存储

创建一个空卷，挂载到Pod中的容器。Pod删除该卷也会被删除。什么样的适合在pod中运行多个容器?command: ["bash","-c","for i in {1..100};do echo $i &g

BigDataMining / 0评论 2020-08-21

10 分钟部署一个 Kubernetes 集群

一台或多台机器，操作系统 CentOS7.x-86_x64；硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多；集群中所有机器之间网络互通；可以访问外网，需要拉取镜像；禁止swap分区。Kubernetes默认CRI为Docker，因

liusaisoso / 0评论 2020-08-19

Kubernetes(一)概念介绍

Kubernetes这个名字起源于希腊语，意思是舵手，由于k到s之间有8个字符又简称k8s。Google在2014年开源了Kubernetes项目，基于容器技术的分布式管理系统，在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动

shurenyun / 0评论 2020-08-19

kubernetes集群部署

kubeadm：用来初始化集群kubelet：运行在集群中的所有节点上，负责启动 pod 和 容器。kubectl：这个是 Kubernetes 命令行工具。通过 kubectl 可以部署和管理应用，查看各种资源，创建、删除和更新各种组件。注意：–pod-

limx / 0评论 2020-08-19

kubernetes环境搭建

yum install -y net-tools epel-release vim yum-utils device-mapper-persistent-data lvm2

知行合一止于至善 / 0评论 2020-08-19

kubernetes网络/网络策略

★使用nslookup时，使用如下镜像。通过nslookup查询service的IP：kubectl exec -it busybox -- nslookup my-svc. ★分为Ingress和Egress策略控制，都为白名单。Ingress为入口请求

知行合一止于至善 / 0评论 2020-08-18

kubernetes(十五) kubernetes 运维

cicd方案：gitlab，build, harbor, jenkins-master-slave,helm发布到k8s集群。$ mkdir ~/binary_pkg && cd binary_pkg #提供所需的软件包。$ cd

CurrentJ / 0评论 2020-08-18

Kubernetes Operators和Helm图表，互补还是竞争？

Kubernetes Operators和Helm图表是互补而非竞争的技术。在Kubernetes中，Helm图表和Kubernetes Operators都是让任务自动化的便捷工具，这些任务原本需要大量的人工工作。虽然它们都是为自动化而生，但它们并不是

BigDataMining / 0评论 2020-08-16

可视化监控大型集群，这一个工具就够了！

许多企业使用Kubernetes来快速发布新功能并提高服务的可靠性。Rancher使团队能够减少管理其云原生工作负载的操作成本——但获得这些环境的持续可见性可能是一个挑战。在这篇文章中，我们将探讨如何利用Rancher内置支持的Prometheus和Gra

MrFuWen / 0评论 2020-08-15