京东云Kubernetes集群最佳实践
cloudvtech 2019-07-01
京东云Kubernetes集群最佳实践
容器是Cloud Native的基石，它们之间的关系不言而喻。了解容器对于学习Cloud Native也是十分重要的。近期，京东云Cloud Native的“在线公开课”从理论和实践两个层面为大家分享了Cloud Native相关的技术知识。在本周的周日，我们还将迎来”Cloud Native时代的应用之路与开源创新“专场技术沙龙。
因此我们今天的文章将会和大家分享关于京东云Kubernetes集群的部分最佳实践。感兴趣的小伙伴也可以跟着文档自己动手进行创建。
京东云Kubernetes集群采用管理节点全托管的方式，为用户提供简单易用、高可靠、功能强大的容器管理服务。该产品完全兼容标准Kubernetes API ，集成京东云网络、存储等插件。Kubernetes集群服务简化了Kubernetes部署、管理，降低了Kubernetes使用门槛，增强应用的可靠性，提升开发的效率，同时，也能更好地帮助用户减少资源投入的成本。
最佳实践——部署应用
部署持久化存储
京东云Kubernetes集群服务集成了京东云云硬盘，您可以在集群中使用京东云云硬盘作为持久化存储；
使用京东云云盘定义静态存储
1. 创建PV
kind: PersistentVolume
apiVersion: v1
metadata:
name: pv-static
labels:
type: jdcloud-ebs
spec:
capacity:
storage: 30Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
jdcloudElasticBlockStore:
volumeID: vol-ogcbkdjg7x
fsType: xfs参数说明：
1、如您需要在京东云Kubernetes集群服务中使用京东云云硬盘作为持久化存储，请在PersistentVolume定义时，指定插件jdcloudElasticBlockStore；
2、VolumeID：指定同地域下为Kubernetes集群服务提供持久化存储的云硬盘ID；
3、Fstype：指定文件系统类型；目前仅支持ext4和xfs两种；
4、Capacity：PV 将具有特定的存储容量。这是使用 PV 的容量属性设置的；
5、PersistentVolume 可以以资源提供者支持的任何方式挂载到主机上。
京东云云硬盘目前只支持一种模式ReadWriteOnce——该卷可以被单个节点以读/写模式挂载；
访问模式包括：
ReadWriteOnce——该卷可以被单个节点以读/写模式挂载
在命令行中，访问模式缩写为：
RWO - ReadWriteOnce
京东云为PersistentVolume提供了插件，插件类型为：jdcloudElasticBlockStore
注：
- 由于云硬盘限制一个云硬盘只能同时挂载一个云主机,在使用基于PVC的Pod时，建议使用replicas=1来创建一个部署集。StatefulSet可解决多副本问题。
- Pod迁移，PVC迁移(卸载旧实例/挂载新实例)默认35秒。
- 通过Deployment部署，删除Deployment之后，可重新挂载原有PVC到新的Pod里面。
2. 创建PVC
声明可以指定一个标签选择器来进一步过滤该组卷。只有标签与选择器匹配的卷可以绑定到声明。选择器由两个字段组成：
所有来自 MatchLabels 和 MatchExpressions 的要求都被“与”在一起——它们必须全部满足才能匹配。
本例使用MatchLabels作为过滤条件，将匹配的PersistentVolume绑定到Persistent Volume Claim。
MatchLabels：Volume 必须有具有该值的标签
matchExpressions：这是一个要求列表，通过指定关键字，值列表以及与关键字和值相关的运算符组成。有效的运算符包括 In、NotIn、Exists 和 DoesNotExist。
访问模式包括：ReadWriteOnce——该卷可以被单个节点以读/写模式挂载。
在命令行中，访问模式缩写为：RWO - ReadWriteOnce
京东云为Persistent Volume提供了插件，插件类型为：jdcloudElasticBlockStore
注：副本数只能指定1。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pv-static-pvc
spec:
accessModes:
- ReadWriteOnce
storageClassName: ""
resources:
requests:
storage: 30Gi
selector:
matchLabels:
type: jdcloud-ebs创建Pod
kind: Pod
apiVersion: v1 metadata: name: pod-static spec: volumes: - name: pv-static persistentVolumeClaim: claimName: pv-static-pvc
containers:
- name: busybox-static
image: busybox
command:
- sleep
- "600"
imagePullPolicy: Always
volumeMounts:
- mountPath: "/usr/share/mybusybox/"
name: pv-static使用京东云云盘定义动态存储
当集群中的静态 PV 都不匹配新建的 Persistent Volume Claim 时，集群可能会尝试动态地为 PVC 创建卷。
关于京东云云硬盘规格：
创建PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc1
spec:
accessModes:
- ReadWriteOnce
storageClassName: jdcloud-ssd
resources:
requests:
storage: 20Gi查看集群的PVC
kubectl get pvc
输出
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE pvc1 Bound pvc-73d8538b-ebd6-11e8-a857-fa163eeab14b 20Gi RWO jdcloud-ssd 18s
查看集群的PV
kubectl get pv
输出
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pvc-73d8538b-ebd6-11e8-a857-fa163eeab14b 20Gi RWO Delete Bound default/pvc1 jdcloud-ssd 2m
基于Storage Class jdcloud-ssd，为PVC创建了卷。一旦 PV 和 PVC 绑定后，Persistent Volume Claim 绑定是排他性的，不管它们是如何绑定的。 PVC 跟 PV 绑定是一对一的映射。
2 部署Service
Kubernetes Service
- Kubernetes Service定义了这样一种抽象：一个 Pod 的逻辑分组，一种可以访问它们的策略-通常称为微服务。这一组 Pod 能够被 Service 访问到，通常是通过 Label Selector（查看下面了解，为什么可能需要没有 Selector 的 Service）实现的。一个 Service 在 Kubernetes 中是一个REST对象，和Pod类似.像所有的 REST 对象一样， Service 定义可以基于 POST 方式，请求 API Server 创建新的实例。
京东云Kubernetes集成负载均衡服务，支持创建Load Balance类型的Service，为应用提供安全、可靠的网络。
- 创建的负载均衡会占用本地域的负载均衡配额，需要保证有足够配额。
1、创建支持Load Balance类型的Service，命名为myservice.yaml文件定义如下：
kind: Service
apiVersion: v1
metadata:
name: servicetest
labels:
run: myapp
spec:
ports:
- protocol: TCP
port: 80
targetPort: 80
nodePort: 30062
type: LoadBalancer
selector:
run: myapp2、执行Kubectl创建命令，创建一个Service；其中使用相应的YAML文件名称替换：
kubectl create -f myservice.yaml
3、创建一组Nginx Pod，mynginx.yaml文件定义如下：
apiVersion: apps/v1beta1
kind: Deployment
metadata:
name: my-nginx
spec:
selector:
matchLabels:
run: myapp
replicas: 2
template:
metadata:
labels:
run: myapp
spec:
containers:
- name: my-nginx
image: nginx
ports:
- containerPort: 804、执行Kubectl创建命令，创建一个Deployment；其中使用相应的YAML文件名称替换
kubectl create -f mynginx.yaml
5、查看已创建成功的Deployment，执行以下命令：
kubectl get pods -l run=myapp -o wide
返回结果如下：
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE my-nginx 2 2 2 2 4m
6、查看相应的Pod运行状态，
kubectl get pods -l run=myapp -o wide
返回结果如下：
NAME READY STATUS RESTARTS AGE IP NODE my-nginx-864b5bfdc7-6297s 1/1 Running 0 23m 172.16.0.10 k8s-node-vmtwjb-0vy9nuo0ym my-nginx-864b5bfdc7-lr7gq 1/1 Running 0 23m 172.16.0.42 k8s-node-vm25q1-0vy9nuo0ym
7、查看Service详情：
kubectl describe service servicetest
可以查看绑定到Service的Endpoints:
Name: servicetest Namespace: default Labels: run=myapp Annotations: <none> Selector: run=myapp Type: LoadBalancer IP: 172.16.61.58 LoadBalancer Ingress: 114.67.227.25 Port: <unset> 80/TCP TargetPort: 80/TCP NodePort: <unset> 30062/TCP Endpoints: 172.16.0.10:80,172.16.0.42:80 Session Affinity: None External Traffic Policy: Cluster Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal EnsuringLoadBalancer 11m (x9 over 26m) service-controller Ensuring load balancer Normal EnsuredLoadBalancer 10m service-controller Ensured load balancer
注：Load Balancer Ingress:114.67.227.25为外部公网IP
8、执行如下命令查询绑定到service的enpoints列表：
kubectl get ep servicetest 返回 NAME ENDPOINTS AGE servicetest 172.16.0.10:80,172.16.0.42:80 28m
9、在浏览器中输入与Service关联的Load Balance公网IP及端口，看到如下页面，即表明Nginx服务正常。
·END·
