魏莉的微 2019-11-30
LVS(Linux Virtual Server)即Linux虚拟服务器,是由章文嵩博士主导的开源负载均衡项目,目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案,其体系结构如图1所示,终端互联网用户从外部访问公司的外部负载均衡服务器,终端用户的Web请求会发送给LVS调度器,调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器,比如,轮询算法可以将外部的请求平均分发给后端的所有服务器,终端用户访问LVS调度器虽然会被转发到后端真实的服务器,但如果真实服务器连接的是相同的存储,提供的服务也是相同的服务,最终用户不管是访问哪台真实服务器,得到的服务内容都是一样的,整个集群对用户而言都是透明的。最后根据LVS工作模式的不同,真实服务器会选择不同的方式将用户需要的数据发送到终端用户,LVS工作模式分为NAT模式、TUN模式、以及DR模式。
**Cluster,集群,群集** 由多台主机构成,但对外只表现为一个整体 在互联网应用中,随着站点对硬件性能,响应速度,服务稳定性,数据可靠性等要求越来越高,单台服务器力不从心 ** 解决方法** 使用价格昂贵的小型机,大型机 使用普通服务器构建服务群集
根据群集所针对的目标差异,可分为三种类型 负载均衡群集 高性能运算群集 **负载均衡群集(Load,Balance Cluster)** 以提高应用系统的响应能力,尽可能处理更多的访问请求,减少延迟为目标,获得高并发,高负载LB的整体性能 LB的负载分配依赖主节点的分流算法 **高可用群集** 以提高应用系统的可靠性,尽可能地减少中断时间为目标,确保服务的连续性达到高可用 HA的容错效果 HA的工作方式包括双工和主从模式 **高性能运算群集** 以提高应用系统的CPU运算速度,扩展硬件资源和分析能力为目标,获得相当于大型,超级计算机的高性能运算HPC能力 高性能运算群集的高性能依赖于分布式运算,并行计算,通过专用硬件和软件将多个服务器的CPU,内存等资源整合在一起,实现只有,大型,超级计算机才具备的计算能力
负载均衡群集是目前企业用的最多的群集类型 群集的负载调度技术有三种工作模式 **地址转换** **IP隧道** **直接路由**
**简称NAT模式**,类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口 服务器节点使用私有IP地址,与负载调度器位于铜一个物理网络,安全性要优于其他两种方式
**简称TUM模式**,采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的网络连接直接回应客户机,而不再经过负载调度器 服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信。所有环境都是公网环境
直接路由
**简称DR模式**,采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络 负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道 在局域网中
**轮询 (Round Robin)** 将收到的访问请求安装顺序轮流分配给群集中的个节点(真实服务器),均等地对待每一台服务器,而不管服务器实际的连接数和系统负载 **加权轮询 (Weighted Round Robin**) 根据真实服务器的处理能力轮流分配收到的访问请求,调度器可以自动查询各节点的负载情况,并动态调整其权重 保证处理能力强的服务器承担更多的访问流量 **最少连接 (Least Connections)** 根据真实服务器已建立的连接输进行分配,将收到的访问请求优先分配给连接数最少的节点 **加权最少连接 (Weighted Least Connections)** 在服务器节点的性能差异较大情况下,可以为真实服务器自动调整 权重 权重较高的节点将承担更大比例活动连接负载
我们需要五台虚拟机 作为负载均衡调度器 外网地址:12.0.0.1 内网:192.168.200.1 网站服务器apache 节点:192.168.200.110 网站服务器 节点: 192.168.200.120 nfs共享存储 节点:192.168.200.130 客户端 12.0.0.12
[ ~]# yum install nfs-utils rpcbind -y
[ ~]# yum install httpd -y
[ ~]# yum install ipvsadm -y
[ ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 #配置ens33网卡 BOOTPROTO=static #静态 DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=66a1e3d6-5c57-42ab-9996-b942b049ef85 DEVICE=ens33 ONBOOT=yes IPADDR=192.168.200.130 #IP地址 NETMASK=255.255.255.0 #子网掩码 GATEWAY=192.168.200.1 #网关
[ ~]# systemctl stop firewalld.service s[ ~]# setenforce 0 [ ~]# systemctl start nfs.service [ ~]# systemctl status nfs.service ● nfs-server.service - NFS server and services Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; disabled; vendor preset: disabled) Active: active (exited) since 二 2019-11-26 1 [ ~]# systemctl start rpcbind.service [ ~]# systemctl status rpcbind.service ● rpcbind.service - RPC bind service Loaded: loaded (/usr/lib/systemd/system/rpcbind.service
[ ~]# vim /etc/exports /usr/share *(ro,sync) #只读,同步 所有服务器都可以去访问 /opt/accp 192.168.200.0/24(rw,sync) #共享给200段可以访问,可读,可写,同步 /opt/benet 192.168.200.0/24(rw,sync) [ ~]# cd /opt/ [ opt]# mkdir benet accp [ opt]# chmod 777 accp/ benet/ #给可读可写可执行 [ opt]# ls -l 总用量 0 drwxrwxrwx. 2 root root 6 11月 26 17:13 accp drwxrwxrwx. 2 root root 6 11月 26 17:13 benet drwxr-xr-x. 2 root root 6 3月 26 2015 rh
[ opt]# exportfs -rv exporting 192.168.200.0/24:/opt/benet exporting 192.168.200.0/24:/opt/accp exporting *:/usr/share
[ ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=c3f0a196-6819-4702-9b54-7cad18402591 DEVICE=ens33 ONBOOT=yes IPADDR=192.168.200.110 NETMASK=255.255.255.0 GATEWAY=192.168.200.1
[ ~]# systemctl restart network [ ~]# systemctl stop firewalld.service [ ~]# setenforce 0 [ ~]# systemctl start httpd.service [ ~]# netstat -ntap | grep 80 tcp6 0 0 :::80 :::* LISTEN 100863/httpd [ ~]# ping 192.168.200.130 PING 192.168.200.130 (192.168.200.130) 56(84) bytes of data. 64 bytes from 192.168.200.130: icmp_seq=1 ttl=64 time=0.724 ms 64 bytes from 192.168.200.130: icmp_seq=2 ttl=64 time=0.356 ms
[ ~]# showmount -e 192.168.200.130 #测试6服务器的共享目录 Export list for 192.168.200.130: /usr/share * /opt/benet 192.168.200.0/24 /opt/accp 192.168.200.0/24 [ ~]# mount.nfs 192.168.200.130:/opt/accp /var/www/html/ #挂载 [ ~]# df -h 问件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/centos-root 20G 3.4G 17G 17% / devtmpfs 897M 0 897M 0% /dev tmpfs 912M 0 912M 0% /dev/shm tmpfs 912M 9.6M 903M 2% /run tmpfs 912M 0 912M 0% /sys/fs/cgroup /dev/sda1 6.0G 179M 5.9G 3% /boot /dev/mapper/centos-home 10G 37M 10G 1% /home tmpfs 183M 40K 183M 1% /run/user/0 tmpfs 183M 4.0K 183M 1% /run/user/42 192.168.200.130:/opt/accp 20G 3.8G 17G 19% /var/www/html [ ~]# cd /var/www/html/ [ html]# echo "THII IS ACCP WEB" > index.html #6服务器去测试 [ opt]# cd accp/ [ accp]# ls index.html
[ ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=a6cf69fe-eb42-4a99-9239-0da4cdeae0c7 DEVICE=ens33 ONBOOT=yes IPADDR=192.168.200.120 NATMASK=255.255.255.0 GATEWAT=192.168.200.1 [ ~]# systemctl restart network [ ~]# systemctl stop firewalld.service [ ~]# setenforce 0
[ ~]# mount.nfs 192.168.200.130:/opt/benet /var/www/html/ [ ~]# df -h 问件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/centos-root 20G 4.3G 16G 22% / devtmpfs 897M 0 897M 0% /dev tmpfs 912M 0 912M 0% /dev/shm tmpfs 912M 9.5M 903M 2% /run tmpfs 912M 0 912M 0% /sys/fs/cgroup /dev/sda1 6.0G 179M 5.9G 3% /boot /dev/mapper/centos-home 10G 36M 10G 1% /home tmpfs 183M 44K 183M 1% /run/user/0 192.168.200.130:/opt/benet 20G 3.8G 17G 19% /var/www/html [ ~]# cd /var/www/html/ [ html]# echo "this is benet web" > index.html [ html]# systemctl start httpd.service #6去测试 [ accp]# cd ../ [ opt]# cd benet/ [ benet]# ls index.html
TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens36 DEVICE=ens36 ONBOOT=yes IPADDR=12.0.0.1 NETMASK=255.255.255.0 BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=849aa04e-1874-490f-8cb0-b2fde4b9a6f8 DEVICE=ens33 ONBOOT=yes IPADDR=192.168.200.1 NETMASK=255.255.255.0 [ ~]# systemctl restart network #重启网络服务
vim /etc/sysctl.conf #修改配置文件 net.ipv4.ip_forward=1 #加一条 [ ~]# sysctl -p #生效路由转发 net.ipv4.ip_forward = 1 [ ~]# iptables -t nat -F #清除NAT表 [ ~]# iptables -F #清除转发表 [ ~]# iptables -t nat -A POSTROUTING -o ens36 -s 192.168.200.0/24 -j SNAT --to-source 12.0.0.1 #在nat表中-A在POSTROUTING列中-o指定出口-s指定源地址 -j做nat 转换成12.0.0.1
[ html]# ping 12.0.0.12 PING 12.0.0.12 (12.0.0.12) 56(84) bytes of data. 64 bytes from 12.0.0.12: icmp_seq=1 ttl=127 time=0.815 ms 64 bytes from 12.0.0.12: icmp_seq=2 ttl=127 time=0.752 ms 64 bytes from 12.0.0.12: icmp_seq=3 ttl=127 time=0.727 ms 64 bytes from 12.0.0.12: icmp_seq=4 ttl=127 time=0.712 ms
[ ~]# modprobe ip_vs [ ~]# cat /proc/net/ip_vs #查看LVS内核版本 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn
[ ~]# ipvsadm --save > /etc/sysconfig/ipvsadm [ ~]# systemctl start ipvsadm.service [ ~]# systemctl status ipvsadm.service ● ipvsadm.service - Initialise the Linux Virtual Server Loaded: loaded (/usr/lib/systemd/system/ipvsadm.service; disabled; vendor preset: disabled) Active: active (exited) since 二 2019-11-26 17:59:41 CST; 9s ago
[ ~]# cd /opt/ [ opt]# vim nat.sh #!/bin/bash ipvsadm -C #清除缓存 ipvsadm -A -t 12.0.0.1:80 -s rr #添加虚拟服务器,-A -t指定端口 -s指定算法轮询 ipvsadm -a -t 12.0.0.1:80 -r 192.168.200.110:80 -m #-a -t指定端口 -r指定真实节点服务器 -m指定NAT ipvsadm -a -t 12.0.0.1:80 -r 192.168.200.120:80 -m ipvsadm [ opt]# source nat.sh #启动脚本 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP localhost.localdomain:http rr -> 192.168.200.110:http Masq 1 0 0 -> 192.168.200.120:http Masq 1 0 0
[ opt]# iptables -F #清除转发表 [ opt]# iptables -t nat -F #清除转发表 [ opt]# iptables -t nat -A POSTROUTING -o ens36 -s 192.168.200.0/24 -j SNAT --to-source 12.0.0.1 #在nat表中-A在POSTROUTING列中-o指定出口-s指定源地址 -j做nat 转换成12.0.0.1