Keepalived+LVS-DR实现实现负载均衡高可用集群

第1章 LVS 简介

1.1 LVS介绍

LVS是Linux Virtual Server的简写，意为Linux虚拟服务器，是虚拟的服务器集群系统，可在UNIX/LINUX平台下实现负载均衡集群功能。该项目在1998年5月由章文嵩博士组织成立，是国内最早出现的自由软件项目之一

中文资料：
LVS项目介绍          http://www.linuxvirtualserver.org/zh/lvs1.html
LVS集群的体系结构    http://www.linuxvirtualserver.org/zh/lvs2.html
LVS集群中的IP负载均衡技术    http://www.linuxvirtualserver.org/zh/lvs3.html
LVS集群的负载调度    http://www.linuxvirtualserver.org/zh/lvs4.html

简单一句话，当并发超过了Nginx上限，就可以使用LVS了。
日1000-2000W PV或并发请求1万以下都可以考虑用Nginx。
大型门户网站，电商网站需要用到LVS。

1.1.1 LVS内核模块ip_vs介绍

说明：

LVS无需安装

安装的是管理工具，第一种叫ipvsadm，第二种叫keepalive

ipvsadm是通过命令行管理，而keepalive读取配置文件管理

后面我们会用Shell脚本实现keepalive的功能

第2章 LVS集群搭建

2.1 环境准备

2.1 安装ipvsadm管理工具

查看当前LVS状态，顺便激活LVS内核模块

 [root@lb03 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port          Forward Weight ActiveConn InActConn
[root@lb03 ~]# lsmod|grep ip_vs
ip_vs                141092  0
nf_conntrack          133387  1 ip_vs
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

注意ipvsadm -ln作用：健康检查，即当某台web服务器出现问题时LVS将自动踢出；等恢复后再添加进来

2.1.1 ①在eth0网卡绑定VIP地址(高可用)

2.1.2 ②清除当前所有LVS规则

2.1.3 ③设置tcp、tcpfin、udp链接超时时间(s)

2.1.4 ④添加虚拟服务，调度算法见man ipvsadm

2.1.5 ⑤将虚拟服务关联到真实服务上

1 ipvsadm -a -t 10.0.0.13:80 -r 10.0.0.17:80 -g -w 1
2 
3 ipvsadm -a -t 10.0.0.13:80 -r 10.0.0.18:80 -g -w 1

2.1.6 ⑥查看配置结果

[root@lb03 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)  #LVS版本号
Prot LocalAddress:Port Scheduler Flags    #协议(TCP)本地IP：端口 调度算法 标志(持续时间20s)
  -> RemoteAddress:Port          Forward Weight ActiveConn InActConn
    #后端节点IP：端口          工作模式 权重 已建立连接 正在连接
TCP  10.0.0.3:80 wrr persistent 20
  -> 10.0.0.17:80                Route  1      0          0
  -> 10.0.0.18:80                Route  1      0          0

2.2 web服务器配置

2.2.1 Ⅰ.在lo网卡绑定VIP地址

2.2.2 Ⅱ.修改内核参数抑制ARP响应

cat >>/etc/sysctl.conf<<EOF  #其目的是为了让rs顺利发送mac地址给客户端
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF

sysctl -p

查看结果

[root@lb03 ~]# ip a s eth0
eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 link/ether 00:50:56:3b:cb:36 brd ff:ff:ff:ff:ff:ff
 inet 10.0.0.13/24 scope global secondary eth0
    valid_lft forever preferred_lft forever
[root@web03 ~]# ip a s lo
lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 10.0.0.13/32 scope global lo
    valid_lft forever preferred_lft forever

2.2.3 Ⅲ.web浏览器测试

说明：当lb服务器断开连接后VIP会自动消失，重新连接后需再次添加VIP

2.2.4 Ⅳ. arp解析查看

 [root@lb04 ~]# arp -n
Address                  HWtype  HWaddress          Flags Mask            Iface
10.0.0.254              ether  00:50:56:e9:9f:2c  C                    eth0
10.0.0.18                ether  00:0c:29:ea:ca:55  C                    eth0
10.0.0.13                ether  00:0c:29:de:7c:97  C                    eth0
172.16.1.15              ether  00:0c:29:de:7c:a1  C                    eth1
10.0.0.17                ether  00:0c:29:4a:ac:4a  C                    eth0

至此，LVS集群配置完毕

注意：所有有访问的返回值都是10.0.0.3

lvs与nginx的不同就在于17和18并不通过IP地址访问，而是通过mac地址访问

至此，LVS集群配置完毕

2.2.4.1 存疑问题：使用抓包工具发现通信的是windows IP和lb03的80端口，但lb03没有80端口?

lvs通过mac地址访问时，访问10.0.0.3就是访问lb01

10.0.0.3的数据包mac地址的返回值就是访问web03

2.3 ARP协议

2.3.1 arp详解

01.ARP协议，全称"Address Resolut ion Protocol"，中文名是地址解析协议，使用ARP协议可实现通过IP地址获得对应主机的物理地址(MAC地址)

 ARP协议要求通信的主机双方必须在同一个物理网段(即局域网环境)!

02.为了提高IP转换MAC的效率，系统会将解析结果保存下来，这个结果叫做ARP缓存

1 arp-a   #Windows查看ARP缓存命令
2 arp-n   #Linux查看ARP缓存命令
3 arping -c 1 -I eth0 10.0.0.6
4 #Linux解析IP对应的MAC地址[-c指定超时的ARP数据包数量；-I指定使用哪个网络接口]

ARP缓存表是把双刃剑

 ①主机有了arp缓存表，可以加快ARP的解析速度，减少局域网内广播风暴。因为arp是发广播解析的，频繁的解析也是消耗带宽的(尤其是机器多的时候) ②正是有了arp缓存表，给恶意黑客带来了攻击服务器主机的风险，这个就是arp欺骗攻击 ③切换路由器，负载均衡器等设备时，可能会导致短时网络中断。因为所有的客户端ARP缓存表未更新 

2.3.2 服务器切换ARP问题

当lb01宕机，VIP地址迁移到lb02时需要通过arping命令通知所有网络内机器更新本地的ARP缓存表，从而使得客户机访问时重新广播获取MAC地址

ARP广播进行新的地址解析

测试ARP缓存切换(手动漂移VIP)

1 [root@lb03 ~]# ip addr del 10.0.0.13/24 dev eth0
2 [root@lb04 ~]# ip addr add 10.0.0.13/24 dev eth0
3 [root@lb04 ~]# arping -I eth0 -c 1 -U 10.0.0.13
4 ARPING 10.0.0.13 from 10.0.0.13 eth0
5 Sent 1 probes (1 broadcast(s))
6 Received 0 response(s)

DR直接路由模式

NAT模式

FULLNAT

TUNNEL