kvm网络虚拟化管理

zhangsyi 2020-05-31

1. Linux Bridge网桥管理

一个网桥上添加多个虚拟机,虚拟机之间是可以相互通信的的,同时虚拟机也都可以通外网。

kvm网络虚拟化管理 

kvm的网桥管理可以通过brctl命令

[ ~]# brctl
.......
 #桥    addbr           <bridge>              add bridge
        delbr           <bridge>              delete bridge
 #端口  addif           <bridge> <device>      add interface to bridge
        delif           <bridge> <device>       delete interface from bridge
        hairpin         <bridge> <port> {on|off}  turn hairpin on/off
        setageing       <bridge> <time>         set ageing time
        setbridgeprio    <bridge> <prio>         set bridge priority
        setfd           <bridge> <time>        set bridge forward delay
        sethello         <bridge> <time>        set hello time
        setmaxage       <bridge> <time>        set max message age
        setpathcost      <bridge> <port> <cost>   set path cost
        setportprio      <bridge> <port> <prio>   set port priority
        show           [ <bridge> ]            show a list of bridges
        showmacs       <bridge>              show a list of mac addrs
        showstp        <bridge>               show bridge stp info
        stp            <bridge> {on|off}        turn stp on/off
[ ~]# brctl show
bridge name     bridge id               STP enabled     interfaces
br0             8000.0050562266e7       no              ens33
virbr0          8000.5254009483b2       yes             virbr0-nic

2. VLAN

LAN 表示 Local Area Network,本地局域网,通常使用 Hub 和 Switch 来连接 LAN 中的计算机。一般来说,两台计算机连入同一个 Hub 或者 Switch 时,它们就在同一个 LAN 中。

一个 LAN 表示一个广播域。 其含义是:LAN 中的所有成员都会收到任意一个成员发出的广播包。

VLAN 表示 Virtual LAN。一个带有 VLAN 功能的switch 能够将自己的端口划分出多个 LAN。计算机发出的广播包可以被同一个 LAN 中其他计算机收到,但位于其他 LAN 的计算机则无法收到。 简单地说,VLAN 将一个交换机分成了多个交换机,限制了广播的范围,在二层将计算机隔离到不同的 VLAN 中。

比方说,有两组机器,Group A 和 B,我们想配置成 Group A 中的机器可以相互访问,Group B 中的机器也可以相互访问,但是 A 和 B 中的机器无法互相访问。 一种方法是使用两个交换机,A 和 B 分别接到一个交换机。 另一种方法是使用一个带 VLAN 功能的交换机,将 A 和 B 的机器分别放到不同的 VLAN 中。

VLAN 的隔离是二层上的隔离,A 和 B 无法相互访问指的是二层广播包(比如 arp)无法跨越VLAN 的边界。但在三层上(比如IP)是可以通过路由器让 A 和 B 互通的。

现在的交换机几乎都是支持 VLAN 的。 通常交换机的端口有两种配置模式: Access 和 Trunk。如下图

kvm网络虚拟化管理

Access 口

access端口只允许一个VLAN通过。这些端口被打上了 VLAN 的标签,表明该端口属于哪个 VLAN。 不同 VLAN 用 VLAN ID 来区分,VLAN ID 的 范围是 1-4096。 Access 口都是直接与计算机网卡相连的,这样从该网卡出来的数据包流入 Access 口后就被打上了所在 VLAN 的标签。 Access 口只能属于一个 VLAN。

Trunk 口

假设有两个交换机 A 和 B。 A 上有 VLAN1(红)、VLAN2(黄)、VLAN3(蓝);B 上也有 VLAN1、2、3,那如何让 AB 上相同 VLAN 之间能够通信呢?

办法是将 A 和 B 连起来,而且连接 A 和 B 的端口要允许 VLAN1、2、3 三个 VLAN 的数据都能够通过。这样的端口就是Trunk口了。 VLAN1, 2, 3 的数据包在通过 Trunk 口到达对方交换机的过程中始终带着自己的VLAN 标签。

       trunk端口可以允许多个VLAN通过。

3. Linux Bridge实现VLAN原理

       对于物理设备来说,路由连接交换机,交换机上设置access接口实现不同的VLAN连接,设置trunk端口实现交换机之间的连接,物理机直接与这些交换机相连,但在kvm虚拟机上,如下图所示,宿主机物理网卡之上有虚拟接口eth0.10,虚拟接口就是VLAN设备,虚拟接口连接在虚拟网桥之上,在通过虚拟网卡vent0来连接虚拟机。与物理连接方式不同的是,kvm实现VLAN必须具备虚拟网卡和网

kvm网络虚拟化管理 

       同样的,对于多个虚拟机,需要多个VLAN来连接物理网卡。

kvm网络虚拟化管理 4. Linux Bridge实现VLAN 

kvm网络虚拟化管理

1> 检查核心是否提供VLAN功能

       通过dmesg命令来查看物理配置,看是否有802字段,同时查看/proc/net/vlan目录是否存在。如果没有提供VLAN功能,该目录是不存在的。

[ ~]# dmesg | grep -i 802
[    0.380228] pci 0000:00:11.0: PCI bridge to [bus 02] (subtractive decode)
[    0.380255] pci 0000:00:11.0:   bridge window [io  0x2000-0x3fff]
[    0.380281] pci 0000:00:11.0:   bridge window [mem 0xfd500000-0xfdffffff]
[    0.580240] pci 0000:00:17.6: bridge window [io  0x1000-0x0fff] to [bus 19] add_size 1000
[    1.221802] pcieport 0000:00:15.7: irq 32 for MSI/MSI-X
[    1.228025] pciehp 0000:00:18.5:pcie04: Slot #261 AttnBtn+ PwrCtrl+ MRL- AttnInd- PwrInd- HotPlug+ Surprise- Interlock- NoCompl+ LLActRep+
[    1.249802] hp_sw: device handler registered
[    2.917802] systemd[1]: Inserted module ‘ip_tables‘

       若8021模块没有载入系统。则可以使用 modprobe模块组命令载入8021q模块,再利用lsmod命令查看模块是否载入到核心内。

[ ~]# modprobe 8021q
[ ~]# lsmod | grep 8021q
8021q                  33104  0
garp                   14384  1 8021q
mrp                    18542  1 8021q
[ ~]#

设置开机载入8021q模块(可选)

在/etc/sysconfig/modules下增加一个8021q.modules文件,文件内容为modprobe 8021q

vim /etc/sysconfig/modules/8021q.modules
modprobe 8021q

2> 安装VLAN管理工具vconfig

[ ~]# rz
kvm网络虚拟化管理
[ ~]# ls
vconfig-1.9-16.el7.x86_64.rpm
[ ~]# yum localinstall vconfig-1.9-16.el7.x86_64.rpm -y

 3> 创建VLAN接口

创建VLAN接口前,在设备上添加一块网卡,并配置为静态,在ens37这块网卡上设置VLAN。

kvm网络虚拟化管理 

添加网卡

[ ~]# cd /etc/sysconfig/network-scripts/
[ network-scripts]# ls
[ network-scripts]# nmtui
kvm网络虚拟化管理

kvm网络虚拟化管理


修改网卡配置文件 

[ ~]# cd /etc/sysconfig/network-scripts/
[ network-scripts]# vim ifcfg-ens37
BOOTPROTO=static                                              #只改这一行即可
[ network-scripts]# systemctl restart network   #由于无法获取ip,重启有可能起不来,由于该网卡只用作VLAN,起不来也可以
[ ~]# ip a
....
9: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::4d27:24e8:e097:435c/64 scope link
       valid_lft forever preferred_lft forever
......

添加VLAN。用命令vconfig add

[ ~]# vconfig add ens37 10
Added VLAN with VID == 10 to IF -:ens37:-
[ ~]# ip a
..
11: : <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN qlen 1000
link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
.....
[ ~]# vconfig add ens37 20
Added VLAN with VID == 20 to IF -:ens37:-

给两个VLAN端口进行配置,写入网桥brvlan

[ network-scripts]# cp ifcfg-ens37 ifcfg-ens37.10
[ network-scripts]# vim ifcfg-ens37.10
VLAN=yes
TYPE=vlan
PHYSDEV=ens37
VLAN_ID=10
NAME=ens37.10
ONBOOT=yes
ZONE=trusted
DEVICE=ens37.10
BRIDGE=brvlan-10
[ network-scripts]# cp ifcfg-ens37.10 ifcfg-ens37.20
[ network-scripts]# vim ifcfg-ens37.20
VLAN=yes
TYPE=vlan
PHYSDEV=ens37
VLAN_ID=10
NAME=ens37.10
ONBOOT=yes
ZONE=trusted
DEVICE=ens37.10
BRIDGE=brvlan-10
:%s/10/20/g

结果:
VLAN=yes
TYPE=vlan
PHYSDEV=ens37
VLAN_ID=20
NAME=ens37.20
ONBOOT=yes
ZONE=trusted
DEVICE=ens37.20
BRIDGE=brvlan-20

添加两块网桥

[ ~]# brctl addbr brvlan-10
[ ~]# brctl addbr brvlan-20

配置网桥

[ network-scripts]# vim ifcfg-brvlan-10
TYPE=bridge
BOOTPROTO=static
NAME=brvlan-10
DEVICE=brvlan-10
ONBOOT=yes
[ network-scripts]# vim ifcfg-brvlan-20
TYPE=bridge
BOOTPROTO=static
NAME=brvlan-20
DEVICE=brvlan-20
ONBOOT=yes

将网桥brvlan-10 接到网口ens37.10,brvlan-20 接到网口ens37.20,用命令brctl addif

[ network-scripts]# brctl addif brvlan-10 ens37.10
[ network-scripts]# brctl addif brvlan-20 ens37.20

重启,查看,

[ network-scripts]# systemctl stop NetworkManager
[ network-scripts]# systemctl restart network
[ network-scripts]# ip a
11: : <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master brvlan-10 state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
12: : <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master brvlan-20 state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
13: brvlan-10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::20c:29ff:fecc:506/64 scope link
       valid_lft forever preferred_lft forever
14: brvlan-20: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::20c:29ff:fecc:506/64 scope link
       valid_lft forever preferred_lft forever

4> 克隆虚拟机

       实验会用到两台虚拟机,但由于宿主机192.168.16.3仅有一台虚拟机centos7.0,因此需要克隆一份虚拟再做实验。

       克隆虚拟机的两种方式:图形界面直接克隆、代码界面利用命令 virsh -clone进行克隆。

1) 图形化界面克隆

       将要克隆的虚拟机关机,右键进行克隆。

kvm网络虚拟化管理

kvm网络虚拟化管理2) 命令行界面克隆

下载virt

[ ~]# mount /dev/cdrom /mnt
mount: /dev/sr0 写保护,将以只读方式挂载
[ ~]# yum install virt* -y

克隆

[ ~]# virt-clone -o centos7.0 -n vm2 -f /var/lib/libvirt/vm2.qcow2
成功克隆 ‘vm2‘。

查看

[ ~]# virsh list --all
 Id    名称                         状态
----------------------------------------------------
 -     centos7.0                      关闭
 -     vm1                            关闭
 -     vm2                            关闭

5> 虚拟机连接网桥

VM1连brvlan-10,VM2连brvlan-20

kvm网络虚拟化管理

kvm网络虚拟化管理

6> 开启两台虚拟机。此时我们的框架已经搭好了。

kvm网络虚拟化管理

7> 测试两台虚拟机是否能通信

为了能够测试,先手动给两个虚拟机设置ip

       vm1:10.10.10.10  ;vm2:10.10.10.20

kvm网络虚拟化管理

kvm网络虚拟化管理

此时两台虚拟机是互不相通的,因为brvlan-10和brvlan-20不在同一个网段,将其改到以同一个网段再测试

kvm网络虚拟化管理

kvm网络虚拟化管理

kvm网络虚拟化管理

kvm网络虚拟化管理

若两台虚拟机想通外网,只需加一块网卡即可

kvm网络虚拟化管理

kvm网络虚拟化管理

kvm网络虚拟化管理

由于在配置文件/etc/resove.conf含有域名解析,因此能访问百度。

5. 网卡配置bond(绑定)

1>

网卡bond(绑定),也称作网卡捆绑。就是将两个或者更多的物理网卡绑定成一个虚拟网卡。网卡是通过把多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余,带宽扩容和负载均衡,在应用部署中是一种常用的技术。

       多网卡绑定实际上需要提供一个额外的软件的bond驱动程序实现。通过驱动程序可以将多块网卡屏蔽。对TCP/IP协议层只存在一个Bond网卡,在Bond程序中实现网络流量的负载均衡,即将一个网络请求重定位到不同的网卡上,来提高总体网络的可用性。

2> 网卡绑定的目的

?   提高网卡的吞吐量。

?   增强网络的高可用,同时也能实现负载均衡。

3> 网卡配置bond(绑定)bond模式:

1)Mode=0(balance-rr) 表示负载分担round-robin,平衡轮询策略,具有负载平衡和容错功能;

bond的网卡MAC为当前活动的网卡的MAC地址(bond0),需要交换机设置聚合模式,将多个网卡绑定为一条链路。

2)Mode=1(active-backup) 表示主备模式,具有容错功能,只有一块网卡是active,另外一块是备的standby,这时如果交换机配的是捆绑,将不能正常工作,因为交换机往两块网卡发包,有一半包是丢弃的。

3) Mode=2(balance-xor) 表示XOR Hash负载分担(异或平衡策略),具有负载平衡和容错功能。每个slave接口传输每个数据包和交换机的聚合强制不协商方式配合。(需要xmit_hash_policy)。

4) Mode=3(broadcast)  表示所有包从所有interface发出,广播策略,具有容错能力,这个不均衡,只有冗余机制...和交换机的聚合强制不协商方式配合。 

5)Mode=4(802.3ad) 表示支持802.3ad协议(IEEE802.3ad 动态链接聚合) 和交换机的聚合LACP方式配合(需要xmit_hash_policy)。

6)Mode=5(balance-tlb) 适配器传输负载均衡,并行发送,无法并行接收,解决了数据发送的瓶颈。 是根据每个slave的负载情况选择slave进行发送,接收时使用当前轮到的slave。 

7) Mode=6(balance-alb) 在5的tlb基础上增加了rlb。适配器负载均衡模式并行发送,并行接收数据包。

5)和6)不需要交换机端的设置,网卡能自动聚合。4需要支持802.3ad。0,2和3理论上需要静态聚合方式,但实测中0可以通过mac地址欺骗的方式在交换机不设置的情况下不太均衡地进行接收。

常用的有三种:

mode=0:平衡负载模式,有自动备援,但需要”Switch”支援及设定。

mode=1:自动备援模式,其中一条线若断线,其他线路将会自动备援。

mode=6:平衡负载模式,有自动备援,不必”Switch”支援及设定。

4> 以模式6为例演示bond

实验需要两台宿主机,每台宿主机需要五张网卡。

kvm网络虚拟化管理

1) 添加四块网卡,并克隆一台宿主机

网卡1设置为nat模式连外网,网卡2~5设置为vmnat1仅主机模式进行bond(绑定)

kvm网络虚拟化管理 

克隆虚拟机

kvm网络虚拟化管理 

2) 解绑实验环境

先将3. linux bridge实验的ens37网卡进行解绑

  1)) 关闭虚拟机,从网桥脱离网口

[ ~]# brctl show
bridge name bridge id              STP enabled interfaces
br0         8000.0050563d215c  no          ens33
brvlan-10             8000.000c2942c3f7   no          ens37.10
brvlan-20             8000.000c2942c3f7   no          ens37.20
virbr0            8000.5254009483b2  yes         virbr0-nic
[ ~]# brctl delif brvlan-10 ens37.10
[ ~]# brctl delif brvlan-20 ens37.20
[ ~]# brctl show
bridge name bridge id              STP enabled interfaces
br0         8000.0050563d215c  no          ens33
brvlan-10             8000.000000000000  no         
brvlan-20             8000.000000000000  no

    2))删除网桥

[ ~]# brctl delbr brvlan-10
bridge brvlan-10 is still up; can‘t delete it    #命令行无法进行删除,使用图形化界面进行删除
[ ~]# nmtui
kvm网络虚拟化管理

kvm网络虚拟化管理

        3)) 删除虚拟网口

[ ~]# vconfig rem ens37.10
Removed VLAN -:ens37.10:-
[ ~]# vconfig rem ens37.20
Removed VLAN -:ens37.20:-

3)将ens37、38、39、40都配置绑定为bond0

[ ~]# cd /etc/sysconfig/network-scripts/
[ network-scripts]# vim ifcfg-ens37
TYPE=Ethernet
BOOTPROTO=none
DEVICE=ens37
ONBOOT=yes
MASTER=bond0
SLAVE=yes
[ network-scripts]# vim ifcfg-ens38
TYPE=Ethernet
BOOTPROTO=none
DEVICE=ens38
ONBOOT=yes
MASTER=bond0
SLAVE=yes

[ network-scripts]# vim ifcfg-ens39
TYPE=Ethernet
BOOTPROTO=none
DEVICE=ens39
ONBOOT=yes
MASTER=bond0
SLAVE=yes

[ network-scripts]# vim ifcfg-ens40
TYPE=Ethernet
BOOTPROTO=none
DEVICE=ens40
ONBOOT=yes
MASTER=bond0
SLAVE=yes

4) 加载bonding模块

[ network-scripts]# modprobe bonding

5) 创建bond0网卡配置文件

[ network-scripts]# vim ifcfg-bond0
DEVICE=bond0
TYPE=Bond
NAME=bond0
BONDING_MASTER=yes                      #设置为 绑定网卡主
BOOTPROTO=static
USERCTL=no
ONBOOT=yes
BONDING_OPTS="mode=6 miimon=100"        #模式6,检测100秒网卡的状态
BRIDGE=br1 

6) 配置网桥br1

[ network-scripts]# vim ifcfg-br1
TYPE=Bridge
DEVICE=br1
ONBOOT=yes
BOOTPROTO=static
NAME=br1

7) 在br1上创建虚拟网口br1.10、br1.20

[ network-scripts]# brctl addbr br1           #添加虚拟网口
[ network-scripts]# brctl addbr br2
[ network-scripts]# vconfig add br1 10        #添加VLAN
Added VLAN with VID == 10 to IF -:br1:-
[ network-scripts]# vconfig add br1 20
Added VLAN with VID == 20 to IF -:br1:-
[ network-scripts]# ip a
15: br1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff
16: br2: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 66:1c:df:79:22:3a brd ff:ff:ff:ff:ff:ff
17: : <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff
18: : <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff

8) 创建虚拟网桥brvlan-10、brvlan-20

[ network-scripts]# brctl addbr brvlan-10
[ network-scripts]# brctl addbr brvlan-20

9) 连接虚拟网桥和VLAN接口

[ network-scripts]# brctl addif brvlan-10 br1.10
[ network-scripts]# brctl addif brvlan-20 br1.20
[ network-scripts]# brctl show
brvlan-10             8000.62272604332f   no          br1.10
brvlan-20             8000.62272604332f   no          br1.20

10) 配置虚拟网口

[ network-scripts]# vim ifcfg-br1.10
VLAN=yes
TYPE=vlan
PHYSDEV=br1
VLAN_ID=10
NAME=br1.10
ONBOOT=yes
ZONE=trusted
DEVICE=br1.10
BRIDGE=brvlan-10

[ network-scripts]# vim ifcfg-br1.20
VLAN=yes
TYPE=vlan
PHYSDEV=br1
VLAN_ID=20
NAME=br1.20
ONBOOT=yes
ZONE=trusted
DEVICE=br1.20
BRIDGE=brvlan-20

11) 配置虚拟网桥

[ network-scripts]# vim ifcfg-brvlan-10
TYPE=bridge
BOOTPROTO=static
NAME=brvlan-10
DEVICE=brvlan-10
ONBOOT=yes

[ network-scripts]# vim ifcfg-brvlan-20
TYPE=bridge
BOOTPROTO=static
NAME=brvlan-20
DEVICE=brvlan-20
ONBOOT=yes

12) 重启网络

[ network-scripts]# systemctl restart network
[ network-scripts]# ip a
.......
17: : <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master brvlan-10 state UP qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff
18: : <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master brvlan-20 state UP qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff

13) 打开虚拟机,连接测试

修改网卡连接

kvm网络虚拟化管理

kvm网络虚拟化管理

kvm网络虚拟化管理

kvm网络虚拟化管理

kvm网络虚拟化管理

用vm1 ping vm2,由于vm1处在brvlan-10而vm2处在brvlan-20,不在同一网段,因此无法ping通。

kvm网络虚拟化管理

kvm网络虚拟化管理

如果将vm1、vm2设置为同一个VLAN,则两台虚拟机可以ping通

kvm网络虚拟化管理

kvm网络虚拟化管理

转自:https://www.cnblogs.com/ajunyu/p/11073956.html

相关推荐