Openstack之一：环境准备及基础服务

在SQL数据库服务器上安装mariadb，并配置组件

1、安装软件包：

# yum install mariadb mariadb-server  -y

2、创建并编辑 vim  <span>/etc/my.cnf.d/openstack.cnf</span>，然后完成如下动作：

在[mysqld]中，设置“bind-address”值为控制节点的管理网络IP地址以是的其他节点可以通过管理网络访问访问数据库。设置其他关键字来设置一些有用的选项和UTF-8编码：

[mysqld]
bind-address = 0.0.0.0
default-storage-engine = innodb
innodb_file_per_table = on
max_connections = 4096
collation-server = utf8_general_ci
character-set-server = utf8

完成安装启动数据库服务

1、启动数据库服务，并将其配置为开机自启：

# systemctl enable mariadb.service
# systemctl start mariadb.service

2、数据库初始化设置

# mysql_secure_installation

五、在SQL数据库服务器上安装Rabbitmq-server服务

参考文档：https://docs.openstack.org/ocata/zh_CN/install-guide-rdo/environment-messaging.html

1、安装rabbitmq-server，并配置组件

1、安装包：

# yum install rabbitmq-server  -y

2、安装完成后先不要启动rabbitmq-server服务，需要先将hosts文件修改，再启动，否则无法启动。

[ yum.repos.d]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.7.106 mysql1 mysql1.blog.net #只需要解析前面部分，不需要全部解析域名
192.168.7.107 mysql2 mysql2.blog.net

3、启动消息队列服务并将其配置为随系统启动：

# systemctl enable rabbitmq-server.service
# systemctl start rabbitmq-server.service
# rabbitmq-plugins enable rabbitmq_management #开启web管理界面插件
# systemctl   restart rabbitmq-server   #重启rabbitMQ服务

4、访问web界面：默认用户名为guest密码为guest。

2、部署rabbitMQ集群：

Rabbitmq的集群是依赖于erlang的集群来工作的，所以必须先构建起erlang的集群环境。而Erlang的集群中各节点是通过一个magic cookie来实现的，这个cookie存放在 /var/lib/rabbitmq/.erlang.cookie 中，文件是400的权限。

所以必须保证各节点cookie保持一致，否则节点之间就无法通信。

1、将mysql1服务器的cookie文件复制到mysql2的服务器上

[ ~]# scp /var/lib/rabbitmq/.erlang.cookie  192.168.7.107:/var/lib/rabbitmq/  # 保证两遍的cookie文件一致

2、各节点重启rabbitMQ服务并验证端口：　　

[ ~]# systemctl  restart rabbitmq-server
[ ~]# systemctl  restart rabbitmq-server

3、验证端口号：

5672：消费者访问的端口
15672：web管理端口
25672：集群状态通信端口

4、停止所有节点RabbitMq服务，然后使用detached参数独立运行，这步很关键，尤其增加节点停止节点后再次启动遇到无法启动都可以参照这个顺序。　　

[ ~]# systemctl  stop  rabbitmq-server
[ ~]# systemctl  stop  rabbitmq-server
[ ~]# systemctl  stop  rabbitmq-server
[ ~]# rabbitmq-server -detached
[ ~]# rabbitmq-server -detached
[ ~]# rabbitmq-server -detached

5、查看各rabbitMQ服务的集群状态：　　

[ ~]# rabbitmqctl  cluster_status
Cluster status of node 
[{nodes,[{disc,[]}]},
 {running_nodes,[]},
 {cluster_name,<<"">>},
 {partitions,[]},
 {alarms,[{,[]}]}]
[ ~]# rabbitmqctl  cluster_status
Cluster status of node 
[{nodes,[{disc,[]}]},
 {running_nodes,[]},
 {cluster_name,<<"">>},
 {partitions,[]},
 {alarms,[{,[]}]}]

6、在rabbitmq-mysql1作为内存节点连接起来，并作为内存节点，在rabbitmq-mysql1执行以下命令：　　

[ ~]# rabbitmqctl  stop_app #停止应程序
[ ~]# rabbitmqctl   reset #清空元数据

[ ~]# rabbitmqctl  join_cluster  --ram #将rabbitmq-server1添加到集群当中，并成为内存节点，不加--ram默认是磁盘节点
 Clustering node  with 

[ ~]# rabbitmqctl  cluster_status     #查询集群添加后的状态
Cluster status of node 
[{nodes,[{disc,[]},{ram,[]}]},
 {alarms,[{,[]}]}]

[ ~]# rabbitmqctl  start_app  #添加完集群之后不要忘记启动app应用程序

 7、更改镜像模式，同步rabbitmq两边集群的一致性。

[ ~]# rabbitmqctl set_policy  ha-all "#"  ‘{"ha-mode":"all"}‘
Setting policy "ha-all" for pattern "#" to "{\"ha-mode\":\"all\"}" with priority "0"    #"#"为任意0个或多个即为所有，也可以使用"^test"匹配开头，还可以使用其他正则匹配

 8、创建rabbitmq账号，并授予读写权限。

[ ~]# rabbitmqctl  add_user openstack openstack123  #创建openstack账号，密码为openstack123
Creating user "openstack"
[ ~]# rabbitmqctl set_permissions openstack ".*" ".*" ".*"  #授予openstack用户账号读写权限
Setting permissions for user "openstack" in vhost "/"

 可以看到此时两边的rabbitmq服务器都会同步有一个openstack账号，访问网页：192.168.7.107:15627

五、安装并配置memcached服务

 1、安装memcached服务，做实验用了yum安装，生产环境中需要源码编译，需要有高可用。

[ ~]# yum install memcached -y

 2、配置memcached文件：vim  /etc/sysconfig/memcached

PORT="11211"
USER="memcached"
MAXCONN="4096"  #最大连接数改为4096
CACHESIZE="1024" #内存改为1G
OPTIONS="-l 0.0.0.0,::1" #监听端口改为0.0.0.0

 3、将memcached配置文件复制到另一个节点上，并启动服务且设置为开机启动

[ ~]# scp /etc/sysconfig/memcached 192.168.7.107:/etc/sysconfig/
[ ~]# systemctl start memcached
[ ~]# systemctl enable  memcached

 在两台控制端安装控制msyql和memcached组件

[ ~]# yum install python2-PyMySQL   -y
[ ~]# yum install python-memcached -y

 六、安装并配置haproxy和keepalived服务　

 1、单独找一个机器，安装配置keepalived文件

1、安装keepalived文件

[ ~]# yum install haproxy keepalived  -y

2、配置keepalived文件

global_defs {
   notification_email {
     
     
     
   }
   notification_email_from 
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   vrrp_iptables   #添加此项，就不会出现iptables防火墙规则
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER  #默认为MASTER角色
    interface eth0
    virtual_router_id 51
    priority 100   #优先级改为100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.7.248 dev eth0 label eth0:0   #添加VIP地址
    }
}

3、启动keepalived服务

[ ~]# systemctl start keepalived

  2、安装配置haproxy文件

 1、安装haproxy文件

[ ~]# yum install haproxy keepalived  -y

  2、配置haproxy，并监听mysql数据库和rabbit端口 ：vim  /etc/haproxy/haproxy.cfg

global
maxconn 100000 
#chroot /usr/local/haproxy  #不是源码编译，暂时注释掉
#stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
user haproxy
group haproxy
daemon
nbproc 2   绑定两个cpu就开启下面两个，绑定四个就开启四个
cpu-map 1 0
cpu-map 2 1
#cpu-map 3 2
#cpu-map 4 3
pidfile /usr/local/haproxy/run/haproxy.pid
log 127.0.0.1 local3 info
 
defaults
option http-keep-alive
option  forwardfor
maxconn 100000
mode http
timeout connect 300000ms
timeout client  300000ms
timeout server  300000ms
 
listen stats
 mode http
 bind 0.0.0.0:9999
 stats enable
 log global
 stats uri     /haproxy-status
 stats auth    haadmin:q1w2e3r4ys

listen openstack_web_port
    bind 192.168.7.248:3306 #监听后端数据库服务
    mode tcp
    log global
    server 192.168.7.106 192.168.7.106:3306 check inter 3000 fall 3 rise 5

listen openstack_rabbitmq_port
    bind 192.168.7.248:5672  #监听后端rabbitmq服务
    mode tcp
    log global
    server 192.168.7.106 192.168.7.106:5672 check inter 3000 fall 3 rise 5
    server 192.168.7.107 192.168.7.107:5672 check inter 3000 fall 3 rise 5 backup


listen openstack_rabbitmq_port
    bind 192.168.7.248:11211   #监听后端memcached服务
    mode tcp
    log global
    server 192.168.7.106 192.168.7.106:11211 check inter 3000 fall 3 rise 5
    server 192.168.7.107 192.168.7.107:11211 check inter 3000 fall 3 rise 5 backup

3、启动haproxy服务

[ ~]# systemctl start haproxy

 七、在控制端测试连接效果

    1、测试数据库，此时已经可以连接

[ ~]# telnet 192.168.7.248 3306
Trying 192.168.7.248...
Connected to 192.168.7.248.
Escape character is ‘^]‘.
HHost ‘192.168.7.100‘ is not allowed to connect to this MariaDB serverConnection closed by foreign host.  #由于没有授权，暂时不能连接

　2、测试rabbitmq，此时已经可以连接

[ ~]# telnet 192.168.7.248 5672
Trying 192.168.7.248...
Connected to 192.168.7.248.
Escape character is ‘^]‘.

　3、测试memcached服务，此时都可以连接

[ ~]# telnet 192.168.7.248 11211
Trying 192.168.7.248...
Connected to 192.168.7.248.
Escape character is ‘^]‘.

到此，openstack基础的环境搭建准备已经完成，后续更精彩！！！