oZaoHua 2020-07-08
Redis3.0版本之后开始支持了Redis Cluster,Redis也开始有了分布式缓存的概念。关于Redis Cluster的相关说明,可以看之前的几篇文章:Redis Cluster 原理相关说明、redis-cli --cluster help说明。其架构如下:
因为 Redis Cluster 内部的使用的是P2P中的Gossip协议,每个节点既可以从其他节点得到服务,也可以向其他节点提供服务,没有中心的概念,通过一个节点可以获取到整个集群的所有信息。所以如果应用连接Redis Cluster可以配置一个节点地址,也可以配置多个节点地址。但需要注意如果集群进行了上下节点的的操作,其应用也需要进行修改,这样会导致需要重启应用,非常的不友好。从Redis 6.0开始支持了Prxoy,可以直接用Proxy来管理各个集群节点。本文来介绍下如何使用官方自带的proxy:redis-cluster-proxy
通过使用 redis-cluster-proxy 可以与组成Redis集群的一组实例进行通讯,就像是单个实例一样。Redis群集代理是多线程的,使用多路复用通信模型,因此每个线程都有自己的与群集的连接,该连接由属于该线程本身的所有客户端共享。
在某些特殊情况下(例如MULTI事务或阻塞命令),多路复用将被禁用;并且客户端将拥有自己的集群连接。这样客户端仅发送诸如GET和SET之类的简单命令就不需要Redis集群的专有连接。
redis-cluster-proxy的主要功能:
git clone https://github.com/RedisLabs/redis-cluster-proxy.git
-- 安装 make -- 32位二进制文??件 make 32bit -- 安装详细信息,请使用V选项 make V=1 -- 重建依赖关系 make distclean -- 启动测试 make test
注意:默认情况下,安装redis-cluster-proxy,需要配置环境变量REDIS_HOME(/etc/profile),gcc版本必须大于4.9,即:
REDIS_HOME=/usr/local/redis6.0/ export PATH=$PATH:$REDIS_HOME/bin
使用make安装,安装成功之后,执行文件proxy目录的在src下,如果使用 make install,则安装成功之后,执行文件在/usr/local/bin目录中
./redis-cluster-proxy CLUSTER_ADDRESS
说明:CLUSTER_ADDRESS是任何群集实例的主机地址(入口点),通过IP:PORT的形式表示TCP连接,或者通过指定文件名将其表示为UNIX套接字。如:
./redis-cluster-proxy 127.0.0.1:6379 ./redis-cluster-proxy /path/to/entry-point.socket
redis-cluster-proxy -h Usage: redis-cluster-proxy [OPTIONS] [node1_host:node1_port,node2_host:node2_port,...] -c <file> 指定配置文件 -p, --port <port> Proxy端口,默认7777;使用0禁止TCP连接Proxy --maxclients <n> 最大客户端连接,默认10000 --threads <n> 线程数配置,默认8,最大500 --tcpkeepalive TCP活跃连接时间,默认300秒 --tcp-backlog TCP连接中已完成队列(完成三次握手之后)的长度,默认511 --daemonize 是否后台执行 --pidfile <path> 指定pid文件,如/var/run/redis-cluster-proxy.pid --logfile <path> 定日志文件,默认情使用STDOUT。如果daemonize开启,并未指定日志文件,则该代理完全不会记录日志。 --unixsocket <sock_file> 套接字路径,默认空 --unixsocketperm <mode> 套接字权限,默认0 --bind <address> 绑定一个地址(可以多次使用绑定多个地址) --connections-pool-size <size> 连接池的大小,0禁用连接池。默认值:10,最大值:50 --connections-pool-min-size <size> 连接池中的最小连接数。 低于此值,线程将以定义的速率开始重新生成连接,直到池再次变满。 默认值:10 --connections-pool-spawn-every <ms> 重新生成连接池中连接的时间间隔(以毫秒为单位)。 默认值:50 --connections-pool-spawn-rate <num> 每个周期在连接池中重新产生的连接数。 默认值:2 --disable-multiplexing <opt> 何时应禁用多路复用值:(auto|always)(默认值:auto) --enable-cross-slot 启用跨槽查询(注意:路由到多个节点的跨槽查询不能是原子的) -a, --auth <passw> 连接密码 --auth-user <name> 连接用户 --disable-colors 禁止彩色输出 --log-level <level> 日志级别:debug|info|success|warning|error,默认info --dump-queries 转储查询参数(仅适用于日志级别的debug) --dump-buffer 转储查询缓冲区(仅用于日志级别的debug) --dump-queues 转储请求队列(仅适用于日志级别的debug) -h, --help 打印帮助
说明:默认情况下,redis-cluster-proxy端口是7777,使用-p或--port选项对其进行更改。 此外,默认情况下,Redis群集端口将绑定所有可用的网络接口以侦听传入的连接。使用--bind选项绑定到特定接口。 可以绑定一个接口,也可以通过多次使用--bind选项来绑定多个接口。
还可以通过使用--unixsocket选项指定套接字文件名,或者使用--unixsocketperm设置套接字文件权限,来告诉Redis集群端口侦听UNIX套接字。如果只想在UNIX套接字上侦听,请将--port设置为0,以使代理完全不在TCP套接字上侦听。
① 监听7888端口
./redis-cluster-proxy --port 7888 127.0.0.1:7000
② 绑定地址:127.0.0.1
./redis-cluster-proxy --bind 127.0.0.1 127.0.0.1:7000
③ 绑定多个接口
./redis-cluster-proxy --port 7888 --bind 192.168.0.10 --bind 10.0.0.10 127.0.0.1:7000
④ 在UNIX套接字上侦听并禁用TCP连接
./redis-cluster-proxy --unixsocket /path/to/proxy.socket --port 0 127.0.0.1:7000
⑤ 更改线程数
./redis-cluster-proxy --port 7888 127.0.0.1:7000 --threads 16
⑥ 使用配置文件:在Redis Cluster Proxy的主目录内找到一个示例proxy.conf文件
redis-cluster-proxy -c /path/to/my/proxy.conf 127.0.0.1:7000
启动后,连接到代理,就好像是普通的Redis服务器一样(但是请确保了解当前的限制)。
每个线程都有自己的连接池,其中包含到集群的随时可用的专用连接,该集群的套接字在创建时即已预先连接。这允许需要专用连接(即在执行诸如MULTI之类的命令或阻塞命令之后)的客户端立即使用可能已经连接到群集的连接,而不是从头开始重新连接到群集(这种情况可能会减慢顺序的速度)从客户端本身的角度执行查询)。
每个连接池都有预定义的大小,并且不允许创建超出其大小允许的连接数的连接。可以通过--connections-pool-size选项配置连接池的大小(默认为10)。当池中的连接用完时,每个需要专用连接的新客户端都将从头开始创建一个新的专用连接,它必须连接到集群并等待连接建立。在这种情况下,连接模型将是“惰性的”,这意味着仅当查询需要与该节点的连接时,新连接的套接字才会连接到群集的特定节点。
如果连接数降至指定的最小值以下后,每个线程将重新填充其自己的池,默认情况下,该数量与池本身的大小相同,并且可以通过--connections-pool-min-大小选项。填充速率和间隔可以由--connections-pool-spawn-every(间隔以毫秒为单位)和--connections-pool-spawn-rate(每个间隔的新连接数)定义。如:
redis-cluster-proxy --connections-pool-size 20 connections-pool-min-size 15 --connections-pool-spawn-rate 2 --connections-pool-spawn-every 500 127.0.0.1:7000
说明:创建一个包含20个连接(最大)的连接池,并在连接数降至15以下时重新填充它,方法是每500毫秒创建2个新连接。记住,代理启动时,每个池都将完全填充。 同样重要的是要注意,当拥有专用连接的客户端断开连接时,如果池本身尚未满,则他们的线程将尝试回收其专用连接,以便再次将其添加到池中。
如果集群节点受密码保护,则可以使用-a,-auth命令行选项或auth配置文件选项,以指定身份验证密码。此外,如果集群使用ACL,并且有多个用户,则可以使用--auth-user命令行选项(或配置文件中的auth-user)向特定用户进行身份验证。如:
redis-cluster-proxy -a MYPASSWORD 127.0.0.1:7000 redis-cluster-proxy --auth MYPASSWORD 127.0.0.1:7000 redis-cluster-proxy --auth-user MYUSER --auth MYPASSWORD 127.0.0.1:7000
proxy将使用这些凭据对集群进行身份验证并获取群集的内部配置,它还将对所有客户端进行身份验证。因此使用--auth-user指定的用户或默认用户(如果未指定用户)对将要连接到proxy的所有客户端进行身份验证,而无需自己调用AUTH命令:在这种情况下,客户端将使用专用连接而不是共享的多路复用连接。
跨槽查询使用属于不同槽甚至不同节点的多个键。 不能保证执行是原子的(它们实际上可以破坏许多Redis命令的原子设计),因此默认情况下将其禁用。 如果想要此功能,则可以在启动时通过使用--enable-cross-slot或通过在配置文件中设置enable-cross-slot yes来启用它。 您还可以在代理运行时通过使用特殊的PROXY命令激活此功能。
注意:即使启用了此功能,也不是所有命令都支持跨槽查询(即,不能将其与EVAL或ZUNIONSTORE以及许多其他命令一起使用)。 在这种情况下,将收到特定的错误回复。 可以使用PROXY命令来获取在跨槽查询中无法使用的命令列表
PROXY命令允许获取特定的信息或执行特定的操作。该命令具有各种子命令,下面是一些清单:
PROXY CONFIG GET threads PROXY CONFIG SET log-level debug PROXY CONFIG SET enable-cross-slot 1 PROXY MULTIPLEXING STATUS|OFF
-> PROXY MULTIPLEXING STATUS -> Reply: "on" -> PROXY MULTIPLEXING off
PROXY CLIENT ID: -- 获取当前客户的内部ID PROXY CLIENT THREAD: -- 获取当前客户端的线程
status:集群的当前状态,可以更新,更新或破坏 connection:连接类型,如果客户端在多路复用上下文中(因此连接与线程的所有客户端共享),则可以共享;如果客户端使用其自己的专用连接,则可以共享。 nodes:一个嵌套数组,其中包含集群的所有主节点的列表。 每个节点都是另一个嵌套的数组,其中包含名称/值对。
PROXY CLUSTER UPDATE:请求更新当前集群的配置。
如:
-> PROXY CLUSTER 1) status 2) updated 3) connection 4) shared 5) nodes 6) 1) 1) name 2) 8d829c8b66f67dd9c4adad16e5c0a4c82aadd810 3) ip 4) 127.0.0.1 5) port 6) (integer) 7002 7) slots 8) (integer) 5462 9) replicas 10) (integer) 1 11) connected 12) (integer) 1 ...
PROXY LOG [level] MESSAGE
将MESSAGE记录到代理的日志中,以进行调试。可选级别可用于定义日志级别:debug
, info
, success
, warning
, error
(默认为debug)
PROXY DEBUG
为调试目的执行不同的操作,其中子命令可以是:SEGFAULT:使用sigsegv使代理崩溃;ASSERT:由于断言失败而使代理崩溃。
PROXY SHUTDOWN [ASAP]
关闭代理。 可选的ASAP选项使代理立即退出(不安全退出)。
PROXY HELP
PROXY命令的帮助
目前,该项目是alpha代码,旨在由社区评估以获取建议和贡献。 不建议在任何生产环境中使用它。
# Redis Cluster Proxy configuration file example. # 通过配置文件启动方式 # ./redis-cluster-proxy -c /path/to/proxy.conf ################################## INCLUDES ################################### # include /path/to/local.conf # include /path/to/other.conf ######################## CLUSTER ENTRY POINT ADDRESS ########################## #与在redis-cluster-proxy命令行参数中指示的方式相同的方式指示入口点地址,可以被命令行参数本身覆盖。 可以通过添加更多行来指定多个入口点 cluster 192.168.163.134:8379 cluster 192.168.163.134:8380 cluster 192.168.163.134:8381 ################################### MAIN ###################################### #设置Redis集群代理端口 port 7777 #绑定地址,通过声明多行绑定来绑定多个接口 bind 192.168.163.134 bind 127.0.0.1 # Unix套接字的路径 unixsocket /usr/local/redis-cluster-proxy/proxy.socket # 设置Unix套接字权限 unixsocketperm 760 # 设置线程数 threads 8 #TCP活跃连接时间,默认300秒 tcpkeepalive 300 #TCP连接中已完成队列(完成三次握手之后)的长度 tcp-backlog 511 #连接池的大小,使用0完全禁用连接池,每个线程都有其随时可用的连接池。 当代理启动时,每个线程将填充一个池,该池包含与集群所有节点的连接。 每当客户端需要专用连接时,它都可以从池中建立连接(如果有)。 这将加速客户端从线程的共享连接到其自己的专用连接的转换,因为来自线程池的连接应该已经连接并且可以使用。 否则,具有优先连接的客户端必须重新连接群集的节点(这种重新连接将以“惰性”方式进行) connections-pool-size 10 #连接池中最小连接数。 低于此值,线程将以定义的速率开始重新生成连接,直到池再次变满。 connections-pool-min-size 10 #用于重新生成池中连接的时间间隔(以毫秒为单位),当池中的连接数下降到最小值以下(connections-pool-min-size)时,线程将开始重新分配池中的连接,直到池再次充满。 新连接将按此指定间隔添加。 connections-pool-spawn-every 50 #在每个周期中重新生成的连接数,每个周期的间隔由connections-pool-spawn-every定义 connections-pool-spawn-rate 50 # 后台运行 daemonize yes #pid文件路径 pidfile /usr/local/redis-cluster-proxy/redis-cluster-proxy.pid #指定日志文件名,空字符串还可用于强制Redis Cluster Porxy登录标准输出。 如果使用标准输出进行日志记录但进行守护进程,则日志将发送到/dev/null logfile /usr/local/redis-cluster-proxy/proxy.log # 启用使用不同插槽甚至不同节点的多个键的跨插槽查询。 警告:这些查询将破坏许多Redis命令的原子性设计。 注意:即使启用了此功能,也不是所有命令都支持跨槽查询 enable-cross-slot yes # 最大客户端连接数 maxclients 10000 #如果集群的节点受密码保护,则用于在集群上进行认证的认证密码, 还用于获取集群的配置以及自动验证代理与集群本身的内部连接。 auth dba # 用户认证,支持Redis 6.0 ACL auth-user dba ################################# LOGGING ##################################### # 日志等级: debug, info, success, warning o error. log-level error # 转储从客户端收到的查询到日志中(log-level debug) # dump-queries no # 转储缓冲区到日志中(log-level debug) # dump-buffer no # 转储请求的队列到日志中(log-level debug) # dump-queues no
条件:
Host:192.168.163.134 Port:8379、8380、8381 # ACL User:dba Pwd:dba
启动:
redis-cluster-proxy -c /usr/local/redis-cluster-proxy/proxy.conf
登陆:
redis-cli -h 127.0.0.1 -p 7777 127.0.0.1:7777>
管理:
> proxy help 1) PROXY <subcommand> arg arg ... arg 2) INFO [section] -- 查看Proxy信息 3) CONFIG GET <param> -- 查看Proxy参数 4) CONFIG SET <param> <value> -- 设置Proxy参数 5) MULTIPLEXING STATUS|OFF -- 获取当前客户端的多路复用状态或将其关闭 6) COMMAND [type] -- 当前已知的列表命令可用于过滤(unsupported|crosslots-unsupported) 7) CLIENT <subcmd> -- 执行特定于客户的操作(有关详细信息,请键入“PROXY CLIENT HELP”: PROXY CLIENT ID(获取当前客户端id),PROXY CLIENT THREAD(获取当前线程)) 8) CLUSTER [subcmd] -- 执行特定于群集的操作(有关详细信息,请键入“PROXY CLUSTER HELP”:INFO、STATUS、CONNECTION、NODES、UPDATE) 9) DEBUG <subcmd> -- 用于调试代理的实用程序(更多信息,请键入“PROXY DEBUG HELP”) 10) SHUTDOWN [ASAP] -- 关闭代理。 如果使用`ASAP`,请立即执行(不安全退出),否则发送SIGINT。 11) LOG [level] <message> -- 将消息记录到日志中,以进行调试 > PROXY CLIENT HELP 1) PROXY CLIENT <subcommand> [arg arg ... arg] 2) ID -- 获取客户端内部ID 3) THREAD -- 获取当前客户端的线程ID > PROXY CLUSTER HELP 1) PROXY CLUSTER [subcommand] 2) -,INFO -- 获取与调用客户端关联的集群的信息 3) STATUS -- 获取与呼叫客户端关联的群集的状态。 状态可以是:更新(updated)|更新(updating)|中断(broken) 4) CONNECTION -- 获取与调用客户端关联的群集的连接类型。 类型可以是:公有(shared)|私有(private) 5) NODES -- 获取与调用客户端关联的群集的主节点列表。 类型可以是:公有(shared)|私有(private) 6) UPDATE -- 请求更新与当前客户端关联的群集的配置。 > PROXY DEBUG HELP 1) PROXY DEBUG <subcommand> [ARGS...] 2) SEGFAULT -- Cause a SEGFAULT on the proxy 3) ASSERT -- Cause an assertion failure on the proxy 4) KILL <thread> [sig] -- Send signal to thread (can be MAIN,SELF or the thread ID). Signal can be TERM,INT,KILL or a signal number.
测试:
①:管理命令测试
-- 设置参数 > proxy config get connections-pool-size 1) connections-pool-size 2) (integer) 10 > proxy config get enable-cross-slot 1) enable-cross-slot 2) (integer) 0 > proxy config set enable-cross-slot 1 OK > proxy config set connections-pool-size 5 OK -- 查看Proxy信息 > proxy info # Proxy proxy_version:999.999.999 proxy_git_sha1:ac83840d proxy_git_dirty:0 proxy_git_branch:unstable os:Linux 4.15.0-99-generic x86_64 arch_bits:64 multiplexing_api:epoll gcc_version:7.5.0 process_id:64512 threads:8 tcp_port:7777 uptime_in_seconds:1262 uptime_in_days:0 config_file:/usr/local/redis-cluster-proxy/proxy.conf acl_user:dba unix_socket:/usr/local/redis-cluster-proxy/proxy.socket unix_socket_permissions:760 # Memory used_memory:6736984 used_memory_human:6.42M total_system_memory:2065895424 total_system_memory_human:1.92G # Clients connected_clients:1 max_clients:10000 thread_0_clinets:1 thread_1_clinets:0 thread_2_clinets:0 thread_3_clinets:0 thread_4_clinets:0 thread_5_clinets:0 thread_6_clinets:0 thread_7_clinets:0 # Cluster address:192.168.163.134:8379 entry_node:192.168.163.134:8379 -- 查看集群信息 > proxy cluster info 1) status 2) updated 3) connection 4) shared 5) nodes 6) 1) 1) name 2) 91463f2fbb73cbbda4203fe88de465cafa0423fb 3) ip 4) 192.168.163.134 5) port 6) (integer) 8380 7) slots 8) (integer) 5462 9) replicas 10) (integer) 0 11) connected 12) (integer) 1 2) 1) name 2) afec09788ceeacad2b9c4d5cd92aa986e161d93e 3) ip 4) 192.168.163.134 5) port 6) (integer) 8379 7) slots 8) (integer) 5461 9) replicas 10) (integer) 1 11) connected 12) (integer) 1 3) 1) name 2) ff7a6f8ba650540cee8355f8042854b4131d49da 3) ip 4) 192.168.163.134 5) port 6) (integer) 8381 7) slots 8) (integer) 5461 9) replicas 10) (integer) 0 11) connected 12) (integer) 1
②:应用命令测试
127.0.0.1:7777> get a "a" 127.0.0.1:7777> 127.0.0.1:7777> get b "b" 127.0.0.1:7777> get c "c" 127.0.0.1:7777> get d "d" 127.0.0.1:7777> mget a b c d (error) ERR Cross-slot queries are disabled. They can be enabled by using the --enable-cross-slot option, or by calling `PROXY CONFIG SET enable-cross-slot 1`. WARN: cross-slot queries can break the atomicity of the query itself. 127.0.0.1:7777> PROXY CONFIG SET enable-cross-slot 1 OK 127.0.0.1:7777> mget a b c d 1) "a" 2) "b" 3) "c" 4) "d" 127.0.0.1:7777> mset a abc b cbd c cba d dba OK 127.0.0.1:7777> dbsize --支持所有节点key的汇总统计 (integer) 18 127.0.0.1:7777> SDIFF a b (error) ERR Cross-slot queries are not supported for this command 127.0.0.1:7777> SINTER a b (error) ERR Cross-slot queries are not supported for this command 127.0.0.1:7777> SMOVE a b (error) ERR Cross-slot queries are not supported for this command 127.0.0.1:7777> SUNION a b (error) ERR Cross-slot queries are not supported for this command 127.0.0.1:7777> hmget hd (error) ERR wrong number of arguments for ‘hmget‘ command 127.0.0.1:7777> rename a aaaaa (error) ERR Cross-slot queries are not supported for this command
说明:通过测试发现,redis-cluster-proxy可以使用mset、mget、dbsize等跨节点和slot的操作,还有一些操作都不支持。
③:更多测试
目前没有使用redis-cluster-proxy,等需要的时候再做测试。如果正打算用的同学需要做更多的功能和性能测试。
④:更多的问题
比如如何避免Proxy的单点,Proxy的配置优化等等。
目前Redis之父在自己博客里声明:退出开源项目维护,将 Redis 交给 Redis 社区。个人感觉后面Redis 社区会稳定和逐步完善自己的Proxy。拭目以待吧!
https://github.com/RedisLabs/redis-cluster-proxy