详解Linux系统流量复制--gor、tcpcopy、nginx模块流量复制等

manzhe 2019-06-01

概述

对于一些有并发要求的业务,特别是对接外部流量时,产品上线前一定要做的就是压力测试,但是常规的压力测试并不能覆盖所有情况。以gemeter、ab,、webbench、http_load为例,这些通过模拟请求的压测工具,只能发送特定的参数,对于一些参数异常导致的程序处理异常是无法考虑到的,所以就需要一款能复制真实流量,并且不影响线上业务的工具。

流量复制工具有很多,例如Gor、tcpreplay、tcpcopy等,这些工具贴合真实场景,能模拟真实流量,并支持流量的放大或缩小,更容易测试出程序的瓶颈和潜在问题。

几款流量复制工具:

  • gor: https://github.com/buger/goreplay
  • tcpreplay: https://github.com/appneta/tcpreplay
  • tcpcopy: https://github.com/session-replay-tools/tcpcopy

详解Linux系统流量复制--gor、tcpcopy、nginx模块流量复制等

  • Nginx模块ngx_http_mirror_module,在Nginx 1.13.4中开始引入

下面重点介绍nginx模块ngx_http_mirror_module和gor。


流量复制--Nginx模块ngx_http_mirror_module

详解Linux系统流量复制--gor、tcpcopy、nginx模块流量复制等

参考配置

配置如下:

server {
 listen 8080;
 access_log /home/work/log/nginx/org.log;
 root html/org;
}
server {
 listen 8081;
 access_log /home/work/log/nginx/mir.log ;
 root html/mir;
}
upstream backend {
 server 127.0.0.1:8080;
}
upstream test_backend {
 server 127.0.0.1:8081;
}
server {
 listen 80;
 server_name localhost;
 #charset koi8-r;
 #access_log logs/host.access.log main;
 location / {
 mirror /mirror;
 proxy_pass http://backend;
 }
 location /mirror {
 internal;
 proxy_pass http://test_backend$request_uri;
 }
}

流量放大,配置两个mirror即可

location / {
 mirror /mirror;
 mirror /mirror;
 proxy_pass http://backend;
 }

使用是很方便,但是线上nginx一般都承载了不止一个业务,修改nginx配置后需要nginx -s reload来使之生效,这种操作在线上还是尽量需要避免的。


流量复制--gor

Gor 是用 Golang 写的一个 HTTP 实时流量复制工具。功能更强大,支持流量的放大、缩小,频率限制,还支持把请求记录到文件,方便回放和分析,也支持和 ElasticSearch 集成,将流量存入 ES 进行实时分析。

详解Linux系统流量复制--gor、tcpcopy、nginx模块流量复制等

1、下载安装

只需要下载安装,也可以下载编译好的二进制文件直接使用

#wget https://github.com/buger/goreplay/releases/download/v0.16.1/gor_0.16.1_x64.tar.gz
#tar xzvf gor_0.16.1_x64.tar.gz

2、流量复制

gor也可以将流量复制到文件,然后再对他们进行回放。回放的时候,流量会维持原始的时间间隔。如果使用了百分比来进行速率限制,那么回放的速率会相应的增加或减少。有了这种速率限制,gor就可以用来进行压力测试。

#write to file
gor --input-raw :80 --output-file requests_origin.gor
#read from file
gor --input-file requests_origin.gor --output-http "http://localhost:8081"

3、流量回放

目前,这种方式只支持"input-file",而且只能用百分比去控制回放速率。请注意,这个回放的速率比例是相对于input的。即按照录下来的流量的时间戳去进行回放。

#以2倍速率回放
gor --input-file "requests_origin.gor|200%" --output-http "http://localhost:8081"
如果“input-flie”是多个文件,可以用正则去匹配,
gor --input-file "requests_origin*.gor|200%" --output-http "http://localhost:8081"

配合如下配置参数,可以更好进行压力测试

--input-file-loop 重复循环执行input-file
--exit-after 30s 在30s后停止,可以控制压力测试的时间。分钟的单位是m

4、Gor常用命令

简单的HTTP流量复制

> gor --input-raw :80 --output-http "http://localhost:8081"

HTTP流量复制频率控制(获取每秒超过10个请求)

> gor --input-tcp :28020 --output-http "http://localhost:8081|10"

HTTP流量复制缩小

> gor --input-raw :80 --output-tcp "http://localhost:8081|10%"

HTTP流量记录到本地文件

> gor --input-raw :80 --output-file requests_origin.gor

HTTP流量回放和压测

> gor --input-file "requests_origin.gor|200%" --output-http "http://localhost:8081"

HTTP流量过滤复制

> gor --input-raw :8080 --output-http http://localhost:8081 --output-http-url-regexp ^www

如果大家想将生产环境的流量复制到测试环境或者其他环境,这两个方式还是不错的,tcpcopy相对比较麻烦,首推gor,不过gor不支持windows环境(反正我还没测通)。后面会分享更多devops和DBA方面的内容,感兴趣的朋友可以关注一下~

详解Linux系统流量复制--gor、tcpcopy、nginx模块流量复制等

相关推荐