Varnish4.0缓存代理配置

varnish缓存是web应用加速器，同时也作为http反向缓存代理。可以安装varnish在任何http的前端，同时配置它缓存内容。与传统的squid相比，varnish具有性能更高、速度更快、管理更加方便等诸多优点。

Varnish与Squid 的对比

相同点： 同是反向代理服务器、开源

Varnish的优势：

1、Varnish的稳定性很高，Squid 服务器发生故障的几率要高于Varnish，因为使用 Squid 要经常重启
2、Varnish访问速度更快，缓存数据都直接从内存读取，而Squid是从硬盘读取，所以Varnish要快于Squid
3、Varnish可以支持更多的并发连接，因为Varnish的 TCP连接释放要比Squid快，因而在高并发连接情况下可以支持更多TCP连接
4、Varnish可以通过管理端口，使用正则表达式批量的清除部分缓存，而Squid是做不到的；Squid属于是单进程使用单核CPU，但Varnish是通过fork形式打开多进程来做处理，所以可以合理的使用所有核来处理相应的请求

Varnish 的缺点：

1、varnish进程一旦Crash或者重启，所有缓存数据都会丢失，在高并发下，给后端服务器造成很大压力
2、在 varnish 使用中如果单个url的请求通过 HA/F5 等负载均衡，则每次请求落在不同的varnish服务器中，造成请求都会被穿透到后端；而且同样的请求在多台服务器上缓存，也会造成varnish的缓存的资源浪费，造成性能下降

Varnish 劣势的解决方案：

缺点1：在访问量很大的情况下推荐使用 varnish 的内存缓存方式启动，而且后面需要 跟多台 squid/nginx 服务器。主要为了防止前面的varnish服 务、服务器被重启的情况下， 大量请求穿透varnish，这样squid/nginx可以就担当第二层CACHE，而且也弥补了varnish缓存在内存中重启都会释放的问题
缺点2：可以在负载均衡上做url哈希，让单个url请求固定请求到一台varnish服务器上

Varnish 中内置子程序

vcl_recv子程序：
开始处理请求，通过return(动作);选择varnish处理模式，默认进入hash缓存模式（即return(hash);），缓存时间为配置项default_ttl（默认为120秒）过期保持时间default_grace（默认为10秒）。该子程序一般用于模式选择，请求对象缓存及信息修改，后端节点修改，终止请求等操作。

vcl_pipe子程序：
pipe模式处理，该模式主要用于直接取后端响应内容返回客户端，可定义响应内容返回客户端。该子程序一般用于需要及时且不作处理的后端信息，取出后端响应内容后直接交付到客户端不进入vcl_deliver子程序处理。

vcl_pass子程序：
pass模式处理，该模式类似hash缓存模式，仅不做缓存处理。

vcl_hit子程序：
hash缓存模式时，存在hash缓存时调用，用于缓存处理，可放弃或修改缓存。

vcl_miss子程序：
hash缓存模式时，不存在hash缓存时调用，用于判断性的选择进入后端取响应内容，可以修改为pass模式。

vcl_hash子程序：
hash缓存模式，生成hash值作为缓存查找键名提取缓存内容，主要用于缓存hash键值处理，可使用hash_data(string) 指定键值组成结构，可在同一个页面通过IP或cookie生成不同的缓存键值。

vcl_purge子程序：
清理模式，当查找到对应的缓存时清除并调用，用于请求方法清除缓存，并报告。

vcl_deliver子程序：
客户端交付子程序，在vcl_backend_response子程序后调用（非pipe模式），或vcl_hit子程序后调用，可用于追加响应头信息、cookie等内容。

vcl_backend_fetch子程序：
发送后端请求之前调用，可用于改变请求地址或其它信息，或放弃请求。

vcl_backend_response子程序：
后端响应后调用，可用于修改缓存时间及缓存相关信息。

vcl_backend_error子程序：
后端处理失败调用，异常页面展示效果处理，可自定义错误响应内容，或修改beresp.status与beresp.http.Location重定向等。

vcl_synth 子程序：
自定义响应内容。可以通过 synthetic（）和返回值synth调用，这里可以自定义异常显示内容，也可以修改resp.status与resp.http.Location重定向。

vcl_init 子程序：
加载vcl时最先调用，用于初始化VMODs，该子程序不参与请求处理，仅在vcl加载时调用一次。

vcl_fini 子程序：
卸载当前vcl配置时调用，用于清理VMODs，该子程序不参与请求处理，仅在vcl正常丢弃后调用。

附上一张原理图（摘自网络）

varnish应用案例：

环境

web01(httpd)：192.168.154.137
web02(httpd)：192.168.154.138
varnish：192.168.154.139

步骤

web01&web02

yum -y install httpd
firewall-cmd --add-port=80/tcp --permanent
firewall-cmd --reload
setenforce 0

安装varnish

下载地址：http://varnish-cache.org/releases/index.html
我使用的是varnish-4.0.3.tar.gz这个包

tar zxf varnish-4.0.3.tar.gz
cd varnish-4.0.3/
./configure && make && make install

/usr/local/var/varnish/default.vcl文件的配置如下

#加载后端负载均衡模块
import directors;
#加载 std 模块
import std;
#创建名为 backend_healthcheck 的健康检查策略
probe backend_healthcheck {
 .url="/";
 .interval = 5s;
 .timeout = 1s;
 .window = 5;
 .threshold = 3;
}
#定义后端服务器
backend web_app_01 {
 .host = "192.168.154.137";                    #这里改成你的web服务器地址
 .port = "80";
 .first_byte_timeout = 9s;
 .connect_timeout = 3s;
 .between_bytes_timeout = 1s;
 .probe = backend_healthcheck;
}
backend web_app_02 {
 .host = "192.168.154.138";                    #这里改成你的web服务器地址
 .port = "80";
 .first_byte_timeout = 9s;
 .connect_timeout = 3s;
 .between_bytes_timeout = 1s;
 .probe = backend_healthcheck;
}
#定义允许清理缓存的 IP
acl purgers {
 "127.0.0.1";
 "localhost";
 "192.168.154.0/24";
}
#vcl_init 初始化子程序创建后端主机组
sub vcl_init {
 new web = directors.round_robin();
 web.add_backend(web_app_01);
 web.add_backend(web_app_02);
}
#请求入口， 用于接收和处理请求。 这里一般用作路由处理， 判断是否读取缓存和指定该请求使用哪个后端
sub vcl_recv {
 #将请求指定使用 web 后端集群 .在集群名后加上 .backend()
 set req.backend_hint = web.backend();
 # 匹配清理缓存的请求
 if (req.method == "PURGE") {
 if (!client.ip ~ purgers) {
 return (synth(405, "Not Allowed."));
 }
 # 是的话就执行清理
 return (purge);
 }
 # 如果不是正常请求 就直接穿透没商量
 if (req.method != "GET" &&req.method != "HEAD" &&
 req.method != "PUT" &&
 req.method != "POST" &&
 req.method != "TRACE" &&
 req.method != "OPTIONS" &&
 req.method != "PATCH" &&
 req.method != "DELETE") {
 return (pipe);
 }
 # 如果不是 GET 和 HEAD 就跳到 pass
 if (req.method != "GET" && req.method != "HEAD") {
 return (pass);
 }
 #如果匹配动态内容访问请求就跳到 pass
 if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
 return (pass);
 }
 #具有身份验证的请求跳到 pass
 if (req.http.Authorization) {
 return (pass);
 }
 if (req.http.Accept-Encoding) {
 if (req.url ~
 "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
 unset req.http.Accept-Encoding;
 } elseif (req.http.Accept-Encoding ~ "gzip") {
 set req.http.Accept-Encoding = "gzip";
 } elseif (req.http.Accept-Encoding ~ "deflate") {
 set req.http.Accept-Encoding = "deflate";
 } else {
 unset req.http.Accept-Encoding;
 }
 }
 if (req.url ~
 "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
 unset req.http.cookie;
 return (hash);
 }
 # 把真实客户端 IP 传递给后端服务器 后端服务器日志使用 X-Forwarded-For 来接收
 if (req.restarts == 0) {
 if (req.http.X-Forwarded-For) {set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
 } else {
 set req.http.X-Forwarded-For = client.ip;
 }
 }
 return (hash);
}
# hash 事件(缓存事件)
sub vcl_hash {
 hash_data(req.url);
 if (req.http.host) {
 hash_data(req.http.host);
 } else {
 hash_data(server.ip);
 }
 return (lookup);
}
# 缓存命中事件
 sub vcl_hit {
 if (req.method == "PURGE") {
 return (synth(200, "Purged."));
 }
 return (deliver);
}
# 缓存不命中事件
 sub vcl_miss {
 if (req.method == "PURGE") {
 return (synth(404, "Purged."));
 }
 return (fetch);
}
# 返回给用户的前一个事件 通常用于添加或删除 header 头
sub vcl_deliver {
 if (obj.hits > 0) {
 set resp.http.X-Cache = "HIT";
 set resp.http.X-Cache-Hits = obj.hits;
 } else {
 set resp.http.X-Cache = "MISS";
}
#取消显示 php 框架版本的 header 头
unset resp.http.X-Powered-By;
#取消显示 web 软件版本、 Via(来自 varnish)等 header 头 为了安全
unset resp.http.Server;
unset resp.http.X-Drupal-Cache;unset resp.http.Via;
unset resp.http.Link;
unset resp.http.X-Varnish;
#显示请求经历 restarts 事件的次数
set resp.http.xx_restarts_count = req.restarts;
#显示该资源缓存的时间单位秒
set resp.http.xx_Age = resp.http.Age;
#显示该资源命中的次数
set resp.http.hit_count = obj.hits;
#取消显示 Age 为了不和 CDN 冲突
unset resp.http.Age;
#返回给用户
return (deliver);
}
# pass 事件
sub vcl_pass {
return (fetch);
}
#处理对后端返回结果的事件(设置缓存、移除 cookie 信息、设置 header 头等) 在 fetch 事件后自动调用
sub vcl_backend_response {
#开启 grace 模式 表示当后端全挂掉后 即使缓存资源已过期(超过缓存时间) 也会把该资源返回给用户 资源最大有效时间为 5 分钟
set beresp.grace = 5m;
#后端返回如下错误状态码 则不缓存
if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
set beresp.uncacheable = true;
}
#如请求 php 或 jsp 则不缓存
if (bereq.url ~ "\.(php|jsp)(\?|$)") {
set beresp.uncacheable = true;
} else { //自定义缓存文件的缓存时长，即 TTL 值
if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
set beresp.ttl = 15m;
unset beresp.http.Set-Cookie;
} elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
set beresp.ttl = 30m;
unset beresp.http.Set-Cookie;
} else {
set beresp.ttl = 10m;
unset beresp.http.Set-Cookie;
}
}
#返回给用户return (deliver);
}
sub vcl_purge {
return (synth(200,"success"));
}
sub vcl_backend_error {
if (beresp.status == 500 ||
beresp.status == 501 ||
beresp.status == 502 ||
beresp.status == 503 ||
beresp.status == 504) {
return (retry);
}
}
sub vcl_fini {
return (ok);
}

启动varnish

/usr/local/sbin/varnishd -f /usr/local/var/varnish/default.vcl -s malloc,100M -a 0.0.0.0:80
firewall-cmd --add-port=80/tcp --permanent
firewall-cmd --reload
setenforce 0

使用/usr/local/sbin/varnishd -h可以查看启动命令的帮助

然后通过ss或者netstat查看是否正常启动

##varnish官网：http://varnish-cache.org/

##varnish官方文档：http://varnish-cache.org/docs/index.html