认识缓存之服务器缓存(varnish)

qlf00 2014-08-08

    在没有任何优化的情况下,每个HTTP请求,web服务器都必须从服务器磁盘中读取请求页面的数据,然后发送给客户端。相对于内存访问速度来说,磁盘访问的速度极其缓慢。把要访问的页面缓存到内存中,下次访问直接从内存中读取,能有效加快web应用的访问速度。

一、传统代理和反向代理

    一般情况下,使用浏览器直接连接其他web站点取得网络信息,直接联系到目的站点服务器,目的站点服务器把信息发送过来。

    介于客户端和web服务器之间的另一台服务器称为代理服务器,浏览器不直接到web服务器取回网页,而向代理服务器发送请求,信号先送到代理服务器,由代理服务器取回浏览器所需的信息并传送给浏览器。

认识缓存之服务器缓存(varnish)
    大部分代理服务器具有缓冲功能,好像是一个cache,有很大存储空间,不断将新取得的数据存储到本地存储器上。如果本地存储器上已经存在用户请求的数据而且是最新的,直接将存储器上的数据发送给用户,这样就能够显著调高浏览器速度和效率。

    代理服务器所做的工作是将用户HTTP请求转发给web服务器,再将从web服务器收到的响应数据发送给用户浏览器。所以,web服务器的角度看,代理服务器和用户浏览器的本质是一样的,他们都扮演着HTTP代理的角色。

   反向代理和传统代理原理相似,只是使用对象不同。传统代理使用对象是客户端程序,而反向代理使用对象是服务端程序。这是其成为“反向代理”根本原因。

    引入反向代理后,客户通过反向代理服务器间访问web服务器,从而把后端web服务器隐藏。不过用户并不关心这些,反向代理服务器完美充当用户中心的web服务器。至于反向代理服务器和后端web服务器沟通,和传统代理的本质一样。

   反向代理有两个作用:①利用反向代理服务器的安全特性处理事务;②利用高速缓存特性在高并发的服务器上加速。

二、静态页面局部动态内容更新

    页面静态化是搭建高性能网站必用的招式之一,页面静态化可以有效提升系统响应速度,同时也有利于搜索引擎优化。但在页面静态化后,静态页面之间包含(例如所有的静态页面包含页头、页脚)以及静态页面中的局部信息的动态更新又成为新的问题。静态页面之间的包含一般有如下方案:

1、Client Side Includes(CSI):通过frame、iframe、javascript、javacript+ajax等方式将另外一个页面的内容动态包含进来。像现在流行的jquery等javascript库对此有较好的支持。

    优点:能够利用浏览器客户端并行处理及装载的机制;通过浏览器缓存机制可以降低网络传输时间,提高性能;计算放在客户端,能够降低服务器端压力

    缺点:搜索引擎优化问题;javascript兼容性问题;客户端缓存可能导致服务器端内容更新后不能及时生效;XSS等安全隐患

2、Server Side Includes(SSI):

    优点:SSI技术是通用技术,不受具体语言限制,只需要Web服务器或应用服务器支持即可,Ngnix、Apache、Tomcat、Jboss等对此都有较好的支持

    缺点:SSI在语法上不能够直接包含其他服务器的url(当然也可以通过redirect等来变通实现),因此在需要充分利用缓存及负载均衡的环境下相对不是很灵活。 

    当然如果不使用单独的缓存服务器,而是使用Ngnix,利用Ngnix对SSI及Memcached支持,通过NginxHttpSsiModule、NginxHttpMemcachedModule也可以实现页面缓存,但与专业的缓存服务器(例如Varnish)相比较,Ngnix作为缓存服务器只适合于中小规模的场合。

3、Edge Side Includes (ESI):

    Edge Side Includes(ESI) 和Server Side Includes(SSI)和功能类似。SSI需要特殊的文件后缀(shtml,inc)。ESI可以直接通过URI包含远程服务器文件,ESI更适合用于缓存服务器上,缓存整个页面或页面片段,因此ESI特别适合用于缓存。像当下流行的缓存服务器Varnish对此有所支持。

三、认识varnish

   在前面章节讲解的Apache、nginx服务器中,我们已经看到了反向代理和缓存的功能。其实varnish的功能也非常强大,它不仅仅包含这两项功能,还具备ESI静态页面和动态内容整合的功能。总结来说,varnish主要具备这三项功能:①反向代理功能;②高速缓存的功能;③ESI静态页面和动态内容在服务器端整合的功能;

1、varnish缓存功能有如下优点:

  • 是基于内存缓存,重启后数据将消失;
  • 利用虚拟内存方式,IO性能好。
  • 支持设置0~60秒内的精确缓存时间。
  • VCL配置管理比较灵活
  • 32位机器上缓存文件大小最大为2G
  • 具有强大的管理功能,例如top、stat、admin、list等。
  • 状态机设计巧妙,结构清晰
  • 利用二叉堆管理缓存文件,达到积极删除目的

2、varnish的ESI,可以非常容易的实现:

  • 与用户个性化无关的信息:直接由Varnish+ESI就可以实现。对于动态变化的局部页面,可以在ESI制定的url地址返回的http header的Cache-Control来指定缓存策略,实现局部页面缓存(fragment caching)。
  • 与用户个性化信息相关:对于整个页面的缓存策略仍然使用Varnish+ESI方式。而需要fragment caching的局部页面,可以根据用户Cookie信息获得用户身份标识信息(例如userid),然后在ESI的URL中带上用户身份信息提交到后端的Web服务器或应用服务器以获取与用户个性化相关的信息。

四、安装VARNISH

tar zxvf varnish-3.0.1.tar.gz
cd varnish-3.0.1
./configure --prefix=/usr/local/varnish
make
make install

 五、配置varnish

# This is a basic VCL configuration file for varnish.  See the vcl(7)
# man page for details on VCL syntax and semantics.
#
# Default backend definition.  Set this to point to your content
# server.
#将varnish配置为代理服务器,host为web服务器的IP地址
#port为web服务器监听端口
 backend default {
     .host = "192.168.88.156";
     .port = "80";
     ###下面三行为新加配
     .connect_timeout = 1s;
     .first_byte_timeout = 5s;
     .between_bytes_timeout = 2s;
 }
#
# Below is a commented-out copy of the default VCL logic.  If you
# redefine any of these subroutines, the built-in logic will be
# appended to your code.

#请求刚刚到达varnish时,调用vcl_recv函数,这里要做的就是:告诉varnish那些请求需要
#先查找缓存,那些请求直接发送到后端服务器。
 sub vcl_recv {
     if (req.restarts == 0) {
        if (req.http.x-forwarded-for) {
            set req.http.X-Forwarded-For =
                req.http.X-Forwarded-For + ", " + client.ip;
        } else {
            set req.http.X-Forwarded-For = client.ip;
        }
     }
     if (req.request != "GET" &&
       req.request != "HEAD" &&
       req.request != "PUT" &&
       req.request != "POST" &&
       req.request != "TRACE" &&
       req.request != "OPTIONS" &&
       req.request != "DELETE") {
         /* Non-RFC2616 or CONNECT which is weird. */
         return (pipe);
     }
     if (req.request != "GET" && req.request != "HEAD") {
         /* We only deal with GET and HEAD by default */
         return (pass);
     }
     if (req.http.Authorization || req.http.Cookie) {
         /* Not cacheable by default */
         return (pass);
     }
     return (lookup);
 }
#
 sub vcl_pipe {
#     # Note that only the first request to the backend will have
#     # X-Forwarded-For set.  If you use X-Forwarded-For and want to
#     # have it set for all requests, make sure to have:
#     # set bereq.http.connection = "close";
#     # here.  It is not set by default as it might break some broken web
#     # applications, like IIS with NTLM authentication.
     return (pipe);
 }
#
 sub vcl_pass {
     return (pass);
 }
#
 sub vcl_hash {
     hash_data(req.url);
     if (req.http.host) {
         hash_data(req.http.host);
     } else {
         hash_data(server.ip);
     }
     return (hash);
 }
#
 sub vcl_hit {
     return (deliver);
 }
#
 sub vcl_miss {
     return (fetch);
 }
#varnish从后端获取内容后调用vcl_fetch函数,决定那些内容需要缓存,那些不需要
 sub vcl_fetch {
     if (beresp.ttl <= 0s ||
         beresp.http.Set-Cookie ||
         beresp.http.Vary == "*") {
                /*
                 * Mark as "Hit-For-Pass" for the next 2 minutes
                 */
                set beresp.ttl = 120 s;
                return (hit_for_pass);
     }
     return (deliver);
 }
#
 sub vcl_deliver {
     return (deliver);
 }
#
# sub vcl_error {
#     set obj.http.Content-Type = "text/html; charset=utf-8";
#     set obj.http.Retry-After = "5";
#     synthetic {"
# <?xml version="1.0" encoding="utf-8"?>
# <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
#  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
# <html>
#   <head>
#     <title>"} + obj.status + " " + obj.response + {"</title>
#   </head>
#   <body>
#     <h1>Error "} + obj.status + " " + obj.response + {"</h1>
#     <p>"} + obj.response + {"</p>
#     <h3>Guru Meditation:</h3>
#     <p>XID: "} + req.xid + {"</p>
#     <hr>
#     <p>Varnish cache server</p>
#   </body>
# </html>
# "};
#     return (deliver);
# }
#
 sub vcl_init {
        return (ok);
 }
#
 sub vcl_fini {
        return (ok);
 }

六、启动并查看Varnish

1、启动指令

/usr/local/varnish/sbin/varnishd -f /usr/local/varnish/etc/varnish/default.vcl -s malloc,1024m -T 127.0.0.1:200 -a 0.0.0.0:80

2、HTTP中的varnish服务表示

Via: 1.1 varnish

3、查看Varnish缓存状态

/usr/local/varnish/bin/varnishstat  -n /data/varnish/cache

4、有关Varnish更新问题(php实现更新)

vcl_recv {
    if (req.request == "PURGE") {
             if (!client.ip ~purge){
                     error 405 "Not allowed";
             }
     ban("req.http.host == " +req.http.host+" && req.url ~ "+req.url);
     error 200 "Ban added";
}
$ret=varnish_purge('10.10.10.11','10.10.10.11','/');
echo $ret ?"Success":"Failure";

function varnish_purge($ip, $host, $url){
	$errstr = '';
	$errno = '';
	$fp = fsockopen ($ip, 80, $errno, $errstr, 10);
	if (!$fp){
		return false;
	}else{
		$out = "PURGE {$url} HTTP/1.1 ";
		$out .= "Host:{$host} ";
		$out .= "Connection: close ";
		fputs ($fp, $out);
		$out = fgets($fp);
		fclose ($fp);
		return true;
	}
}

注意:如果要用好Varnish,还需要学习vcl。

相关推荐