caifengguo 2010-07-14
分布式内存共享。目前在PHP领域中能够做到分布式内存共享的只有Memcache。1.memcached详细介绍。
LiveJournal.com使用了memcached在前端进行缓存,取得了良好的效果,而像wikipedia,sourceforge等也采用了或即将采用memcached作为缓存工具。memcached可以大规模网站应用发挥巨大的作用。
Memcached是什么?
Memcached是高性能的,分布式的内存对象缓存系统,用于在动态应用中减少数据库负载,提升访问速度。
Memcached由DangaInteractive开发,用于提升LiveJournal.com访问速度的。LJ每秒动态页面访问量几千次,用户700万。Memcached将数据库负载大幅度降低,更好的分配资源,更快速访问。
如何使用memcached-Server端?
在服务端运行:
#./memcached-d-m2048-l10.0.0.40-p11211
这将会启动一个占用2G内存的进程,并打开11211端口用于接收请求。由于32位系统只能处理4G内存的寻址,所以在大于4G内存使用PAE的32位服务器上可以运行2-3个进程,并在不同端口进行监听。
如何使用memcached-Client端?
在应用端包含一个用于描述Client的Class后,就可以直接使用,非常简单。
PHPExample:
$options["servers"]=array("192.168.1.41:11211","192.168.1.42:11212");
$options["debug"]=false;
$memc=newMemCachedClient($options);
$myarr=array("one","two",3);
$memc->set("key_one",$myarr);
$val=$memc->get("key_one");
print$val[0]."\n";//prints'one‘
print$val[1]."\n";//prints'two‘
print$val[2]."\n";//prints3
为什么不使用数据库做这些?
暂且不考虑使用什么样的数据库(MS-SQL,Oracle,Postgres,MysQL-InnoDB,etc..),实现事务(ACID,Atomicity,Consistency,Isolation,andDurability)需要大量开销,特别当使用到硬盘的时候,这就意味着查询可能会阻塞。当使用不包含事务的数据库(例如Mysql-MyISAM),上面的开销不存在,但读线程又可能会被写线程阻塞。
Memcached从不阻塞,速度非常快。
为什么不使用共享内存?
最初的缓存做法是在线程内对对象进行缓存,但这样进程间就无法共享缓存,命中率非常低,导致缓存效率极低。后来出现了共享内存的缓存,多个进程或者线程共享同一块缓存,但毕竟还是只能局限在一台机器上,多台机器做相同的缓存同样是一种资源的浪费,而且命中率也比较低。
MemcachedServer和Clients共同工作,实现跨服务器分布式的全局的缓存。并且可以与WebServer共同工作,WebServer对CPU要求高,对内存要求低,MemcachedServer对CPU要求低,对内存要求高,所以可以搭配使用。
Mysql4.x的缓存怎么样?
Mysql查询缓存不是很理想,因为以下几点:
当指定的表发生更新后,查询缓存会被清空。在一个大负载的系统上这样的事情发生的非常频繁,导致查询缓存效率非常低,有的情况下甚至还不如不开,因为它对cache的管理还是会有开销。
在32位机器上,Mysql对内存的操作还是被限制在4G以内,但memcached可以分布开,内存规模理论上不受限制。
Mysql上的是查询缓存,而不是对象缓存,如果在查询后还需要大量其它操作,查询缓存就帮不上忙了。
如果要缓存的数据不大,并且查询的不是非常频繁,这样的情况下可以用Mysql查询缓存,不然的话memcached更好。
数据库同步怎么样?
这里的数据库同步是指的类似MysqlMaster-Slave模式的靠日志同步实现数据库同步的机制。
你可以分布读操作,但无法分布写操作,但写操作的同步需要消耗大量的资源,而且这个开销是随着slave服务器的增长而不断增长的。
下一步是要对数据库进行水平切分,从而让不同的数据分布到不同的数据库服务器组上,从而实现分布的读写,这需要在应用中实现根据不同的数据连接不同的数据库。
当这一模式工作后(我们也推荐这样做),更多的数据库导致更多的让人头疼的硬件错误。
Memcached可以有效的降低对数据库的访问,让数据库用主要的精力来做不频繁的写操作,而这是数据库自己控制的,很少会自己阻塞自己。
Memcached快吗?
非常快,它使用libevent,可以应付任意数量打开的连接(使用epoll,而非poll),使用非阻塞网络IO,分布式散列对象到不同的服务器,查询复杂度是O(1)。(于敦德)
参考资料:
DistributedCachingwithMemcached|LinuxJournal
http://www.danga.com/
http://www.linuxjournal.com/article/74512.memcached在freebsd下的安装:
代码:
#cd/usr/ports/databases/memcached/
#makeinstall
步骤2:启动memcached
代码:
#/usr/bin/memcached-d-m128-l192.168.1.1-p11211-uhttpd
参数解释:
-d以守护程序(daemon)方式运行memcached;
-m设置memcached可以使用的内存大小,单位为M;
-l设置监听的IP地址,如果是本机的话,通常可以不设置此参数;
-p设置监听的端口,默认为11211,所以也可以不设置此参数;
-u指定用户,如果当前为root的话,需要使用此参数指定用户。
以上以完成了memcached的安装及启动!
使用时按要求填上IP与端口既可3.memcached的工作原理
首先memcached是以守护程序方式运行于一个或多个服务器中,随时接受客户端的连接操作,客户端可以由各种语言编写,目前已知的客户端API包括Perl/PHP/Python/Ruby/Java/C#/C等等。PHP等客户端在与memcached服务建立连接之后,接下来的事情就是存取对象了,每个被存取的对象都有一个唯一的标识符key,存取操作均通过这个key进行,保存到memcached中的对象实际上是放置内存中的,并不是保存在cache文件中的,这也是为什么memcached能够如此高效快速的原因。注意,这些对象并不是持久的,服务停止之后,里边的数据就会丢失。
4.安装php对memcache支持模块
有两种方法可以使PHP作为memcached客户端,调用memcached的服务进行对象存取操作。
第一种,PHP有一个叫做memcache的扩展,Linux下编译时需要带上–enable-memcache[=DIR]选项,Window下则在php.ini中去掉php_memcache.dll前边的注释符,使其可用。
http://pecl.php.net/package/memcache
除此之外,还有一种方法,可以避开扩展、重新编译所带来的麻烦,那就是直接使用php-memcached-client。
http://nio.infor96.com/wp-content/uploads/2006/04/memcached-client.zip
本文选用第二种方式,虽然效率会比扩展库稍差一些,但问题不大。