duqiang 2014-10-23
最近项目组有用到这三个缓存,去各自的官方看了下,觉得还真的各有千秋!今天特意归纳下各个缓存的优缺点,仅供参考!
Ehcache
在java项目广泛的使用。它是一个开源的、设计于提高在数据从RDBMS中取出来的高花费、高延迟采取的一种缓存方案。正因为Ehcache具有健壮性(基于java开发)、被认证(具有apache2.0license)、充满特色(稍后会详细介绍),所以被用于大型复杂分布式webapplication的各个节点中。
什么特色?
1.够快
Ehcache的发行有一段时长了,经过几年的努力和不计其数的性能测试,Ehcache终被设计于large,highconcurrencysystems.
2.够简单
开发者提供的接口非常简单明了,从Ehcache的搭建到运用运行仅仅需要的是你宝贵的几分钟。其实很多开发者都不知道自己用在用Ehcache,Ehcache被广泛的运用于其他的开源项目
比如:hibernate
3.够袖珍
关于这点的特性,官方给了一个很可爱的名字smallfootprint,一般Ehcache的发布版本不会到2M,V2.2.3才668KB。
4.够轻量
核心程序仅仅依赖slf4j这一个包,没有之一!
5.好扩展
Ehcache提供了对大数据的内存和硬盘的存储,最近版本允许多实例、保存对象高灵活性、提供LRU、LFU、FIFO淘汰算法,基础属性支持热配置、支持的插件多
6.监听器
缓存管理器监听器(CacheManagerListener)和缓存监听器(CacheEvenListener),做一些统计或数据一致性广播挺好用的
如何使用?
够简单就是Ehcache的一大特色,自然用起来justsoeasy!
贴一段基本使用代码
CacheManagermanager=CacheManager.newInstance("src/config/ehcache.xml");
Ehcachecache=newCache("testCache",5000,false,false,5,2);
cacheManager.addCache(cache);
代码中有个ehcache.xml文件,现在来介绍一下这个文件中的一些属性
name:缓存名称。
maxElementsInMemory:缓存最大个数。
eternal:对象是否永久有效,一但设置了,timeout将不起作用。
timeToIdleSeconds:设置对象在失效前的允许闲置时间(单位:秒)。仅当eternal=false对象不是永久有效时使用,可选属性,默认值是0,也就是可闲置时间无穷大。
timeToLiveSeconds:设置对象在失效前允许存活时间,最大时间介于创建时间和失效时间之间。仅当eternal=false对象不是永久有效时使用,默认是0.,也就是对象存活时间无穷大。
overflowToDisk:当内存中对象数量达到maxElementsInMemory时,Ehcache将会对象写到磁盘中。
diskSpoolBufferSizeMB:这个参数设置DiskStore(磁盘缓存)的缓存区大小。默认是30MB。每个Cache都应该有自己的一个缓冲区。
maxElementsOnDisk:硬盘最大缓存个数。
diskPersistent:是否缓存虚拟机重启期数据WhetherthediskstorepersistsbetweenrestartsoftheVirtualMachine.Thedefaultvalueisfalse.
diskExpiryThreadIntervalSeconds:磁盘失效线程运行时间间隔,默认是120秒。
memoryStoreEvictionPolicy:当达到maxElementsInMemory限制时,Ehcache将会根据指定的策略去清理内存。默认策略是LRU。你可以设置为FIFO或是LFU。
clearOnFlush:内存数量最大时是否清除。
memcache
memcache是一种高性能、分布式对象缓存系统,最初设计于缓解动态网站数据库加载数据的延迟性,你可以把它想象成一个大的内存HashTable,就是一个key-value键值缓存。DangaInteractive为了LiveJournal所发展的,以BSDlicense释放的一套开放源代码软件。
1.依赖
memcacheC语言所编写,依赖于最近版本的GCC和libevent。GCC是它的编译器,同事基于libevent做socketio。在安装memcache时保证你的系统同事具备有这两个环境。
2.多线程支持
memcache支持多个cpu同时工作,在memcache安装文件下有个叫threads.txt中特别说明,Bydefault,memcachediscompiledasasingle-threadedapplication.默认是单线程编译安装,如果你需要多线程则需要修改./configure--enable-threads,为了支持多核系统,前提是你的系统必须具有多线程工作模式。开启多线程工作的线程数默认是4,如果线程数超过cpu数容易发生操作死锁的概率。结合自己业务模式选择才能做到物尽其用。
3.高性能
通过libevent完成socket的通讯,理论上性能的瓶颈落在网卡上。
简单安装:
1.分别把memcached和libevent下载回来,放到/tmp目录下:
#cd/tmp
#wgethttp://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz
#wgethttp://www.monkey.org/~provos/libevent-1.2.tar.gz
2.先安装libevent:
#tarzxvflibevent-1.2.tar.gz
#cdlibevent-1.2
#./configure-prefix=/usr
#make(如果遇到提示gcc没有安装则先安装gcc)
#makeinstall
3.测试libevent是否安装成功:
#ls-al/usr/lib|greplibevent
lrwxrwxrwx1rootroot2111??1217:38libevent-1.2.so.1->libevent-1.2.so.1.0.3
-rwxr-xr-x1rootroot26354611??1217:38libevent-1.2.so.1.0.3
-rw-r-r-1rootroot45415611??1217:38libevent.a
-rwxr-xr-x1rootroot81111??1217:38libevent.la
lrwxrwxrwx1rootroot2111??1217:38libevent.so->libevent-1.2.so.1.0.3
还不错,都安装上了。
4.安装memcached,同时需要安装中指定libevent的安装位置:
#cd/tmp
#tarzxvfmemcached-1.2.0.tar.gz
#cdmemcached-1.2.0
#./configure-with-libevent=/usr
#make
#makeinstall
如果中间出现报错,请仔细检查错误信息,按照错误信息来配置或者增加相应的库或者路径。
安装完成后会把memcached放到/usr/local/bin/memcached,
5.测试是否成功安装memcached:
#ls-al/usr/local/bin/mem*
-rwxr-xr-x1rootroot13798611??1217:39/usr/local/bin/memcached
-rwxr-xr-x1rootroot14017911??1217:39/usr/local/bin/memcached-debug
启动memcache服务
启动Memcached服务:
1.启动Memcache的服务器端:
#/usr/local/bin/memcached-d-m8096-uroot-l192.168.77.105-p12000-c256-P/tmp/memcached.pid
-d选项是启动一个守护进程,
-m是分配给Memcache使用的内存数量,单位是MB,我这里是8096MB,
-u是运行Memcache的用户,我这里是root,
-l是监听的服务器IP地址,如果有多个地址的话,我这里指定了服务器的IP地址192.168.77.105,
-p是设置Memcache监听的端口,我这里设置了12000,最好是1024以上的端口,
-c选项是最大运行的并发连接数,默认是1024,我这里设置了256,按照你服务器的负载量来设定,
-P是设置保存Memcache的pid文件,我这里是保存在/tmp/memcached.pid,
2.如果要结束Memcache进程,执行:
#cat/tmp/memcached.pid或者ps-aux|grepmemcache(找到对应的进程id号)
#kill进程id号
也可以启动多个守护进程,不过端口不能重复。
memcache的连接
telnetipport
注意连接之前需要再memcache服务端把memcache的防火墙规则加上
-ARH-Firewall-1-INPUT-mstate--stateNEW-mtcp-ptcp--dport3306-jACCEPT
重新加载防火墙规则
serviceiptablesrestart
OK,现在应该就可以连上memcache了
在客户端输入stats查看memcache的状态信息
pidmemcache服务器的进程ID
uptime服务器已经运行的秒数
time服务器当前的unix时间戳
versionmemcache版本
pointer_size当前操作系统的指针大小(32位系统一般是32bit)
rusage_user进程的累计用户时间
rusage_system进程的累计系统时间
curr_items服务器当前存储的items数量
total_items从服务器启动以后存储的items总数量
bytes当前服务器存储items占用的字节数
curr_connections当前打开着的连接数
total_connections从服务器启动以后曾经打开过的连接数
connection_structures服务器分配的连接构造数
cmd_getget命令(获取)总请求次数
cmd_setset命令(保存)总请求次数
get_hits总命中次数
get_misses总未命中次数
evictions为获取空闲内存而删除的items数(分配给memcache的空间用满后需要删除旧的items来得到空间分配给新的items)
bytes_read读取字节数(请求字节数)
bytes_written总发送字节数(结果字节数)
limit_maxbytes分配给memcache的内存大小(字节)
threads当前线程数
redis
redis是在memcache之后编写的,大家经常把这两者做比较,如果说它是个key-valuestore的话但是它具有丰富的数据类型,我想暂时把它叫做缓存数据流中心,就像现在物流中心那样,order、package、store、classification、distribute、end。现在还很流行的LAMPPHP架构不知道和redis+mysql或者redis+mongodb的性能比较(听群里的人说mongodb分片不稳定)。
先说说reidis的特性
1.支持持久化
redis的本地持久化支持两种方式:RDB和AOF。RDB在redis.conf配置文件里配置持久化触发器,AOF指的是redis没增加一条记录都会保存到持久化文件中(保存的是这条记录的生成命令),如果不是用redis做DB用的话还会不要开AOF,数据太庞大了,重启恢复的时候是一个巨大的工程!
2.丰富的数据类型
redis支持String、Lists、sets、sortedsets、hashes多种数据类型,新浪微博会使用redis做nosql主要也是它具有这些类型,时间排序、职能排序、我的微博、发给我的这些功能List和sortedset
的强大操作功能息息相关
3.高性能
这点跟memcache很想象,内存操作的级别是毫秒级的比硬盘操作秒级操作自然高效不少,较少了磁头寻道、数据读取、页面交换这些高开销的操作!这也是NOSQL冒出来的原因吧,应该是高性能
是基于RDBMS的衍生产品,虽然RDBMS也具有缓存结构,但是始终在app层面不是我们想要的那么操控的。
4.replication
redis提供主从复制方案,跟mysql一样增量复制而且复制的实现都很相似,这个复制跟AOF有点类似复制的是新增记录命令,主库新增记录将新增脚本发送给从库,从库根据脚本生成记录,这个过程非常快,就看网络了,一般主从都是在同一个局域网,所以可以说redis的主从近似及时同步,同事它还支持一主多从,动态添加从库,从库数量没有限制。主从库搭建,我觉得还是采用网状模式,如果使用链式(master-slave-slave-slave-slave·····)如果第一个slave出现宕机重启,首先从master接收数据恢复脚本,这个是阻塞的,如果主库数据几TB的情况恢复过程得花上一段时间,在这个过程中其他的slave就无法和主库同步了。
5.更新快
这点好像从我接触到redis到目前为止已经发了大版本就4个,小版本没算过。redis作者是个非常积极的人,无论是邮件提问还是论坛发帖,他都能及时耐心的为你解答,维护度很高。有人维护的话,让我们用的也省心和放心。目前作者对redis的主导开发方向是redis的集群方向。
redis的安装
redis的安装其实还是挺简单的,总的来说就三步:下载tar包,解压tar包,安装。
不过最近我在2.6.7后用centos5.532bit时碰到一个安装问题,下面我就用图片分享下安装过程碰到的问题,在redis文件夹内执行make时有个如下的错undefinedreferenceto'__sync_add_and_fetch_4'
上网找了了好多最后在https://github.com/antirez/redis/issues/736找到解决方案,writeCFLAGS=-march=i686onsrc/Makefilehead!
记得要把刚安装失败的文件删除,重新解压新的安装文件,修改Makefile文件,再make安装。就不会发现原来那个错误了
关于redis的一些属性注释和基本类型操作在上一篇redis的开胃菜有详细的说明,这里就不再重复累赘了(实质是想偷懒,哈哈!)
最后,把memcache和redis放在一起不得不会让人想到两者的比较,谁快谁好用啊,群里面已经为这个事打架很久了,我就把我看到的在这里跟大家分享下。
在别人发了一个memcache性能比redis好很多后,redis作者antirez发表了一篇博文,主要是说到如何给redis和memcache做压力测试,文中讲到有个人说许多开源软件都应该丢进厕所,因为他们的压力测试脚本太2了,作者对这个说明了一番。redisvsmemcacheisdefinitelyanappletoapplecomparison。呵呵,很明确吧,两者的比较是不是有点鸡蛋挑骨头的效果,作者在相同的运行环境做了三次测试取多好的值,得到的结果如下图:
需要申明的是此次测试在单核心处理的过程的数据,memcache是支持多核心多线程操作的(默认没开)所以在默认情况下上图具有参考意义,若然则memcache快于redis。那为什么redis不支持多线程多核心处理呢?作者也发表了一下自己的看法,首先是多线程不变于bug的修复,其实是不易软件的扩展,还有数据一致性问题因为redis所有的操作都是原子操作,作者用到一个词nightmare噩梦,呵呵!当然不支持多线程操作,肯定也有他的弊端的比如性能想必必然差,作者从2.2版本后专注rediscluster的方向开发来缓解其性能上的弊端,说白了就是纵向不行,横向提高。