Hibernate Shards - 关系数据库水平分割解决方案框架

jacklife 2010-10-24

1。水平分割:按记录进分分割,不同的记录可以分开保存,每个子表的列数相同。

水平分割通常在下面的情况下使用:

A 表很大,分割后可以降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,提高查询速度。

B 表中的数据本来就有独立性,例如表中分别记录各个地区的数据或不同时期的数据,特别是有些数据常用,而另外一些数据不常用。

C需要把数据存放到多个介质上。

例如法规表law就可以分成两个表active-law和 inactive-law。activea-authors表中的内容是正生效的法规,是经常使用的,而inactive-law表则使已经作废的法规,不常被查询。水平分割会给应用增加复杂度,它通常在查询时需要多个表名,查询所有数据需要union操作。在许多数据库应用中,这种复杂性会超过它带来的优点,因为只要索引关键字不大,则在索引用于查询时,表中增加两到三倍数据量,查询时也就增加读一个索引层的磁盘次数。

2。垂直分割:按列进行分割,即把一条记录分开多个地方保存,每个子表的行数相同。

把主码和一些列放到一个表,然后把主码和另外的列放到另一个表中。如果一个表中某些列常用,而另外一些列不常用,则可以采用垂直分割,另外垂直分割可以使得数据行变小,一个数据页就能存放更多的数据,在查询时就会减少I/O 次数。其缺点是需要管理冗余列,查询所有数据需要join操作。 

例如有表T1

idnameqty

--------------

1p110

2p220

3p330

4p440

......

......

垂直分割就是按列进行分割,即把一条记录分开多个地方保存,每个子表的行数相同。 例如表T1,可以把id和name放到数据文件p1,把qty放到数据文件p2。

水平分割就是按记录进分分割,不同的记录可以分开保存,每个子表的列数相同。 像表T1,可以把id为单数的放到数据文件P1,双数的放到数据文件P2

表散列与水平分割相似,但没有水平分割那样的明显分割界限, 它由哈希函数和键值决定一条记录的保存文件,这样是为了IO更加均衡。

分布式数据库技术一般可以从2个方面来实现,纵向分割和横向分割。

所谓纵向分割,即以数据库表为单位进行分割,不同的数据库表存储在不同的数据库里。例如:有数据库表1,2,3,4,5,6;其中表1,2存储在数据库A中,表3,4,5,6存储在数据库B,这样的分割方案便是纵向分割。

所谓横向分割,即让同一个表的数据分别存储在不同的数据库中。例:表1中前10000条数据存储在数据库A中,10001-20000条数据存储在数据库B中,...

数据库分布式是一个比较复杂的技术,需要经过充分设计和验证。

HibernateShards是一个Hibernate应用横向分割的分布式数据库解决方案的框架。它可以让一个Hibernate应用比较简单地加入横向分割的数据库分布式功能。

HibernateShards主要有以下特点:

1,沿袭Hibernate标准编程模型-也就是说如果你已经熟悉了Hibernate,那么也就会了HibernateShards,不必要学习新的HibernateShards使用方法

2,柔软的分割策略-你可以使用默认的分割方法,也可以定义你自己的分割策略

3,支持VirtualShards-你可以简单地修改分隔策略,HibernateShards的此特性让你简单地重新分割你的数据

4,免费,开放源代码-HibernateShards发布在LGPL(LesserGNUPublicLicense)授权之下

查看HibernateShards快速开发指南,通过它你可以了解怎么样使用HibernateShards对数据进行横向分割。

HibernateShards:

http://www.hibernate.org/414.html

HibernateShards英文文档:

http://www.hibernate.org/hib_docs/shards/reference/en/html/

数据库中的水平分割和垂直分割http://blog.csdn.net/haydenwang8287/archive/2010/02/24/5321600.aspx

hibernate shards源自google的一个工程师小团队的20%项目。它提供一个对数据库水平分割的解决方案。

hibernateshards是对hibernatecore进行了扩展,降低了复杂度。从概念上可以分成2部分。

1、基础逻辑

该部分对

•org.hibernate.Session

•org.hibernate.SessionFactory

•org.hibernate.Criteria

•org.hibernate.Query

进行了扩展。

•org.hibernate.shards.session.ShardedSession

•org.hibernate.shards.ShardedSessionFactory

•org.hibernate.shards.criteria.ShardedCriteria

•org.hibernate.shards.query.ShardedQuery

你可以很方便的使用就像普通的hibernate应用。

2、应用逻辑部分

提供三个接口,用来处理具体的实现策略

•org.hibernate.shards.strategy.selection.ShardSelectionStrategy

•org.hibernate.shards.strategy.resolution.ShardResolutionStrategy

•org.hibernate.shards.strategy.access.ShardAccessStrategy

ShardAccessStrategy:

获取数据的策略,目前已经包含的实现有:

SequentialShardAccessStrategy:顺序策略

ParallelShardAccessStrategy:并发策略

如果你想只取某一个库,目前你只能通过取具体的数据库的SessionFactory。目前在策略里还不支持取其中的某个或某几个库,暂时是所有

数据库都参与。

ShardSelectionStrategy:

当一个新数据保存时,决定存储到那个数据库。

ShardResolutionStrategy:

当数据修改后,判断同步到哪一个数据库。

官方文档

http://docs.jboss.org/hibernate/stable/shards/reference/en/html/index.html

相关推荐