MySQL5.6 新性能之交换分区(exchange partitions)

lclcsmart 2020-04-30

MySQL5.6 新性能之交换分区(exchange partitions)

说明:文章内容起源于网络并结合自己的实验而得;但参考的文章地址当时没记录下来,如果发现有侵权问题,请留言。

~
~
分区是MySQL5.1版本时添加了对分区的支持。
分区的过程是将一个表或者索引分解为多个更小,更可管理的部分,每个分区都是独立的对象,可以独立处理,也可以作为一个更大的对象的一部分进行处理。

MySQL数据库支持的分区类型为水平分区,并不支持垂直分区。

此外MySQL数据库的分区是局部分区索引,一个分区中既存放了数据又存放了索引。而全局分区是指数据存放在各个分区中,而索引存放在一个对象中。目前MySQL数据库还不支持全局分区。

MySQL5.6 ,让分区交换成了现实。只需要通过ALTER TABLE ...EXCHANGE PARTITION语句即可,也就是说,可以在短暂的时间内将某一个分区内的数据移到其他(独立)表中。
假设有分区表P和未分区表T,他们除去分区属性不同外,其他列属性都一样,那么可用EXCHANGE PARTITION将P的某个分区和T表中的数据进行互换;也就是P中某分区的数据会剪切的存入T,而T中数据会剪切的存入P分区。利用该功能可用将T表数据载入分区中,也可用将分区数据导出到T表中。
该操作需要永远ALTER, INSERT, CREATE, DROP权限。

一、实验

实验一:交换主分区
备注:matchedVideo中分区viacom有2410806行记录,如果要将这部分数据备份出来,MySQL 5.1需要新建临时表,然后把这部分数据导出去;

1>备份某一分区数据

mysql> create table matchedVideo4 like matchedVideo;
Query OK, 0 rows affected (1 min 13.84 sec)

mysql> insert into matchedVideo4 select * from matchedVideo where company_id = 14;
Query OK, 2410806 rows affected (12 min 28.41 sec)
Records: 2410806  Duplicates: 0  Warnings: 0

2>删除某一个分区数据(分区保留)

mysql> delete from matchedVideo4 where company_id = 14;
Query OK, 2410806 rows affected (8 min 47.76 sec)

-- 删除分区的时间为insert+delete的执行时间约为20分钟。

然而MySQL5.6在性能上有了很大的改进,大大的缩短了时间。

mysql> create table matchedVideo2 like matchedVideo;
Query OK, 0 rows affected (1 min 13.84 sec)

mysql> ALTER TABLE matchedVideo2 REMOVE PARTITIONING;
Query OK, 0 rows affected (16.88 sec)
Records: 0  Duplicates: 0  Warnings: 0

-- 删除分区信息,使matchedVideo2称为列属性相同的普通表,以便实现将单个分区数据放入单个表进行归档。

mysql> select * from matchedVideo where company_id = 14;
+----------+
| count(*) |
+----------+
|  2410806 |
+----------+
1 row in set (0.00 sec)

mysql> ALTER TABLE matchedVideo EXCHANGE PARTITION Viacom WITH TABLE matchedVideo2;
Query OK, 0 rows affected (0.67 sec)

-- 交换分区Viacom的数据到普通表中

mysql> select count(*) from matchedVideo2;
+----------+
| count(*) |
+----------+
|  2410806 |
+----------+
1 row in set (4.24 sec)

mysql> select * from matchedVideo where company_id = 14;
+----------+
| count(*) |
+----------+
|        0 |
+----------+
1 row in set (0.00 sec)

二、交换分区应遵循以下原则:

1>被交换的表为没有分区,但是有相同结构的表

2>未分区表中的记录必须要在另一表的分区或子分区范围内

mysql> ALTER TABLE matchedVideo EXCHANGE PARTITION Viacom WITH TABLE matchedVideo2;

Query OK, 0 rows affected (0.58 sec)
mysql> update matchedVideo2 set company_id = 10 where id = 75537347;
Query OK, 1 row affected (0.23 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> ALTER TABLE matchedVideo EXCHANGE PARTITION Viacom WITH TABLE matchedVideo2;
ERROR 1737 (HY000): Found a row that does not match the partition

3>交换表中不允许有外键

分区在不同引擎中的情况:
分区功能并不是在存储引擎层完成,因此不是只有InnoDB存储引擎支持分区,常见的存储引擎MyISAM,NDB等都支持,但也不是所有的都支持,CSV,FEDORATED,MERGE等就不支持。
下面我们来看下InnoDB,MyISAM的区别:
不管是5.1还是5.6版本,引擎在处理数据不存在分区的情况是一样的

Innodb

mysql>     create table t (
    ->     id int) engine=innodb
    ->     partition by range (id) (
    ->     partition p0 values less than (10),
    ->     partition p1 values less than (20));
Query OK, 0 rows affected (3.25 sec)

 11:30:42>insert into t(id) values(3),(4),(10),(13),(21);
ERROR 1526 (HY000): Table has no partition for value 21
 11:32:18>select * from t;
Empty set (0.00 sec)

MyISAM

mysql>     create table tt (
    ->     id int) engine=myisam
    ->     partition by range (id) (
    ->     partition p0 values less than (10),
    ->     partition p1 values less than (20));
Query OK, 0 rows affected (0.10 sec)

 11:31:10>insert into tt(id) values(3),(4),(10),(13),(21);
ERROR 1526 (HY000): Table has no partition for value 21
 11:31:59>select * from tt;
+------+
| id   |
+------+
|    3 |
|    4 |
|   10 |
|   13 |
+------+
4 rows in set (0.00 sec)

由此可见,当插入多行记录数据时不存在与分区中,InnoDB会全部回滚,而MyISAM会从出错的数据那行开始回滚,之前的都会插入。

三、分区分类

分区分类包括:Range,List,Hash,Key分区四类
mysql5.5开始支持COLUMNS分区 ,视为RANGE分区和LIST分区的一种进化,columns分区可以直接使用非整型的数据进行分区,分区根据类型直接比较而得,不需要转化为整型,此外,columns分区可以对多个列的值进行分区支持INT,SMALLINT,TINYINT,BIGINT.DATE,DATETIME,CHAR,VARCHAR,BINARY,VARBINARY类型

MySQL5.1

11:57:19>    CREATE TABLE t_columns_range51(
    ->     a INT,
    ->     b DATETIME) ENGINE=INNODB
    ->     PARTITION BY RANGE (TO_DAYS(b))
    ->     (PARTITION p0 VALUES LESS THAN(TO_DAYS(‘2009-01-01‘)),
    ->     PARTITION p1 VALUES LESS THAN(TO_DAYS(‘2010-01-01‘)));
Query OK, 0 rows affected (0.42 sec)

 11:57:19>insert into t_columns_range51(a,b) values(1,‘2009-02-01‘);
Query OK, 1 row affected (0.00 sec)

 11:58:18>select table_name,partition_name,table_rows from information_schema.partitions where table_name =‘t_columns_range51‘;
+-------------------+----------------+------------+
| table_name        | partition_name | table_rows |
+-------------------+----------------+------------+
| t_columns_range51 | p0             |          0 |
| t_columns_range51 | p1             |          1 |
+-------------------+----------------+------------+
2 rows in set (0.00 sec)

MySQL5.6

mysql>     CREATE TABLE t_columns_range(
    ->     a INT,
    ->     b DATETIME) ENGINE=INNODB
    ->     PARTITION BY RANGE COLUMNS (b)
    ->     (PARTITION p0 VALUES LESS THAN(‘2009-01-01‘),
    ->     PARTITION p1 VALUES LESS THAN(‘2010-01-01‘));
Query OK, 0 rows affected (0.26 sec)

mysql> insert into t_columns_range(a,b) values (1,‘2009-02-01‘);
Query OK, 1 row affected (0.05 sec)

mysql> select table_name,partition_name,table_rows from information_schema.partitions where table_name =‘t_columns_range‘;
+-----------------+----------------+------------+
| table_name      | partition_name | table_rows |
+-----------------+----------------+------------+
| t_columns_range | p0             |          0 |
| t_columns_range | p1             |          1 |
+-----------------+----------------+------------+
2 rows in set (0.03 sec)

mysql> create table c1(
    -> a varchar(25),
    -> b varchar(25),
    -> city varchar(15)
    -> )
    -> partition by list columns(city)(
    -> partition p1 values in(‘xx‘,‘yy‘),
    -> partition p2 values in(‘uu‘,‘vv‘));
Query OK, 0 rows affected (0.46 sec)

mysql> insert into c1(a,b,city) values(‘a‘,‘a‘,‘xx‘);
Query OK, 1 row affected (5.41 sec)

mysql> select table_name,partition_name,table_rows from information_schema.partitions where table_name =‘c1‘;
+------------+----------------+------------+
| table_name | partition_name | table_rows |
+------------+----------------+------------+
| c1         | p1             |          1 |
| c1         | p2             |          0 |
+------------+----------------+------------+
2 rows in set (0.00 sec)

对于range columns分区,可以使用多个列进行分区,如

mysql> create table c2(
    -> a int,
    -> b int,
    -> c varchar(15)
    -> )
    -> partition by range columns(a,b,c)(
    -> partition p1 values less than (5,10,‘xbb‘),
    -> partition p2 values less than (10,20,‘icey‘),
    -> partition p5 values less than (maxvalue,maxvalue,maxvalue));
Query OK, 0 rows affected (0.16 sec)

mysql> insert into c2(a,b,c) values(3,20,‘xbb‘);
Query OK, 1 row affected (0.04 sec)

mysql>  select table_name,partition_name,table_rows from information_schema.partitions where table_name =‘c2‘;
+------------+----------------+------------+
| table_name | partition_name | table_rows |
+------------+----------------+------------+
| c2         | p1             |          1 |
| c2         | p2             |          0 |
| c2         | p5             |          0 |
+------------+----------------+------------+
3 rows in set (0.00 sec)

mysql> insert into c2(a,b,c) values(12,22,‘xbb‘);
Query OK, 1 row affected (0.02 sec)

mysql>  select table_name,partition_name,table_rows from information_schema.partitions where table_name =‘c2‘;
+------------+----------------+------------+
| table_name | partition_name | table_rows |
+------------+----------------+------------+
| c2         | p1             |          1 |
| c2         | p2             |          0 |
| c2         | p5             |          1 |
+------------+----------------+------------+
3 rows in set (0.00 sec)

当行列中有一半以上满足某一个分区,则存与那个分区中

四、注意:

1.分区优化器只对YEAR(),TO_DAYS(),TO_SECONDS(),UNIX_TIMESTAMP()这类函数进行优化选择,如果人为的定义分区,如按照年月做分区(201102),year(date)+month(date),优化器不会根据分区进行选择,会扫描所有的分区。正确的应该用to_days来进行分区。

2.分区中的null不同的类型处理也不同
1>对于Range分区,如果向分区列插入NULL值,则MySQL数据库会将该值放入最左边的分区。但删除分区时,删除的将是小于分区的值,并且还有Null的值。
2>对于List分区,如果要使用NULL值,则必须在List中标明哪个分区中放入NULL值,否则插入报错。。
3>Hash和key分区对于NULL值的处理方法和list和range分区不一样,任何函数都会将含有NUll值的记录返回0.

~
~
完毕!

相关推荐

zgxzowen / 0评论 2015-07-01