hanshangzhi 2020-05-28
创建索引 create [unique] index indexname on tablename(columnname(length)) alter tablename add [unique] index [indexname] on (columnname(length)) ‘删除‘ drop index [indexname] on tablename ‘显示表的所有索引‘ show index from tablename ‘该语句添加一个主键,这意味着索引值必须是唯一的,且不能为NULL‘ alter table tablename primary key(column_list) ‘该语句创建索引的值必须是唯一的(除了NULL外,NULL可能会出现多次)‘ alter table tablename add unique index_name(column_list) ‘添加普通索引,索引值可出现多次‘ alter table tablename add index index_name(column_list) ‘该语句指定了索引为FULLTEXT,用于全文索引‘ alter table tablename add fulltext index_name(column_list)
1. 慢查询的开启并捕获
2. explain+慢SQL分析
3. show profile查询SQL在Mysq1服务器里面的执行细节和生命周期情况
4. SQL数据库服务器的参数调优。
long_query_time
值的SQL,则会被记录到慢查询日志中。long_query_time
值的SQL,则会被记录到慢查询日志中。long_query_time
的默认值为10,意思是运行10秒以上的语句。explain
进行全面分析。查看mysql慢查询日志是否启动show variables like "slow_query_log%";
启动mysql慢查询日志set global slow_query_log = 1;
查询有多少条慢日志记录show global status like ‘%slow_queries‘;
参数long_query_time用来判断是否为慢,默认情况下long_query_time的值为10秒,
命令:SHOW VARIABLES LIKE ‘long_query_time%‘;
可以使用命令set global long_query_time = 3;
修改,也可以在my.cnf参数里面修改。
假如运行时间正好等于long_query_time的情况,并不会被记录下来。也就是说,
在mysql源码里是判断大于long_query_time,而非大于等于。注意
:修改后查看使用命令SHOW global VARIABLES LIKE ‘long_query_time%‘;
查看
在生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活,MySQL提供了日志分析工具mysqldumpslow
如果在mysql bin
文件夹中看到的mysqldumpslow.pl
不要急,这个是perl脚本,只需要下载一个perl
就可以使用了
s
:是表示按照何种方式排序;c
:访问次数I
:锁定时间r
:返回记录t
:查询时间al
:平均锁定时间ar
:平均返回记录数at
:平均查询时间t
:即为返回前面多少条的数据;g
:后边搭配一个正则匹配模式,大小写不敏感的;
得到返回记录集最多的10个SQLmysqldumpslow -s r -t file.log
得到访问次数最多的10个SQLmysqldumpslow -s c -t 10 file.log
得到按照时间排序的前10条里面含有左连接的查询语句mysqldumpslow -s t -t 10 -g "left join" file.log
另外建议在使用这些命令时结合|和more使用,否则有可能出现爆屏情况mysqldumpslow -s r -t 10 file.log I more
*
号为重要字段)*
字段id
select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序
select_type
SIMPLE
:简单的select查询,查询中不包括子查询或是UNIONPRIMARY
:查询中若包含任何复杂的子部分,最外层查询则被标记为primarySUBQUERY
:在select或是where列表中包含了子查询DERIVED
:在from列表中包含的子查询被标记为DERIVED(衍生)MySql会递归执行这些子查询,把结果放在临时表里。UNION
:若第二个select出现在union之后,则被标记为union;若union包含在from子句的子查询中,外层select将被标记为DERIVEDUNION RESULT
:从union表获取结果的selecttable
数据表的表名
*
字段 type
访问类型排列,显示查询使用了何种类型
从最好到最差依次是system > const > eq_ref > ref > range > index > ALL
值 | 含义 |
---|---|
system | 表只有一行记录(等于系统表),这是const类型的特例,平时不会出现,这个也可以忽略不计 |
const | 表示通过索引一次就找到了,const用于比较primary key或者unique索引。因为只匹配一行数据,所以很快如将主键置于where列表中,MySQL就能将该查询转换为一个常量 |
eq_ref | 唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描 |
ref | 非唯一性索引扫描,返回匹配某个单独值的所有行.本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体 |
range | 只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引一般就是在你的where语句中出现了between、<、>、in等的查询这种范围扫描索引扫描比全表扫描要好,因为它只需要开始于索引的某一点,而结束语另一点,不用扫描全部索引。 |
index | Full Index Scan,index与ALL区别为index类型只遍历索引树。这通常比ALL快,因为索引文件通常比数据文件小。(也就是说虽然all和Index都是读全表,但index是从索引中读取的,而all是从硬盘中读的) |
all | Full Table Scan,将遍历全表以找到匹配的行 |
备注:一般来说,得保证查询至少达到range级别,最好能达到ref级别。
possible_keys
显示可能应用在这张表中的索引,一个或多个。
查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用
*
字段 key
实际使用的索引。如果为NULL,则没有使用索引查询中若使用了覆盖索引,则该索引仅出现在key列表中
key_len
表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好
字段 key_len
显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的
字段 partitions
字段 ref
显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值
*
字段 rows
根据表统计信息及索引选用情况,
大致估算
出找到所需的记录所需要读取的行数,越少越好
字段 filtered
*
字段 Extra
包含不适合在其他列中显示但十分重要的额外信息
using filesort
说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件排序"
using temporary
使了用临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于排序
order by
和分组查询group by
。
using index
表示相应的select操作中使用了
覆盖索引(Covering Index)
,避免访问了表的数据行,效率不错!如果同时出现using where
,表明索引被用来执行索引键值的查找;如果没有同时出现using where
,表明索引用来读取数据而非执行查找动作。注意字段like匹配最开始是“%”时,
覆盖索引(Covering Index)
可以提高效率
覆盖索引(Covering Index)
- 理解方式一:就是select的数据列只用从索引中就能够取得,不必读取数据行,MySQL可以利用索引返回select列表中的字段,而不必根据索引再次读取数据文件,换句话说查询列要被所建的索引覆盖。
- 理解方式二:索引是高效找到行的一个方法,但是一般数据库也能使用索引找到一个列的数据,因此它不必读取整个行。毕竟索引叶子节点存储了它们索引的数据;当能通过读取索引就可以得到想要的数据,那就不需要读取行了。一个索引包含了(或覆盖了)满足查询结果的数据就叫做覆盖索引。
using where
使用了where过滤
using join buffer
使用了连接缓存
impossible where
where子句的值总是false,不能用来获取任何元组
select tables optimized away
在没有GROUPBY子句的情况下,基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT(*)操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化。
distinct
优化distinct操作,在找到第一匹配的元组后即停止找同样值的动作
最佳左前缀法则
如果索引了多列,要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。
【优化总结口诀】
全值匹配我最爱,最左前缀要遵守;
带头大哥不能死,中间兄弟不能断;
索引列上少计算,范围之后全失效;
LIKE百分写最右,覆盖索引不写星;
不等空值还有or,索引失效要少用;
VAR引号不可丢,SQL高级也不难!
select ... from tablename where exists (subquery)
order by
子句,尽量使用index
方式排序,避免使用FileSort
方式排序
尽可能在索引列上完成排序操作,遵照索引建的最佳左前缀
MySql
两种排序方式:文件排序(using filesort)
或扫描有序索引排序(using index)
MySql
能为排序与查询使用相同的索引
KEY a_b.c(a,b,c)
ORDER BY a ORDER BY a,b ORDER BY a,b,c ORDER BY a DESC,b DESC,c DESC
2.如果WHERE使用素引的最左前缀定义为常量,则order by能使用素引
WHERE a=const ORDER BY b,c WHERE a=const AND b=const ORDER BY c WHERE a=const ORDER BY b,c WHERE a=const AND b > const ORDER BY b,c
3.不能使用素引进行排序
ORDER BY a ASC,b DESC,c DESC /*排序不一致*/ WHERE g=const ORDER BY b,c /*丢失a素引*/ WHERE a=const ORDER BY c /*丢失b索引*/ WHERE a =const ORDER BY a,d /*d不是素引的一部分*/ WHERE a in(... ) ORDER BY b,c /*对于排序来说,多个相等条件也是范围查询*/
group by
实质是先排序后进行分组,遵照索引建的最佳左前缀
当无法使用索引列,增大max_length_for_sort_data
参数的设置和增大sort_buffer_size
参数的设置
where高于having,能写在where限定的条件就不要去having限定了。
其他的和order by
类似
Show Profile
是MySql
提供的可以用来分析当前会话中sql语句执行的资源消耗情况的工具,可用于sql调优的测量。
默认情况下处于关闭状态,并保存最近15
次的运行结果。
查看profiling 设置show variables like ‘profiling‘
设置profilingset profiling=on
执行SQL查询
查看结果。show profiles
all
:显示所有的开销信息。BLOCK IO
:显示块IO开销。CONTEXT SWITCHES
:上下文切换开销。CPU
:显示CPU开销信息。IPC
:显示发送和接收开销信息。MEMORY
:显示内存开销信息。PAGE FAULTS
:显示页面错误开销信息。SOURCE
:显示和Source_function,Source_file,Source_line相关的开销信息。SWAPS
:显示交换次数开销信息。converting HEAP to MyISAM
:查询结果太大,内存不够,数据往磁盘上搬了。Creating tmp table
:创建临时表。先拷贝数据到临时表,用完后再删除临时表。Copying to tmp table on disk
:把内存中临时表复制到磁盘上,危险!!!locked
如果在
Show Profile
诊断结果中出现了以上4条结果中的任何一条,则sql语句需要优化。
在数据库中,除传统的计算资源(如
CPU、RAM、I/O
等)的争用以外,数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题,锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说,锁对数据库而言显得尤其重要,也更加复杂。
锁是计算机协调多个进程或线程并发访问某一资源的机制。
读锁(共享锁)
:针对同一份数据,多个读操作可以同时进行而不会互相影响。写锁(排它锁)
:当前写操作没有完成前,它会阻断其他写锁和读锁。开销、加锁速度、死锁、粒度、并发性能
只能就具体应用的特点来说哪种锁更合适
偏向MyISAM存储引擎,开销小,加锁快;无死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。
查看表上加过的锁命令(1为有锁,0为无锁)show open tables;
添加表锁命令lock table tableName read(write),tableName2 read(write);
解表锁命令unlock tables
如何分析表锁定
可以通过检查table_locks_waited
和table_locks_immediate
状态变量来分析系统上的表锁定SQL:show status like‘table%‘
MyISAM
在执行查询语句(SELECT
)前,会自动给涉及的所有表加读锁,在执行增删改操作前,会自动给涉及的表加写锁。MySql
的表级锁有两种模式:
表共享读锁(Table Read Lock
)
表独占写锁(Table Write Lock
)
结合上表,所以对MyISAM
表进行操作,会有以下情况:
1、对MyISAM
表的读操作(加读锁),不会阻塞其他进程对同一表的读请求,但会阻塞对同一表的写请求。
只有当读锁释放后,才会执行其它进程的写操作。
2、对MyISAM
表的写操作(加写锁),会阻塞其他进程对同一表的读和写操作,只有当写锁释放后,才会执行其它进程的读写操
简而言之,就是读锁会阻塞写,但是不会堵塞读。而写锁则会把读和写都堵塞。
此外,
MyISAM
的读写锁调度是写优先,这也是MyISAM
不适合写为主表的引擎,因为写锁后,其他的线程不能做任何操作,大量的更新会使查询很难得到锁,从而造成永久阻塞
偏向
InnoDB
存储引擎,开销大,加锁慢,会出现死锁,锁定粒度最小,发生锁冲突的概率最低,并发度也最高InnoDB
与MyISAM
最大的不同有两点:一是支持事务(transaction
),二是采用了行级锁
Atomicity
):Consistent
):lsolation
):Durable
):查看数据库的隔离级别show variables like ‘tx_isolation‘
常见面试问题如何锁定一行:
select * from tablename where 条件 for update;
for update 是关键
【如何分析行锁定】
通过检查InnoDB_row_lock状态变量来分析系统上的行锁的争夺情况mysql>show status like ‘innodb_row_lock%‘;
对各个状态量的说明如下:Innodb_row_lock_current_waits
:当前正在等待锁定的数量;Innodb_row_lock_time
:从系统启动到现在锁定总时间长度;Innodb_row_lock_time_avg
:每次等待所花平均时间;Innodb_row_lock_time_max
:从系统启动到现在等待最常的一次所花的时间;Innodb_row_lock_waits
:系统启动后到现在总共等待的次数;
对于这5个状态变量,比较重要的主要是Innodb_row_lock_time_avg
(等待平均时长),Innodb_row_lock_waits
(等待总次数)Innodb_row_lock_time
(等待总时长)这三项。
尤其是当等待次数很高,而且每次等待时长也不小的时候,我们就需要分析系统中为什么会有如此多的等待,然后根据分析结果着手指定优化计划。
InnoDB
存储引擎由于实现了行级锁定,虽然在锁定机制的实现方面所带来的性能损耗可能比表级锁定会要更高一些,但是在整体并发处理能力方面要远远优于MyISAM
的表级锁定的。当系统并发量较高的时候,InnoDB
的整体性能和MyISAM
相比就会有比较明显的优势了。
但是,InnoDB
的行级锁定同样也有其脆弱的一面,当我们使用不当的时候,可能会让InnoDB
的整体性能表现不仅不能比MyISAM
高,甚至可能会更差。
开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般。
master
将改变记录到二进制日志(binary log
)。这些记录过程叫做二进制日志事件,binary log events
;slave
将master
的binary log events
拷贝到它的中继日志(relay log
);slave
重做中继日志中的事件,将改变应用到自己的数据库中。MySql
复制是异步的且串行化的