0%

全局锁+表锁+行锁

根据加锁的范围,MySQL里面的锁大致可以分成全局锁、表锁、行锁三类。
全局锁和表锁都是在Server层(基本是在执行器阶段)实现的,与及具体的存储引擎无关。
行锁是在引擎层由各个引擎自己实现的,并不是所有的引擎都支持行锁。

全局锁

全局锁就是对整个数据库实例加锁。

1. Flush tables with read lock;(FTWRL)

加全局读锁,让整个库处于只读状态,其他线程的:数据更新语句(数据的增删改)、数据定义语句(建表、修改表结构)、更新类事务的提交语句,会被阻塞。(FTWRL前有读写的话,FTWRL会等待读写执行完毕后才执行。)

全局锁的典型使用场景是,做全库逻辑备份。(把整库每个表都select出来存成文本)。风险:

  • 在主库上备份,在整个备份期间都不能执行更新,业务基本上就得停摆。
  • 在从库上备份,备份期间从库不能执行主库同步过来的binlog,会导致主从延迟。

不加锁的话,备份系统备份得到的库不是一个逻辑时间点,这个视图是逻辑不一致的。(在可重复读隔离级别下开启一个事务,可以拿到一致性视图。)

2. mysqldump –single-transaction;

官方逻辑备份工具mysqldump。导数据之前会启动一个事务,来确保拿到一致性视图。基于MVCC(多版本并发控制),保证备份过程中数据可以正常更新

single-transaction只适用于所有的表使用事务引擎的库(InnoDB)。如果有的表使用了不支持事务的引擎(MyISAM),那么备份就只能通过FTWRL方法。

表结构不在一致性视图的保护里面,表结构数据不支持一致性读。
备份时启动了可持续读的事务,在整个备份过程中都是在这个视图下执行的,其他事务的变更不会影响它的备份。但是master传过来的DDL影响,会得到DDL后的表结构。

3.set global readonly=true;

让全库进入只读状态。

  • 有些系统中,readonly的值会被用来做其他逻辑:判断一个库是主库还是备库。修改global变量的方式影响面太大。
  • 在异常处理机制上。执行FTWRL命令后由于客户端发生异常断开,那么MySQL会自动释放这个全局锁,整个库回到可以正常更新的状态。将整个库设置成readonly之后,如果客户端发生异常,则数据库会一直保持readonly状态,会导致整个库长时间处于不可写状态,风险较高。
  • 如果用户有超级权限,readonly是失效的。执行binlog的线程(主从复制)是super权限,不影响主从复制。

业务的更新不仅有增删改数据DML(Data Manipulation Language)(select … lock in share mode;select … for update;行锁),还可能有加字段等修改表结构的操作DDL(Data Definition Language)。都会被全局锁锁住。

表级锁

MySQL表级别的锁有两种不同维度:表锁、元数据锁(meta data lock,MDL)。

1. 表锁lock tables … read/write;

与FTWRL类似,可以用unlock tables主动释放锁,也可以在客户端断开的时候自动释放。lock tables语法除了会限制别的线程的读写锁外,也限定了本线程接下来的操作对象。

如果在某个线程A中执行了lock tabes t1 read, t2 write;则其他线程写t1、读写t2的语句都会被阻塞。同时,线程A在执行unlock tables之前,也只能执行读t1、读写t2的操作,不允许写t1,更不能访问其他表。

InnoDB引擎支持行锁,一般不使用lock tables命令来控制并发,锁住整个表的影响太大。(lock tables&unlock tables–>begin commit)

2. 元数据锁MDL(metadata lock);

MDL不需要显式使用,在访问一个表的时候会被自动加上。MDL保证读写的正确性。MDL防止DDL(表结构)和DML(增删改)并发的冲突。

MySQL5.5引入MDL锁,当对一个表做增删改查操作的时候(DML),加MDL读锁;当要对表做数据结构变更操作的时候(DDL),加MDL写锁。

  • 读锁之间不互斥,可以有多个线程同时对一张表增删改查。(对同一行数据更新导致的互斥是行锁发挥作用)。(InnoDB做数据的增删改查不需要加表锁)
  • 读写锁之间、写锁之间是互斥的,用来保证变更表结构操作的安全性。如果有两个线程要同时给一个表加字段,其中一个要等另一个执行完成才能开始执行。

事务中的MDL锁,在语句执行开始时申请,但是语句结束后并不会马上释放,而会等到整个事务提交之后再释放。

给一个表加字段,或者修改字段,或者加索引,需要扫描全表的数据,加MDL写锁。(加普通字段不用重建全表,加主键要重建)

一个连接就是一个session,一个连接里可以先后创建多个事务(必须前一个结束才能启动下一个)。事务是无处不在的,大事务会造成额外的处理开销。

MySQL5.6支持online ddl(不堵塞增删改查mdl读锁,ddl执行的大部分时间,占着的也是mdl读锁):

1.拿MDL写锁
2.降级成MDL读锁
3.真正做DDL
4.升级成MDL写锁
5.释放MDL锁


安全的给小表加字段:

  • 非热点表:首先解决长事务,事务不提交,就会一直占用MDL锁。在MySQL的information_schema库的innodb_trx表中,可以查到当前执行中的事务。如果要做DDL变更的表有长事务执行,需要先暂停DDL,或者kill掉这个长事务。
  • 热点表:在alter table语句中设定等待时间。如果在指定的等待时间里面能够拿到MDL写锁就执行,拿不到就不要阻塞后面的业务语句,先放弃。之后再通过重试命令重复这个过程。

MariaDB和AliSQL这两个开源分支都支持DDL NOWWAIT/WAIT N语法(语句级别。对应session级别的lock_wait_timeout);

ALTER TABLE tbl_name NOWWAIT add column ...;
ALTER TABLE tbl_name WAIT N add column ...;

大表加字段:
pt-online-schema-change
gh-ost

行锁

行锁是针对数据表中行记录的锁。事务A更新了一行,而这时候事务B也要更新同一行,则必须等事务A的操作完成后才能进行更新。

MySQL的行锁是在引擎层由各个引擎自己实现的。但并不是所有的引擎都支持行锁。不支持行锁意味着并发控制只能使用表锁,对于(MyISAM)这种引擎的表,同一张表上任何时刻只能有一个更新在执行,这就会影响到业务并发度。

dml语句会产生MDL读锁,MDL锁和表锁是两个不同的结构。
在MyISAM表上更新一行,那么会加MDL读锁和表的写锁;同时另外一个线程要更新这个表上另外一行,也要加MDL读锁和表的写锁。第二个线程的MDL读锁能成功加上,但是表写锁堵住。第二个线程要等第一个线程执行完成。

InnoDB行级锁是通过锁索引记录来实现的,如果update的列没建索引,即使只update一条记录也会锁定整张表。InnoDB内部是全表根据主键索引逐行扫描、逐行加锁,事务提交时统一释放。

InnoDB中没有不开启事务的更新update,没写默认就是单语句事务,语句结束的地方释放锁。insert、delete都是行锁。

两阶段锁

在InnoDB事务中,行锁是在需要的时候才加上的,但并不是不需要了就立刻释放,而是要等到事务结束时才释放。这就是两阶段锁协议

如果事务中需要锁多行,要把最可能造成锁冲突、最可能影响并发度的锁尽量往后放。

死锁和死锁检测

当并发系统中不同线程出现循环资源,涉及的线程都在等待别的线程释放资源时,就会导致这几个线程都进入无限等待的状态,称为死锁。(多个事务更新同一行,只是锁等待;如果还要更新别的行,可能造成循环依赖,导致死锁。一个事务自己跟自己不会死锁。)
一个表有多个索引的话,并发插入,也可能会导致死锁。

show engine innodb status;– 查看死锁信息。记录“之后一个死锁”的地方

直接进入等待,直到超时。

超时时间可以通过参数innodb_lock_wait_timeout来设置。

innoDB中,innodb_lock_wait_timeout的默认值是50s。当出现死锁以后,第一个被锁住的线程要过50s才会超时退出,然后其他线程才有可能继续执行。超时时间设置太短的话,会出现很多误伤。

发起死锁检测。

发现死锁后,主动回滚死锁链条中的某一个事务,让其他事务得以继续执行。将参数innodb_deadlock_detect设置为on(默认值on),表示开启这个逻辑。

在发生死锁的时候,是能够快速发现并进行处理的,但是有额外负担–耗费大量的CPU资源。每当一个事务被锁的时候,就要看看它所依赖的线程有没有被别人锁住,如此循环,最后判断是否出现了循环等待,也就是死锁。死锁检测的时间复杂度是O(n2),单个事务为O(n)。

如果新的事务要加锁访问的行上有锁(一个事务更新一条记录时发现被阻塞了),才会进行死锁检测。1一致性读不会加锁,不需要做死锁检测。2并不是每次死锁检测都要扫描所有事务。

  1. 如果能确保业务一定不会出现死锁,可以临时把死锁检测关掉。
    业务设计的时候一般不会把死锁当做一个严重错误,出现死锁了就回滚,然后通过业务重试一般就没问题了,业务无损。关掉死锁检测意味着可能会出现大量的超时,业务有损。

  2. 控制并发度。
    在客户端做并发控制。同一行同时最多只有10个线程在更新。若客户端很多,即使每个客户端控制到只有个位数并发线程,汇总到数据库服务端以后,峰值并发数也很高。
    在服务端做并发控制。如果有中间件,可以考虑在中间件中实现;也可以在MySQL源码里。对于相同行的更新,在进入引擎之前排队。这样在InnoDB内部就不会有大量的死锁检测工作。

  3. 通过将一行改成逻辑上的多行来减少锁冲突。
    将总账户放在多条记录上,账户总额等于这多条记录的值的总和,每次给账户加金额的时候,随机选其中一条记录来加。冲突概率变成原来的1/n,可以减少锁等待个数,也就减少了死锁检测的CPU消耗。业务复杂度可能大大提高()。


  1. 直接执行delete fron T limit 10000;
    单个语句占用时间长,事务相对较长,占用锁的时间较长,会导致其他客户端等待资源时间较长。大事务还会导致主从延迟。
  2. 在一个连接中循环执行20次delete from T limit 500;(默认每次独立提交)
    串行化执行,将相对长的事务分成多次相对短的事务,则每次事务占用锁的时间相对较短,其他客户端在等待相应资源的时间也较短。这样的操作意味着将资源分片使用(每次使用不同片段的资源),可以提高并发性。
  3. 在20个连接中同时执行delete from T limit 500;
    人为制造锁竞争,造成锁冲突,加剧并发量。
  4. 添加主键,根据主键删除。