count(*)的实现方式
在不同的MySQL引擎中,count(*)有不同的实现方式:
- MyISAM引擎把一个表的总行数存在了磁盘上(实时改变),执行count(*)的时候会直接返回这个数,效率很高。
没有过滤条件的count(*),如果加了where条件的话,MyISAM表也不能直接返回。
- InnoDB执行count(*)的时候,需要把数据一行一行的从引擎里面读出来,然后累积计数。遍历全表,结果准确,性能不高。
由于多版本并发控制(MVCC)的原因,即使是在同一时刻的多个查询,InnoDB表“应该返回多少行”是不确定的。
这和InnoDB的事务设计有关,可重复读是它默认的隔离级别,在代码上就是通过多版本并发控制(MVCC)来实现的。每一行记录都要判断自己是否对这个会话可见,因此对于count(*)请求来说,InnoDB只好把数据一行一行的读出依次判断,可见的行才能够用于计算“基于这个查询”的表的总行数。
InnoDB是索引组织表,主键索引树的叶子节点是数据,而普通索引树的叶子节点是主键值。普通索引树比主键索引树小很多。对于count()这样的操作,遍历哪个索引树得到的结果逻辑上都是一样的。MySQL优化器会找到最小的那棵树来遍历。*在保证逻辑正确的前提下,尽量减少扫描的数据量,是数据库系统设计的通用法则之一。**
show table status;命令的输出结果,table_rows用于显示这个表当前有多少行。索引统计的值是通过采样来估算的。table_rows是从这个采样估算得来的,不够准确。show table status命令显示的行数不能直接使用。
information_schema.tables;可以查看表记录数。
用缓存系统保存计数
用一个Redis服务来保存这个表的总行数。这个表每被插入一行Redis计数就加1,每被删除一行Redis计数就减1。读和更新操作都很快,但缓存系统可能会丢失更新。
Redis的数据不能永久的留在内存里,需要把这个值定期的持久化存储起来。Redis异常重启时,未持久化的加1计数操作丢失。Redis异常重启后,在数据库里面单独执行一次count(*)获取真实的行数,再把这个值写回到Redis里。异常重启非经常出现的情况,偶尔一次全表扫描的成本可以接受。
将计数保存在缓存系统,不只丢失更新的问题,即使Redis正常工作,这个值还是逻辑上不精确的。在并发系统里,无法精确控制不同线程的执行时刻,在会话先后执行表中插入记录与Redis计数加一两个操作期间,其他会话执行计数与记录的查询(一致性读/快照读,可以并发执行),会出现数据不一致的情况。
两个不同的存储构成的系统,不支持分布式事务,无法拿到精确一致的视图。
在数据库保存计数
把计数放到数据库里单独的一张计数表中,利用事务的原子性和隔离性解决了一致性视图的问题。
- 解决了崩溃丢失的问题,InnoDB支持崩溃恢复不丢失数据。
- 利用InnoDB支持事务的特性,表中插入数据与计数表中对应表的计数值加1两个操作在同一个事务中,未提交前其他事务不可见,保证了数据逻辑上的一致。
count用法对比(InnoDB)
count()是一个聚合函数,对于返回的结果集,一行行的判断,如果count函数的参数不是NULL,累计值就加1,否则不加,最后返回累积值。
count(*)、count(主键id)和count(1)都表示返回满足条件的结果集的总行数;count(字段)表示返回满足条件的数据行里面,参数”字段”不为NULL的总个数。
- server层要什么就给什么;
- InnoDB只给必要的值;
- 目前优化器只优化了count(*)的语义为“取行数”,其他显而易见的优化并没有做。
count(主键id),InnoDB引擎会遍历整张表,把每一行的id值都取出来,返回给server层。server层拿到id后,判断是不可能为空的(主键id一定不为空,但是未优化),就按行累加。
count(id)不一定选主键索引进行统计。可能会选择最小的索引(占用空间比较小,磁盘读的少),走全索引的扫描,就算索引是null,对应的主键id不是null,不影响统计结果;
count(1),InnoDB引擎遍历整张表,但不取值(返回一个空行,但在server层”不是空值,可以计数”。server层调用引擎接口,一行一样取)。server层对于返回的每一行,放一个数字“1”进去(返回了一行,但是0个字段),判断不可能为空的,按行累加。
count(1)执行的要比count(主键id)快。从引擎返回id会涉及到(扫描树里的数据)解析数据行,以及拷贝字段值的操作。
count(字段):
- 如果这个“字段”是定义为not null的,一行行的从记录里面读出这个字段,判断不能为null(一定不为null,但未优化),按行累加;
- 如果这个“字段”定义允许为null,执行的时候,判断到有可能是null,还要把值取出来再判断一下,不是null才累加。
count(字段)如果字段上没有索引,只能选主键索引来进行统计。
count(*),并不会把全部字段取出来,而是专门做了优化,不取值(返回一个“空的行”)。count(*)肯定不是null,按行累加。
按照效率排序:count(字段)<count(主键id)<count(1)≈count(*)。