一次较波折的MySQL调优

长假某日，阳光明媚，春暖花开，恰逢冬奥会开幕，想着一定是一个黄道吉日，必能顺风顺水。没想到却遇到一个有点小波折 的客户报障。

故障起因是客户前一天从自建MySQL迁移到云上RDS，在执行某个并发较高的业务时出现了大量锁等待，客户当时升级了实例到最高规格，但故障依旧。客户反馈升级后的实例规格比自建实例高了一倍，自建实例上从未发生过类似情况。后客户根据当时的业务故障模拟了现场，主要是并发执行如下存储过程的时候性能很差：

从存储过程的逻辑看，比较简单，主要涉及两个SQL，一个从表t（隐藏了真实表名）中meeting_id根据传入参数值查询，具体的入参由字符型变量p_meeting_id带入；另外一个根据meeting_id和刚查出的phone_id去更新t中的phone_id为phone_id+3。表t数据量约40w左右。

第一感觉这是个简单问题，估计两个SQL的meeting_id索引没有生效，查询表上索引后果然发现meeting_id和phone_id上没有索引，建议客户在两个字段上分别创建了索引，且meeting_id为主键。此时用户执行模拟的并发脚本反馈速度有了明显提升，200个并发最高执行时间40s左右，但模拟500个并发的时候，超过了8分钟还没有执行完。用户反馈在自建MySQL上并发500执行都是秒级完成。此时在控制台看，这个存储过程在慢查询日志中批量出现，且扫描行数巨大，客户端已经完全hang住:

虽然优化有了初步的效果， 但距离客户自建环境性能描述还差距很大，由于并发高， 从监控看测试期间CPU到了100%，怀疑参数innodb_thread_concurrency的设置可能不当。此参数的作用是控制 InnoDB 的并发线程上限。也就是说，一旦并发线程数达到这个值，InnoDB 在接收到新请求的时候，就会进入等待状态，直到有线程退出。RDS默认值为0，也就是没有限制上限，在高并发的场景下可能会产生较多的上下文切换，导致CPU升高。和客户咨询了一下，他们自建环境的值设置为32，建议他们将RDS的值也改为32再看看效果。客户很快反馈，修改后的确有效果，500个并发在3分钟内完成，没有再发生hang住不动的情况，性能有了进一步的提升。但参数innodb_thread_concurrency进一步调整效果不明显。

客户看到性能不断提升也很有信心，但和自建环境差距还是很大，还有哪里可能有问题？突然想到，创建索引后，在控制台的慢查询列表中看到很多存储过程的调用sql，且扫描记录数巨大，如果是走meeting_id唯一索引，应该扫描很少的记录数才对，难道没有走索引？或者没有走meeting_id主键索引？联系客户，希望提供测试环境登陆测试。

在测试环境，首先希望验证一下两个SQL的执行计划到底是怎么样的。登陆实例后，分别对两个存储过程中的SQL执行explain，发现走的确实是主键（meeting_id）：

为了进一步确认SQL在存储过程中的实际执行计划，修改了一下测试的存储过程逻辑，加入了SQL执行的explain结果和实际执行的trace，过程中主要增加的代码如下：

执行计划结果如下：

从结果看，两个SQL居然真的没有走主键meeting_id索引，而是都走了phone_id这个普通的二级索引，其中第一个查询SQL走的索引全扫描，扫描记录数rows为397399，和表的记录数一致，显然走了全索引扫描，虽然比全表扫描好一些，但效率仍然低下；另外一个update的SQL走了正常的索引扫描，rows只有2，性能高效。为什么两个SQL没有走meeting_id这个主键索引呢？看trace打印的部分内容：

alter table zm_meeting convert to character set utf8mb4;

CREATE  PROCEDURE `zm_sp_next_phone_id`(IN `p_meeting_id` VARCHAR(36) character set utf8)