❝开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共3300人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群近400 9群 200+,开10群PolarDB专业学习群100+)
绞杀SQL优化专家,是的太万恶了,气的我说不出话来,好好的SQL专家的活,让PolarDB for MySQL的IMCI 功能给抢走了,缺不缺呀!!!
话归两处,有生气的,就有高兴的,开发美疯了,口出狂言以后根本不需要什么SQL优化专家,写的多烂的SQL都只需要三步。
打开冰箱,把大象塞进去,然后关上冰箱。
1 在PolarDB 上打开IMCI节点
2 为表添加列式的索引
3 等着SQL上钩
也是3步走,按照我们俗话,萝卜就热茶,气的大夫满地爬,你这个PolarDB for MySQL的 IMCI ,可以说是气的SQL优化专家,上不来,下不去。
SQL 就不展示了,非常多,然后咱们不就是要看效果吗? 来看看。
恐怖的优化结果原来没上这个IMCI,那是有不少慢SQL,都需要我们DBA来进行修改完善,在修改,在完善。
杀手的效果上完,简直是慢SQL杀手,曾经的慢SQL全部都没有了,见一个杀一个,见一双,杀一对,看一群,杀一片。
原理图
现实使用的图我简单说一下原理为什么这么的厉害
1 这个IMCI 节点并非是我们所认为的类似clickhoust ,duckdb那样的东西,那样的东西太重了,IMCI是你那个表慢,那个查询的列慢,你就把慢的表或者表的列,放到列式引擎中。
他体积小,灵活,你不能说你几千张表都和clickhoust MySQL同步都放clickhoust里面吧。IMCI是用多少,放多少,不用就别放。
2 行列存储在一起,并不存在如Clickhouse 需要数据库通过BINLOG 进行同步的尴尬延迟的问题出现,因为他们之间,一个存储,通过内存通道进行同步,你就认为他是同步的,实时同步的即可。
没有技术的弊端
3 操作简单
操作如上很简单,实际上你根本不用分析SQL,只要你找到表,把那些表直接用一条命令,放到列存内存即可。ALTER TABLE 表名 COMMENT 'COLUMNAR=1'; 就一条就完事了。
然后把旧的SQL的链接踢掉,只要你的SQL的COST达到阈值,这里就是DBA存在的必要,你把你最重要,且最难搞的SQL的cost值找到。
什么不知道怎么找到COST值,很简单执行Explain SQL,然后查询最后一个last_query_cost的值即可。
1 explain 你的SQL 2 show status like 'last%';
图片写到这里,有人会问,他怎么知道这个SQL要去列存,那个SQL走行存。
1 COST阈值
2 数据库代理通过阈值将你的SQL打入到不同的POLARDB的节点
从优化,到实现,太简单了。
所以这个功能我能分析出来多少人恨他
1 首先就是SQL优化专家,多难搞的MYSQL复杂查询,OLAP的查询,就这个玩意就搞定了,无需专家操心了。
2 架构师,为什么架构师也恨,原来分库分表,多种优化的方案,技能,都用不上了,一个表存了2-3亿数据没有问题,加上这个OLAP复杂SQL也都能秒级出数。
3 阿里云的一些复杂计算盈利的部门。为什么这些部门也恨,因为上了这个功能,原来主机要16C 64G的节点,直接降低到 8C 32G ,4C 16G 都是可能的,整体的费用成本,降低了,但是他们的盈利也降低了,你说他们恨不恨。
所以这个东西这么招人恨,咱们就别用了,大家说是吧!
图片什么你们还想知道怎么使用,参数调整,IMCI系统调优,以及一些使用秘籍,行,回来咱们关起门偷偷说,咱们不告诉他们。
与此这个部分其实还有很多需要学习,以及发现的一些问题,我后面也会继续写出来,终究任何工具,都不能是完美的,否则......
MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项
MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"
MongoDB “升级项目” 大型连续剧(1)-- 可“生”可不升
MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分
MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法
MongoDB 学习建模与设计思路--统计数据更新案例
MongoDB 大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用
MongoDB 大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模
MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通
MongoDB 年底活动,免费考试名额 7个公众号获得
MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
