社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  DATABASE

MySQL 条件下推与排序优化实例--MySQL8.035

AustinDatabases • 3 天前 • 28 次点击  

开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共3000人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群350+ 9群 100+)

MySQL数据库衍生出很多兼容他的数据库产品,Mariadb、OceanBase (开源mysql兼容版本)、PolarDB for MySQL 等这些数据库产品都兼容MySQL.国产的项目不允许有MySQL的存在,导致大部分乙方的产品都在研究信创数据库,dump 完Oracle,继续dump MySQL.

所以这是一个系列,这里将使用MySQL,以及国产数据库产生同样的数据,进行他们查询规则的分析,看看是否有差异,为后续接受国产数据库,和新的项目做准备。本期是MySQL 8.035,针对这个版本在查询分析中的一些问题和特色进行分析和总结。

在进行总结前我们要产生测试数据。

CREATE DATABASE IF NOT EXISTS test;
USE test;

CREATE TABLE users (
    user_id INT PRIMARY KEY AUTO_INCREMENT,
    username VARCHAR(50),
    email VARCHAR(100),
    signup_date DATE
);

CREATE TABLE products (
    product_id INT PRIMARY KEY AUTO_INCREMENT,
    name VARCHAR(100),
    price FLOAT,
    created_at DATE
);

CREATE TABLE orders (
    order_id INT PRIMARY KEY AUTO_INCREMENT,
    user_id INT,
    product_id INT,
    order_date DATE,
    amount FLOAT,
    note TEXT,
    FOREIGN KEY (user_id) REFERENCES users(user_id),
    FOREIGN KEY (product_id) REFERENCES products(product_id)
);
DELIMITER $$

CREATE FUNCTION rand_string(n INT) RETURNS VARCHAR(255)
DETERMINISTIC
BEGIN
    DECLARE chars VARCHAR(62) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
    DECLARE result VARCHAR(255) DEFAULT '';
    DECLARE i INT DEFAULT 0;
    WHILE i < n DO
        SET result = CONCAT(result, SUBSTRING(chars, FLOOR(1 + RAND() * 62), 1));
        SET i = i + 1;
    END WHILE;
    RETURN result;
END$$

DELIMITER ;

DELIMITER $$

CREATE PROCEDURE insert_users(IN total INT)
BEGIN
    DECLARE i INT DEFAULT 0;
    WHILE i < total DO
        INSERT INTO users (username, email, signup_date)
        VALUES (
            rand_string(8),
            CONCAT(rand_string(5),  '@example.com'),
            DATE_SUB(CURDATE(), INTERVAL FLOOR(RAND() * 365 * 5) DAY)
        );
        SET i = i + 1;
    END WHILE;
END$$

DELIMITER ;

DELIMITER $$

CREATE PROCEDURE insert_products(IN total INT)
BEGIN
    DECLARE i INT DEFAULT 0;
    WHILE i < total DO
        INSERT INTO products (name, price, created_at)
        VALUES (
            rand_string(10),
            ROUND(RAND() * 5000, 2),
            DATE_SUB(CURDATE(), INTERVAL FLOOR(RAND() * 365 * 5) DAY)
        );
        SET i = i + 1;
    END WHILE;
END$$

DELIMITER ;

DELIMITER $$

CREATE PROCEDURE insert_orders(IN total INT)
BEGIN
    DECLARE i INT DEFAULT 0;
    DECLARE uid INT;
    DECLARE pid INT;
    DECLARE user_count INT;
    DECLARE product_count INT;

    SELECT COUNT(*) INTO user_count FROM users;
    SELECT COUNT(*) INTO product_count FROM products;

    WHILE i < total DO
        SET uid = FLOOR(1 + RAND() * user_count);
        SET pid = FLOOR(1 + RAND() * product_count);
        INSERT INTO orders (user_id, product_id, order_date, amount, note)
        VALUES (
            uid,
            pid,
            DATE_SUB(CURDATE(), INTERVAL FLOOR(RAND() * 365 * 5) DAY),
            ROUND(RAND() * 100, 2),
            rand_string(20)
        );
        SET i = i + 1;
    END WHILE;
END$$

DELIMITER ;

-- 插入 10000 用户
CALL insert_users(10000);

-- 插入 1000 产品
CALL insert_products(1000);

-- 插入 100000 订单
CALL insert_orders(100000);



上面测试数据,产生3张表

mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 14
Server version: 8.0.35 MySQL Community Server - GPL

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h'forhelp. Type '\c' to clear the current input statement.

mysql> use test;
Database changed
mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| orders         |
| products       |
| users          |
+----------------+
3 rows inset (0.03 sec)

mysql> 

这里这三张表之间的关系为

  1. users 表 (用户表) 主键:user_id

表示一个注册用户

一个用户可以创建多个订单(1 对多)

  1. products 表 (产品表) 主键:product_id

表示一个商品

一个产品可以被多个订单引用(1 对多)

  1. orders 表 (订单表) 主键:order_id

外键:user_id -> users(user_id)

外键:product_id -> products(product_id)

表示某个用户下了某个产品的订单


表名
外键字段
关联主表
说明
orders
user_idusers
一个订单属于一个用户
orders
product_idproducts
一个订单对应一个产品

表名
与其他表的关系
说明
users
1 对 多 → orders.user_id
一个用户可以有多个订单
products
1 对 多 → orders.product_id
一个商品可以出现在多个订单中
orders
多 对 1 ← users / products
每条订单记录属于一个用户、对应一个商品

问题1:过滤条件到底写在表链接中,还是写到where 条件中,我们看下面的图

where 带条件
where 带条件
条件写join上
条件写join上

两种查询的写法,一个是将order_date的时间过滤写到 inner join中的一行,二另一个写到了where条件中,在实际的应用中我们该怎么写。

1  先分清inner join 和 left join,在inner join 中是匹配两个表之间重合的数据,相当于交集,则可以把where的条件上推,写成图2的方式,如果是写成left join 而我们的where 条件中的过滤是左表,则还是可以把where条件写到上面,但如果过滤条件的表是右面的表,且使用的是left join,则不能把时间的条件写到 join后,而是需要写到where 条件中。我们可以用下面的表格来表达,简述中的意思。

情况
建议写法
想保留左表所有记录
过滤条件写在 ON 子句
明确只取有右表匹配的
用 INNER JOIN 或  LEFT JOIN + WHERE

在MySQL中,条件下推 是一种优化策略:将 WHERE 或 JOIN 的过滤条件尽可能早地应用在执行计划中,通常是在访问表数据前或刚开始访问时,从而减少不必要的数据访问和中间结果的行数。

在我们上图的执行中,可以多次运行两种语句观察具体的执行时间,在观察中我发现一些规律和问题。

一、在where条件中撰写条件,比在join后跟上过滤条件,运行的时间总是 where条件使用更多的时间。

二、如果将where条件上移,则需要建立更适合的索引,需要建立 user_id,order_date的联合索引在orders表中。

比较方式差异
ON
 写过滤条件
WHERE
 写过滤条件
语义上
在 JOIN 之前进行过滤
在 JOIN 之后进行过滤
优化器是否可合并
✅ 是(对 INNER JOIN)
✅ 是(等价)
实际执行计划
⚠️ 通常一样(当索引存在)
⚠️ 通常一样
典型差别出现在哪
子查询 + 多表复杂 JOIN 时,或含 LEFT JOIN 时
更可能导致逻辑或性能差异

问题2 在多表查询中的排序问题和优化

在早期的MySQL数据库中,对于几个词老手都是敏感的

1  倒排 2  filesort 3  临时表

问题 1,什么情况可以避免使用filesort 在有排序的情况下

答:在查询的字段都在索引中,且排序的字段为这个索引的第一个字段的情况下,是无需进行filesort的,这里的原理为数据给付的时候已经是按照排序进行给付的,所以无需再获取数据后,在进行二次排序。

我们可以看下面的案例,第一个案例是有排序覆盖索引的情况下,查询没有进行usering filesort,第二个案例,我们删除了索引,则查询走了using filesort

索引覆盖排序的情况,无需进行filesort
索引覆盖排序的情况,无需进行filesort
当我们没有对应的索引的情况下
当我们没有对应的索引的情况下

这部分在MySQL有一些特殊的情况和优化的手段,一个字解释就是拆。

我们以上面的例子中,如果要进行大量返回值的排序后的查询,我们可以用这样的方法,返回的数据太多的情况下采用这样的方案有助于解耦和降低filesoft时的性能消耗。

SELECT  user_id 
FROM users 
WHERE user_id in (1,...,1000) ORDER BY signup_date DESC LIMIT 900;

SELECT user_id,user_name FROM orders WHERE id IN (user_id);

在排序的写法中还有一种要不得就是随即函数,这样的写法中最大的问题为结果的每行都要进行一次rand()函数的计算。

SELECT  user_id 
FROM users 
WHERE user_id in (1,.....,1000) ORDER BY rand() DESC LIMIT 1;
排序不要使用rand()函数
排序不要使用rand()函数

其实如果是想抽取一个随机的数据并给付结果,是可以通过下面的方案来进行的。也就是给一个确定的值。不要在ORDER BY 中进行计算。具体的方案是

explain SELECT  user_id 
FROM users 
WHERE user_id in (1,999,34,23,56,564,1000) ORDER BY rand() DESC LIMIT 1;

可以撰写成下方的样子,数字7是可以改变的,在有多少值的情况下,可以改成多少。

explain SELECT user_id, username
FROM users
WHERE user_id = (
  SELECT CAST(SUBSTRING_INDEX(SUBSTRING_INDEX('1,999,34,23,56,564,1000'',', n), ',', -1) AS UNSIGNED)
  FROM (
    SELECT FLOOR(1 + RAND() * 7) AS n
  ) AS rand_pos
);
原有的语句与执行计划
原有的语句与执行计划
修改后的语句和执行计划
修改后的语句和执行计划

最后进行一个总结,MySQL在查询中由于本身数据处理引擎比较弱,很多复杂的语句需要进行拆分,同时在mysql中的条件下推 predicate Pushdown 要会使用,分清楚什么时候可以把条件写到 JOIN中,什么时候不可以会导致业务逻辑错误。

下推类型
说明
版本支持
✅ 条件下推(Predicate Pushdown)
将 WHERE 条件下推到 JOIN、子查询、视图中提前执行
全版本支持(优化器决定)
✅ 计算下推(Expression Pushdown)
将表达式计算提前到扫描阶段(如 JSON、函数计算)
8.0+ 有更智能优化
✅ 投影下推(Projection Pushdown)
只读取需要的字段,避免多读无用字段
常用于 SELECT col1 场景
✅ 外部表下推(Storage Pushdown)
在远程存储/引擎中执行过滤计算(如 FEDERATED, 外部引擎)
视插件能力

    置顶

云数据库厂商除了卷技术,下一个阶段还可以卷什么?

PostgreSQL 新版本就一定好--由培训现象让我做的实验

某数据库下的一手好棋!共享存储落子了!

删除数据“八扇屏” 之 锦门英豪  --我去-BigData!

PostgreSQL “乱弹” 从索引性能到开发优化

写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究》

SQLSHIFT 是爱可生对OB的雪中送炭!

青春的记忆,MySQL 30年感谢有你,再见!(译)

老实人做的数据库产品,好像也不“老实” !

疯狂老DBA 和 年轻“网红” 程序员 --火星撞地球-- 谁也不是怂货  

哈呀站,OB广州开发者大会 之 “五” 眼联盟

和架构师沟通那种“一坨”的系统,推荐只能是OceanBase,Why ?


OceanBase 相关文章

某数据库下的一手好棋!共享存储落子了!

写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究》

      哈呀站,OB广州开发者大会 之 “五” 眼联盟
OceanBase 单机版可以大批量快速部署吗? YES
OceanBase 6大学习法--OBCA视频学习总结第六章
OceanBase 6大学习法--OBCA视频学习总结第五章--索引与表设计
OceanBase 6大学习法--OBCA视频学习总结第五章--开发与库表设计
OceanBase 6大学习法--OBCA视频学习总结第四章 --数据库安装
OceanBase 6大学习法--OBCA视频学习总结第三章--数据库引擎
OceanBase 架构学习--OB上手视频学习总结第二章 (OBCA)
OceanBase 6大学习法--OB上手视频学习总结第一章
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
OceanBase  送祝福活动,礼物和幸运带给您

跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)

跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)

跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)

跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)

聚焦SaaS类企业数据库选型(技术、成本、合规、地缘政治)

OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB
         MongoDB 相关文章

MongoDB “升级项目” 大型连续剧(4)-- 与开发和架构沟通与扫尾

MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项

MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"

MongoDB “升级项目”  大型连续剧(1)-- 可“生”可不升

MongoDB  大俗大雅,上来问分片真三俗 -- 4 分什么分

MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法

MongoDB 学习建模与设计思路--统计数据更新案例

MongoDB  大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用

MongoDB  大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模

MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通

MongoDB 年底活动,免费考试名额 7个公众号获得

MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模

MongoDB  双机热备那篇文章是  “毒”
MongoDB   会丢数据吗?在次补刀MongoDB  双机热备
MONGODB  ---- Austindatabases  历年文章合集

PolarDB 相关文章
MySQL 和 PostgreSQL 可以一起快速发展,提供更多的功能?
这个MySQL说“云上自建的MySQL”都是”小垃圾“
        PolarDB MySQL 加索引卡主的整体解决方案

“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!

PostgreSQL 的搅局者问世了,杀过来了!

在被厂商围剿的DBA 求生之路 --我是老油条

POLARDB  添加字段 “卡” 住---这锅Polar不背

PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)

在被厂商围剿的DBA 求生之路 --我是老油条

PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)

PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火


PostgreSQL 相关文章
PostgreSQL 新版本就一定好--由培训现象让我做的实验
PostgreSQL “乱弹” 从索引性能到开发优化

PostgreSQL  无服务 Neon and Aurora 新技术下的新经济模式 (翻译)

PostgreSQL的"犄角旮旯"的参数捋一捋

PostgreSQL逻辑复制槽功能

PostgreSQL 扫盲贴 常用的监控分析脚本

“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!

PostgreSQL  添加索引导致崩溃,参数调整需谨慎--文档未必完全覆盖场景
PostgreSQL 的搅局者问世了,杀过来了!
PostgreSQL SQL优化用兵法,优化后提高 140倍速度
PostgreSQL 运维的难与“难”  --上海PG大会主题记录
PostgreSQL 什么都能存,什么都能塞 --- 你能成熟一点吗?
PostgreSQL 迁移用户很简单 ---  我看你的好戏

PostgreSQL 用户胡作非为只能受着 --- 警告他

全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁

PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!

病毒攻击PostgreSQL暴力破解系统,防范加固系统方案(内附分析日志脚本)
PostgreSQL 远程管理越来越简单,6个自动化脚本开胃菜

PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆

PostgreSQL 如何通过工具来分析PG 内存泄露

PostgreSQL  分组查询可以不进行全表扫描吗?速度提高上千倍?

POSTGRESQL --Austindatabaes 历年文章整理

PostgreSQL  查询语句开发写不好是必然,不是PG的锅

PostgreSQL  字符集乌龙导致数据查询排序的问题,与 MySQL 稳定 "PG不稳定"
PostgreSQL  Patroni 3.0 新功能规划 2023年 纽约PG 大会 (音译)
PostgreSQL   玩PG我们是认真的,vacuum 稳定性平台我们有了
PostgreSQL DBA硬扛 垃圾 “开发”,“架构师”,滥用PG 你们滚出 !(附送定期清理连接脚本)

DBA 失职导致 PostgreSQL 日志疯涨


MySQL相关文章

青春的记忆,MySQL 30年感谢有你,再见!(译)

MySQL 8 SQL 优化两则 ---常见问题

MySQL SQL优化快速定位案例 与 优化思维导图
"DBA 是个der" 吵出MySQL主键问题多种解决方案
MySQL 怎么让自己更高级---从内存表说到了开发方式
MySQL timeout 参数可以让事务不完全回滚
MySQL 让你还用5.7 出事了吧,用着用着5.7崩了
MySQL 的SQL引擎很差吗?由一个同学提出问题引出的实验
用MySql不是MySQL, 不用MySQL都是MySQL 横批 哼哼哈哈啊啊
MYSQL  --Austindatabases 历年文章合集


临时工访谈系列

没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛

ETL 行业也够卷,云化ETL,ETL 软件不过了


SQL SERVER 系列
SQL SERVER维保AI化,从一段小故事开始
SQL SERVER 如何实现UNDO REDO 和PostgreSQL 有近亲关系吗
SQL SERVER 危险中,标题不让发,进入看详情(译)


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/182861
 
28 次点击