select * from big_table 跑起来以后,机器内存突然往上顶,这事我第一眼不会先怀疑 MySQL 把 1000 万行一次性塞进内存。
更常见的是:Java 客户端把结果集吃进 JVM 了。
MySQL 这边也会涨,但涨的是另一回事。
比如线上看到这种日志:
java.lang.OutOfMemoryError: Java heap space
at com.mysql.cj.protocol.a.TextRowFactory.createFromMessage(...)
at com.mysql.cj.protocol.a.ResultsetRowReader.read(...)
这种不用争,先看调用方代码。
很多人写导出任务,手一顺就是:
List rows = jdbcTemplate.query(
"select * from t_order_record",
(rs, rowNum) -> {
OrderRow row = new OrderRow();
row.setId(rs.getLong("id"));
row.setUserId(rs.getLong("user_id"));
row.setAmount(rs.getBigDecimal("amount"));
row.setCreatedAt(rs.getTimestamp("created_at").toLocalDateTime());
return row;
}
);
这段代码看着没毛病,实际挺吓人。
t_order_record 如果只有几千行,怎么写都行。到了 1000 万行,
query 会把每一行都映射成 Java 对象,再塞进 List。数据库还没怎么样,JVM 先开始喘。
而且 select * 更讨厌。
你本来只想导出 5 个字段,结果把 remark、ext_json、snapshot 这些大字段也带出来。网络传输慢,客户端反序列化慢,GC 也跟着忙。
当时我一般先看两处。
一处是应用日志:
Full GC 12.4s
java heap used: 3810M / 4096M
export order record failed, sql=select * from t_order_record
另一处是 MySQL 线程:
show full processlist;
如果看到这个连接一直在
Sending data,别被这个名字骗了。它不一定只是“发送数据”,中间可能包含扫描、过滤、读页、发包等一堆动作。
MySQL 服务端会不会内存飙升?
会涨,但不是你想的那种“把 1000 万行结果集完整放内存里”。
InnoDB 读表的时候,会把数据页读进 Buffer Pool。全表扫一遍,Buffer Pool 里会进来大量数据页。问题不在于一次性装下整张表,而是它可能把原来热乎乎的缓存页挤出去。
你查完这个大表,另一个正常接口突然变慢,原因可能就是热数据被你扫没了。
可以看这个:
show global status like 'Innodb_buffer_pool_reads';
show global status like 'Innodb_buffer_pool_read_requests';
如果物理读明显变多,说明它真的在从磁盘往里捞页。
还有一种情况更明显:SQL 带排序、分组、临时表。
select *
from t_order_record
order by created_at desc;
如果 created_at 没有合适索引,MySQL 可能要排序。结果集又大,这时候内存、磁盘临时文件都可能上来。这个就不是单纯 select * 的问题了,是执行计划不老实。
我更愿意先跑一下:
explain select *
from t_order_record;
看到 type=ALL 不稀奇,全表扫嘛。
但如果 Extra 里有这些东西,就要停一下:
Using temporary
Using filesort
这种 SQL 放到线上跑,属于拿数据库当导出工具用,还不给它留退路。
Java 里真要扫大表,别这么写。至少别一次性接住所有结果。
我一般会写成流式处理,边读边写文件,内存里只留一小段。
public void exportOrders(Connection conn, Path file) throws Exception {
String sql = """
select id, user_id, amount, created_at
from t_order_record
where id > ?
order by id
limit ?
""";
long lastId = 0L;
int batchSize = 5000;
try (BufferedWriter writer = Files.newBufferedWriter(file)) {
while (true) {
int count = 0;
try (PreparedStatement ps = conn.prepareStatement(sql)) {
ps.setLong(1, lastId);
ps.setInt(2, batchSize);
try (ResultSet rs = ps.executeQuery()) {
while (rs.next()) {
long id = rs.getLong("id");
writer.write(id + "," +
rs.getLong("user_id") + "," +
rs.getBigDecimal("amount") + "," +
rs.getTimestamp("created_at"));
writer.newLine();
lastId = id;
count++;
}
}
}
if (count < batchSize) {
break;
}
writer.flush();
}
}
}
这里不用 offset。
很多人会写:
limit 1000000, 5000
这种越往后越慢。MySQL 得先跳过前面一大堆,再给你后面的 5000 行。大表分页导出,优先用主键游标往后推。
如果你确实要用 JDBC 流式读取,也要确认驱动参数和 fetchSize,不然你以为自己在流式读,实际驱动已经帮你全塞客户端了。
比如 MySQL Connector/J 可以这样配:
jdbc:mysql://127.0.0.1:3306/app?useCursorFetch=true
然后代码里设置:
try (PreparedStatement ps = conn.prepareStatement(
"select id, user_id, amount from t_order_record",
ResultSet.TYPE_FORWARD_ONLY,
ResultSet.CONCUR_READ_ONLY)) {
ps.setFetchSize(1000);
try (ResultSet rs = ps.executeQuery()) {
while (rs.next()) {
handleOneRow(rs);
}
}
}
handleOneRow 里也别再偷偷塞 List。
private void handleOneRow(ResultSet rs) throws SQLException {
long orderId = rs.getLong("id");
long userId = rs.getLong("user_id");
// 这里直接写文件、发 MQ、写下游都行
// 别在这里 allRows.add(...)
}
所以回到那个问题:select * from 1000 万行的表,内存会飙升么?
得分三段看。
MySQL 服务端内存可能会上涨,主要是 Buffer Pool、排序、临时表这些地方。但普通全表扫描不等于把 1000 万行完整结果放进内存。
应用端更危险。尤其 Java 里用 MyBatis、JdbcTemplate、JPA 直接查成 List,1000 万个对象加字段字符串,堆很快就没了。
操作系统内存也会变化。Linux 会用 page cache 缓存磁盘数据,看起来 free 内存少了,不一定是坏事。但如果应用堆、MySQL Buffer Pool、OS cache 一起抢,机器就开始抖。
这类 SQL 我一般不让直接跑。
要么限制字段,不许 select *。
要么按主键分批。
要么走只读库。
要么放到离线任务里慢慢导。
最怕的是在业务接口里藏一个大查询,平时没人点,一点就是全表扫。监控上看着像 MySQL 抖了一下,实际是代码里早就埋了雷。