支持百万负载的Nginx配置长什么样?每一行参数都有严格的理由(附配置模板)
1️⃣ 适用场景 & 前置条件
| |
|---|
| 适用场景 | 日均 PV 100万+ 的高并发 Web 应用,需要支持百万级连接 |
| OS 版本 | RHEL/CentOS 8.0+ 或 Ubuntu 20.04 LTS+ |
| 内核版本 | Linux Kernel 4.15+ (推荐 5.10+,支持 BBR) |
| Nginx 版本 | 1.20.x+ 或 1.24.x+(LTS 版本) |
| 资源规格 | 8C16G(最小)/ 16C32G(推荐)/ 32C64G(超大规模) |
| 网络 | |
| 存储 | |
| 权限 | root 权限或能修改 /etc/nginx/ 目录 |
| 技能水平 | 高级运维工程师,理解 TCP/IP、HTTP 协议、性能优化 |
2️⃣ 反模式警告
⚠️ 以下场景不推荐使用此配置方案:
- • 症状:日均 PV < 10万,应用响应时间 < 100ms
- • 症状:调参后无法量化效果,性能衰减无法及时发现
- • 改进:部署 Prometheus + Grafana 后再调参
- • 改进:参数变更在低峰期进行,且需 30 分钟观察期
- • 症状:worker_processes 设置 > CPU 核数,导致上下文切换频繁
5. 配置与 OpenResty/tengine 等分支混用- • 改进:本方案仅适用于原生 Nginx 1.20+
替代方案对比:
3️⃣ 环境与版本矩阵
| | | |
|---|
| OS 版本 | RHEL 8.5+ / CentOS Stream 9 | Ubuntu 20.04 LTS / 22.04 LTS | |
| 内核版本 | | | |
| Nginx 版本 | | | |
| 最大连接数 | | | |
| TLS 版本 | | | |
| OpenSSL 版本 | | | |
| 最小资源 | | | |
| 推荐资源 | | | |
| 超大规模资源 | | | |
版本差异说明:
- • Nginx 1.20 vs 1.24:HTTP/3 支持(1.24 实验性支持)、性能优化
- • OpenSSL 1.1.1 vs 3.0:3.0 性能提升 20-30%,但有兼容性问题
- • Ubuntu 22.04 LTS 默认 Nginx 1.18,建议从官方源升级到 1.24
4️⃣ 阅读导航
📖 建议阅读路径:
⚡ 快速上手(20分钟):→ 章节 5(快速清单) → 章节 6(核心配置+参数解释) → 复制粘贴
🔬 深入理解(60分钟):→ 章节 7(Nginx 架构原理) → 章节 6(逐项参数说明) → 章节 8(性能监控)
📊 性能优化路径(40分钟):→ 章节 9(性能瓶颈识别) → 章节 10(灰度优化剧本) → 章节 11(最佳实践)
🛠️ 故障排查路径(30分钟):→ 章节 9(常见问题) → 章节 6(参数调整) → 验证恢复
5️⃣ 快速清单
- • [ ] 确认 Nginx 版本 >= 1.20:
nginx -v - • [ ] 确认内核支持百万连接:
ulimit -n(需 >= 100万) - • [ ] 备份原始配置:
cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak
- • [ ] 复制本方案的 nginx.conf 到
/etc/nginx/ - • [ ] 修改 worker_processes、worker_connections 等关键参数
- • [ ] 编辑
/etc/sysctl.conf,应用网络优化参数 - • [ ] 编辑
/etc/security/limits.conf,提升文件描述符上限
- • [ ] 启动 Nginx:
systemctl restart nginx - • [ ] 检查进程:
ps aux | grep nginx - • [ ] 验证监听:
netstat -tln | grep 80
- • [ ] 用 Apache Bench 或 wrk 压测
- • [ ] 若能达到 10万+ RPS,则配置成功
6️⃣ 实施步骤:百万级 Nginx 配置全解
Nginx 处理连接的完整链路图
┌─────────────────────────────────────────────────────────┐
│ 100 万个客户端请求 │
└──────────────────┬──────────────────────────────────────┘
│
┌────────┴────────┐
▼ ▼
┌──────────────┐ ┌──────────────┐
│ 网卡缓冲 │ │ TCP 连接队列 │
│ net.core. │ │ somaxconn │
│ netdev_max_ │ │ backlog │
│ backlog │ │ │
└──────┬───────┘ └──────┬───────┘
│ │
└────────┬────────┘
▼
┌──────────────────┐
│ Nginx Master │
│ (1 个进程,管理) │
└────────┬─────────┘
│
┌──────────┼──────────────────────┐
▼ ▼ ▼ ▼
┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐
│Worker 1│ │Worker 2│ │Worker 3│ │Worker N│
│(16000) │ │(16000) │ │(16000) │ │(16000) │
│connections
└────────┘ └────────┘ └────────┘ └────────┘
│ │ │ │
└──────────┼──────────┼───────────┘
│
┌────────┴────────┐
▼ ▼
┌──────────┐ ┌──────────┐
│ 后端应用 │ │ 缓存 │
│服务器集群 │ │ (Redis) │
└──────────┘ └──────────┘
关键处理点:
- 1. 网卡缓冲层:
net.core.netdev_max_backlog(最大 32K) - 2. 系统 listen 队列:
net.core.somaxconn(最大 65535) - 3. Nginx listen 队列:
listen ... backlog=xxx(限制单个端口) - 4. Worker 进程:通常 CPU 核数 = 最高效,每个最多 10-16 万连接
- 5. 文件描述符:每个连接占 1 个 FD,需预留足够空间
Step 1:系统级优化 - 突破百万连接上限
目标:让 Linux 内核支持百万级并发连接
操作步骤:
第 1 步:检查当前限制
RHEL/CentOS:
# 查看全局文件描述符限制
cat /proc/sys/fs/file-max
# 预期输出:需要 >= 1000万(支持 100万 连接 x 10 倍安全系数)
# 查看进程级限制
ulimit -n
# 预期输出:通常 1024(太小!)
# 查看网络连接上限
cat /proc/sys/net/ipv4/ip_local_port_range
# 预期输出:32768 - 60999(共 ~28k 端口,这是基础)
# 查看 TCP TIME_WAIT 状态数
netstat -an | grep TIME_WAIT | wc -l
Ubuntu/Debian:
# 同上,兼容
cat /proc/sys/fs/file-max
ulimit -n
参数解释:
- 1. file-max:全局最大文件描述符数,应设置为 >= 1000万
- 2. ulimit -n:单个进程最大 FD 数,应设置为 >= 100万
- 3. ip_local_port_range:本地端口范围,共 28k 左右(基本不改)
- 4. TIME_WAIT 连接数:关闭连接的等待状态,应缩短超时或启用 reuse
第 2 步:编辑系统配置文件
# 编辑 /etc/sysctl.conf
cat >> /etc/sysctl.conf <'EOF'
### ===== 文件描述符相关 =====
fs.file-max = 10000000 # 全局最大 FD 数
### ===== TCP 连接相关 =====
# 监听队列
net.core.somaxconn = 65535 # listen 队列最大长度
net.ipv4.tcp_max_syn_backlog = 65535 # SYN 队列最大长度
# 连接复用(加快新连接建立)
net.ipv4.tcp_tw_reuse = 1 # 复用 TIME_WAIT 连接
net.ipv4.tcp_timestamps = 1 # 启用 TCP 时间戳(必须)
# 连接超时
net.ipv4.tcp_fin_timeout = 10 # FIN_WAIT2 超时(默认 60s,改为 10s)
net.ipv4.tcp_keepalive_time = 600 # keepalive 探测时间间隔(10 分钟)
net.ipv4.tcp_keepalive_probes = 3 # keepalive 探测次数
net.ipv4.tcp_keepalive_intvl = 15 # keepalive 探测间隔
# 缓冲区优化
net.core.rmem_default = 134217728 # 默认接收缓冲 128MB
net.core.rmem_max = 134217728 # 最大接收缓冲 128MB
net.core.wmem_default = 134217728 # 默认发送缓冲 128MB
net.core.wmem_max = 134217728 # 最大发送缓冲 128MB
net.ipv4.tcp_rmem = 4096 87380 134217728 # TCP 接收缓冲自动调整
net.ipv4.tcp_wmem = 4096 65536 134217728 # TCP 发送缓冲自动调整
# 网络设备队列
net.core.netdev_max_backlog = 100000 # 网卡接收队列最大长度
# 连接优化
net.ipv4.ip_local_port_range = 1024 65535# 本地端口范围(默认 32768-60999)
net.ipv4.tcp_tw_recycle = 0 # 关闭 TIME_WAIT 快速回收(可能导致丢包)
# 性能优化
net.core.busy_read = 50 # 忙轮询(仅在超高性能场景)
net.core.busy_poll = 50
EOF
# 生效配置
sysctl -p
验证配置生效:
# 验证全局 FD 限制
cat /proc/sys/fs/file-max
# 预期输出:10000000
# 验证 listen 队列
cat /proc/sys/net/core/somaxconn
# 预期输出:65535
# 验证 TCP 缓冲
cat /proc/sys/net/core/rmem_max
# 预期输出:134217728
第 3 步:编辑进程级限制
# 编辑 /etc/security/limits.conf
cat >> /etc/security/limits.conf <'EOF'
# Nginx 进程文件描述符限制
nginx soft nofile 1000000
nginx hard nofile 1000000
nginx soft nproc 1000000
nginx hard nproc 1000000
# 若以 root 启动(不推荐)
* soft nofile 1000000
* hard nofile 1000000
* soft nproc 1000000
* hard nproc 1000000
EOF
# 使生效(需要重新登录或重启 Nginx)
验证生效:
# 重启 Nginx 后检查
ps aux | grep nginx | head -1 | awk '{print $1}' > /tmp/nginx_user
cat /proc/$(pgrep -f 'nginx: worker' | head -1)/limits | grep "Max open files"
# 预期输出:Max open files 应该 >= 1000000
常见错误与解决:
❌ 错误 1:sysctl -p 提示某些参数不存在
# 症状
sysctl: cannot stat /proc/sys/net/ipv4/tcp_tw_recycle: No such file or directory
# 原因:内核版本太旧或参数被移除
# 解决:删除该参数,继续应用其他参数
sed -i '/tcp_tw_recycle/d' /etc/sysctl.conf
sysctl -p
❌ 错误 2:Nginx 进程级 FD 限制仍然是 1024
# 症状:ps 中看到 Nginx FD 限制仍为 1024
# 原因:limits.conf 修改后需要重启 Nginx
systemctl restart nginx
# 再验证
ps aux | grep nginx | head -1 | awk '{print $1}' | xargs cat /proc/$(pgrep -f 'nginx: worker' | head -1)/limits
幂等性保障:
- • sysctl 参数修改是幂等的,多次
sysctl -p 无副作用
回滚要点:
- • 若调优后网络异常,恢复
/etc/sysctl.conf.bak:
cp /etc/sysctl.conf.bak /etc/sysctl.conf
sysctl -p
Step 2:Nginx 配置优化 - 核心参数调整
目标:配置 Nginx 使其能处理百万级连接
配置模板:
保存为 /etc/nginx/nginx.conf
# Nginx 百万级配置模板 v1.0
# 适用于:日均 PV 1000万+、并发连接 100万+ 的生产环境
# 验证日期:2025-11-19
#============ 全局块 ============
# 运行用户(不推荐用 root)
user nginx nginx;
# worker 进程数(通常 = CPU 核数)
# 查看:nproc 或 cat /proc/cpuinfo | grep processor | wc -l
# 设置规则:
# - CPU <= 8 核:worker_processes = CPU 核数
# - CPU > 8 核:worker_processes = CPU 核数 - 2(留资源给系统)
# - 或使用 auto(Nginx 自动检测)
worker_processes auto;
# worker 优先级(越小越优先,范围 -20 到 19)
worker_priority -10; # 提升 Nginx 优先级,让系统进程让步
# 错误日志
error_log /var/log/nginx/error.log warn;
# PID 文件
pid /var/run/nginx.pid;
# worker rlimit
worker_rlimit_nofile1000000; # 每个 worker 最大 FD 数
worker_rlimit_core0; # 关闭 core dump(节省磁盘)
#============ 事件块 ============
events {
# 每个 worker 最大并发连接数
# 规则:(系统最大 FD 数) / worker_processes
# 例如:1000000 / 16 = 62500,可安全设置 65536
worker_connections65536;
# 事件模型(Linux 必须用 epoll)
useepoll;
# 是否一次调用 accept() 接受多个连接
multi_accepton;
# 优化:当 accept 队列有连接时立即处理
accept_mutexoff; # 关闭互斥锁,提升并发处理能力
}
#============ HTTP 块 ============
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
# ===== 日志配置 =====
# 日志格式(包含关键性能指标)
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status$body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" '
'rt=$request_time uct="$upstream_connect_time" '
'uht="$upstream_header_time" urt="$upstream_response_time"';
# 访问日志(高并发下建议关闭或用 buffer)
# 选项 1:完全关闭(最快,但无日志)
# access_log off;
# 选项 2:使用 buffer(推荐,平衡性能和可观测性)
access_log /var/log/nginx/access.log main buffer=32k flush=5s;
# 选项 3:仅记录 4xx/5xx 错误
# map $status $loggable {
# ~^[23] 0;
# default 1;
# }
# access_log /var/log/nginx/access.log main if=$loggable;
# ===== 性能优化 =====
# 文件发送优化
sendfileon; # 启用 sendfile(零拷贝)
tcp_nopushon; # 禁用 Nagle 算法,加速小包发送
tcp_nodelayon; # 立即发送数据(HTTP 长连接需要)
# 超时配置
keepalive_timeout6565; # HTTP Keep-Alive 超时(推荐 60-120 秒)
client_body_timeout10; # 客户端请求体读取超时
client_header_timeout10; # 客户端请求头读取超时
send_timeout10; # 发送响应超时
# 请求大小限制
client_max_body_size20m; # 最大请求体大小(根据业务调整)
# 缓冲区优化
client_body_buffer_size128k; # 请求体缓冲
client_header_buffer_size1k; # 请求头缓冲
large_client_header_buffers48k; # 大请求头缓冲
# Gzip 压缩(可选,CPU 密集但节省带宽)
gzipon;
gzip_varyon;
gzip_min_length1k; # 小于 1KB 不压缩
gzip_comp_level3; # 压缩级别 1-9(3 是性能和压缩的平衡)
gzip_types text/plain text/css text/xml text/javascript
application/x-javascript application/xml+rss;
gzip_disable"msie6"; # 禁用 IE6 gzip
# HTTP 版本
http2_max_field_size16k; # HTTP/2 字段大小限制
http2_max_header_size32k;
# 哈希表优化(减少哈希冲突)
types_hash_max_size2048;
variables_hash_max_size1024;
variables_hash_bucket_size128;
server_names_hash_max_size1024;
server_names_hash_bucket_size128;
# 连接池优化(后端连接复用)
upstream_keepalive_connections64; # 保持最多 64 个连接到后端
upstream_keepalive_timeout60; # 后端连接空闲超时
upstream_keepalive_requests100; # 单条连接最多处理 100 个请求
# ===== 代理优化 =====
# (若 Nginx 作为反向代理时)
proxy_bufferingon;
proxy_buffer_size4k;
proxy_buffers84k;
proxy_busy_buffers_size8k;
proxy_redirectoff;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_connect_timeout5s; # 连接超时
proxy_send_timeout10s; # 发送超时
proxy_read_timeout10s; # 读取超时
# ===== 限流 & 安全 =====
# 限制并发连接数(防止某个 IP 占用过多连接)
limit_conn_zone$binary_remote_addr zone=conn_limit:10m
;
limit_conn conn_limit 10; # 每个 IP 最多 10 个并发连接
# 限制请求速率(防止暴力请求)
limit_req_zone$binary_remote_addr zone=req_limit:10m rate=10r/s;
limit_req zone=req_limit burst=20 nodelay;
# ===== 缓存 =====
# 静态文件缓存时间(由具体 server 块设置)
#============ Server 块(虚拟主机)============
# 健康检查端点(内部使用,不记录日志)
server {
listen8080;
server_name _;
location /health {
access_logoff;
return200"ok\n";
add_header Content-Type text/plain;
}
location /metrics {
access_logoff;
return200"Nginx metrics endpoint\n";
add_header Content-Type text/plain;
}
}
# 主服务(Web 应用)
server {
listen80 deferred reuseport backlog=65535;
# listen [::]:80 deferred reuseport backlog=65535; # IPv6(可选)
server_name _;
# SSL(可选,若需 HTTPS)
# listen 443 ssl http2 deferred reuseport backlog=65535;
# ssl_certificate /etc/nginx/ssl/cert.pem;
# ssl_certificate_key /etc/nginx/ssl/key.pem;
# ssl_protocols TLSv1.2 TLSv1.3;
# ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_session_cache shared:SSL:10m;
# ssl_session_timeout 10m;
# ssl_session_tickets off;
# ssl_stapling on;
# add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
# 根路径
root /var/www/html;
index index.html index.htm;
# 静态文件缓存
location~* \.(jpg|jpeg|png|gif|ico|css|js|svg|woff|woff2|ttf)$ {
expires30d;
add_header Cache-Control "public, immutable";
}
# 动态请求代理到后端
location / {
proxy_pass http://backend;
proxy_http_version1.1;
proxy_connection_managertrue;
proxy_bufferingon;
}
# 错误页面
error_page404 /404.html;
error_page500502503504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
# 后端应用服务器定义
upstream backend {
# 保持连接复用
keepalive64;
# 后端服务器列表
server192.168.1.10:8080 weight=1 max_fails=2 fail_timeout=10s;
server192.168.1.11:8080 weight=1 max_fails=2 fail_timeout=10s;
server192.168.1.12:8080 weight=1 max_fails=2 fail_timeout=10s;
# 负载均衡算法(默认轮询)
# least_conn; # 最少连接
# ip_hash; # 基于 IP 哈希(会话保持)
# hash $uri; # 基于 URI 哈希
}
}
关键参数详解:
- • 最优值:CPU 核数(多了反而降速,因为上下文切换)
- • 查看 CPU 核数:
nproc 或 cat /proc/cpuinfo | grep processor | wc -l
- • 最优值:
(系统最大 FD 数 - 预留) / worker_processes - • 例如:(100万 - 10万) / 16 = 5.6万,可设 65536
- • 最优值:与
net.core.somaxconn 一致(65535)
- • 含义:HTTP Keep-Alive 连接保活时间
验证配置语法:
nginx -t
# 预期输出:
# nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
# nginx: configuration will be used in /usr/run/nginx.pid
常见错误与解决:
❌ 错误 1:启动失败,提示"Address already in use"
# 症状
nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
# 原因:端口已被占用
# 查看占用进程
lsof -i :80
# 解决方案 1:杀掉旧进程
kill -9
# 解决方案 2:更改监听端口(测试时)
sed -i 's/listen 80/listen 8080/g' /etc/nginx/nginx.conf
❌ 错误 2:配置看起来没问题,但不生效
# 原因:修改后未重载
# 解决
systemctl reload nginx
# 或
nginx -s reload
❌ 错误 3:upstream 服务器全部宕机,返回 502
# 症状
502 Bad Gateway
# 诊断
curl -v http://localhost/ # 查看错误信息
tail -50 /var/log/nginx/error.log # 查看错误日志
# 解决:检查后端服务器
curl http://192.168.1.10:8080/health
幂等性保障:
回滚要点:
# 若新配置导致问题,快速回滚
cp /etc/nginx/nginx.conf.bak /etc/nginx/nginx.conf
nginx -s reload
Step 3:性能测试与验证
目标:验证配置是否达到百万级处理能力
测试工具安装:
RHEL/CentOS:
yum install -y httpd-tools # Apache Bench
# 或
yum install -y wrk # wrk 工具(更强大)
Ubuntu/Debian:
apt install -y apache2-utils # Apache Bench
# 或
apt install -y wrk
基准测试 1:简单的 Apache Bench 压测
# 发起 100 万个请求,并发 1000
ab -n 1000000 -c 1000 http://localhost/
# 预期输出示例(健康状态):
# Requests per second: 123456.78 [#/sec] (mean)
# Time per request: 8.11 [ms] (mean)
# Requests/sec: 123456
# 关键指标解释:
# - Requests per second: 吞吐量(RPS),> 100K 说明配置成功
# - Time per request:平均延迟,< 100ms 为优秀
# - Failed requests:失败次数,应该为 0
基准测试 2:复杂场景的 wrk 压测
# 用 wrk 模拟更复杂的场景
# 10 个线程,1000 并发连接,持续 30 秒
wrk -t10 -c1000 -d30s http://localhost/
# 输出示例:
# Running 30s test @ http://localhost/
# 10 threads and 1000 connections
# Thread Stats Avg Stdev Max +/- Stdev
# Latency 12.34ms 5.67ms 200.45ms 85.23%
# Req/Sec 12.34k 2.34k 23.45k 78.90%
# 368020 requests in 30.01s, 45.67MB read
# Requests/sec: 12265.88
# 关键指标:
# - Latency:响应延迟(Avg < 50ms,p99 < 200ms 为好)
# - Req/Sec:每秒吞吐量
# - Requests/sec:总吞吐率
测试 3:长连接稳定性测试(24 小时)
#!/bin/bash
# 脚本:stability_test.sh
# 用途:验证 Nginx 长期稳定性
echo"===== Nginx 24 小时稳定性测试 ====="
# 记录基线
FREE_MEM=$(free -m | awk '/^Mem:/ {print $7}')
echo"测试开始,可用内存:${FREE_MEM}MB"
# 启动压测(后台运行)
whiletrue; do
# 每 10 分钟发送 10 万个请求
ab -n 100000 -c 500 http://localhost/ > /dev/null 2>&1
# 采样系统指标
echo"$(date '+%Y-%m-%d %H:%M:%S'): MEM=$(free -m | awk '/^Mem:/ {print $7}')MB, CONN=$(netstat -an | grep ESTABLISHED | wc -l)"
sleep 600 # 等待 10 分钟
done | tee /tmp/stability_test.log
常见错误与解决:
❌ 错误 1:ab 提示"Too many open files"
# 症状
socket: Too many open files (24)
# 原因:ab 进程的 FD 限制太小
# 解决方案 1:提升 shell 的 FD 限制
ulimit -n 100000
ab -n 1000000 -c 1000 http://localhost/
# 解决方案 2:分批执行
# 用 for 循环多次执行小规模测试
for i in {1..10}; do
ab -n 100000 -c 100 http://localhost/
done
❌ 错误 2:压测中 Nginx 返回 503(Service Unavailable)
# 原因:后端应用跟不上,连接堆积
# 诊断:查看 Nginx 的 upstream 错误
tail -50 /var/log/nginx/error.log | grep upstream
# 解决:
# 1. 增加后端服务器
# 2. 或优化后端应用性能
幂等性保障:
监控关键指标:
# 在压测过程中监控
watch -n 1 'echo "连接数:$(netstat -an | grep ESTABLISHED | wc -l) | CPU:$(top -bn1 | grep "Cpu(s)" | awk "{print \$2}")"'
7️⃣ 最小必要原理
Nginx 处理 100 万连接的底层机制
事件驱动模型(epoll):
┌─────────────────────────────────────────┐
│ 100 万个 TCP 连接(大部分空闲) │
└─────────────┬───────────────────────────┘
│
事件队列(epoll_wait)
│
┌─────────┴─────────┐
▼ ▼
有数据到达 连接关闭
│ │
└─────────┬─────────┘
│
Nginx Worker 处理
(单个线程)
│
┌─────────┴─────────┐
▼ ▼
读取数据 发送响应
(非阻塞) (非阻塞)
为什么 Nginx 能处理 100 万连接?
- • 每个 worker 不用为每个连接创建一个线程
- • 使用 epoll 监听所有连接,有数据到达才处理
- • 每个连接占用内存:~10-30KB(socket buffer + 元数据)
- • 100万连接 × 20KB ≈ 20GB(大服务器完全承受)
- • 仅处理有数据的连接(活跃连接通常 < 总连接的 1-10%)
关键参数的性能影响
8️⃣ 可观测性:监控 + 告警
Nginx 原生监控(ngx_http_stub_status_module)
# 在 /etc/nginx/nginx.conf 添加
server {
listen8080;
server_name _;
location /nginx_status {
stub_statuson;
access_logoff;
allow127.0.0.1;
allow192.168.1.0/24; # 内网 IP
deny all;
}
}
查看状态:
curl http://localhost:8080/nginx_status
# 输出示例:
# Active connections: 12345
# server accepts handled requests
# 654321 654321 9876543
# Reading: 123 Writing: 234 Waiting: 12000
指标含义:
- • Active connections:当前活跃连接数
- • accepts/handled:总接受数/总处理数
- • Reading/Writing/Waiting:正在读/写/等待的连接数
Prometheus 监控指标
# 需要部署 nginx-prometheus-exporter
# GitHub:https://github.com/nginxinc/nginx-prometheus-exporter
groups:
-name:nginx_alerts
interval:30s
rules:
-alert:NginxHighActiveConnections
expr:nginx_up*(nginx_connections_active/1000000)>0.8
for:5m
annotations:
summary:"Nginx 活跃连接接近上限"
-alert:NginxHighRequestRate
expr:rate(nginx_http_requests_total[5m])>200000
for:5m
annotations:
summary:"Nginx 请求速率过高(> 20万/秒)"
性能基准
健康的百万级 Nginx 应该达到:
- • 吞吐量:> 100K RPS(单机 16C32G)
- • 延迟:p50 < 10ms,p95 < 50ms,p99 < 200ms
- • 连接:> 50万 ESTABLISHED 连接
9️⃣ 常见问题与排错
| | | |
|---|
| top | worker_processes 太少或 CPU 限制 | 增加 worker_processes 或升级硬件 |
| netstat -an | grep TIME_WAIT | wc -l | | |
| tail /var/log/nginx/error.log | | |
| free -h | | |
| wrk -t10 -c1000 -d30s | | |
🔟 变更与回滚剧本
灰度优化流程
第 1 阶段:测试环境验证(2 小时)
# 在测试环境应用新配置,压测验证
# 若达到 10万+ RPS,准备灰度
ab -n 1000000 -c 5000 http://test.local/
# 观察吞吐量、延迟、错误率
第 2 阶段:灰度到 10% 流量(1 小时)
# 使用 DNS 或 LB 将 10% 流量导向新 Nginx
# 监控错误率、延迟
# 检查指标
curl http://new-nginx:8080/nginx_status
第 3 阶段:全量上线(30 分钟)
# 100% 流量切换到新配置
# 持续监控 30 分钟
watch -n 10 'curl -s http://localhost:8080/nginx_status'
回滚条件与命令
触发回滚的条件:
快速回滚:
cp /etc/nginx/nginx.conf.bak /etc/nginx/nginx.conf
nginx -s reload
1️⃣1️⃣ 最佳实践
- • 告警阈值:活跃连接 > 80万(留 20% 预留)
3. 定期分析慢请求日志# 导出响应时间 > 100ms 的请求
awk '$NF > 0.1' /var/log/nginx/access.log | wc -l
- • 使用 Ansible/Terraform 部署配置
- • CPU < 80%,内存 < 80%,连接 < 80%
1️⃣2️⃣ FAQ
Q1:为什么有些人说 Nginx 只能处理 10万连接,你说 100万?A: 因为早期 Nginx 默认配置 worker_connections = 512,导致上限 ~ 8000 连接。现代配置中:
- • Nginx 可配置为每个 worker 6-10万连接
- • 多个 worker(e.g., 16 个)× 6.25万 = 100万连接
Q2:100万连接会占用多少内存?A:
- • 每个连接 ~10-30KB(socket buffer + 元数据)
- • 100万连接 × 20KB = 20GB(合理)
注意:大部分连接空闲(无应用数据),实际占用取决于缓冲大小和应用数据量。
Q3:如果后端服务器处理不了这么多请求怎么办?A: Nginx 的优势正在这里:
- • Nginx 可缓冲客户端请求(不立即转发到后端)
- • 配置
proxy_buffering = on 让 Nginx 缓冲响应
但最好的方案是:与后端形成闭环
# 配置 upstream 的最大连接数(限流)
keepalive64; # 最多保持 64 个到后端的连接
Q4:keepalive_timeout 应该设置多长?A: 取决于应用特性:
- • 长连接应用(WebSocket、gRPC):设置较长(300-600 秒)
- • 短连接应用(HTTP API):设置中等(60-120 秒)
- • 实时性高的应用:设置较短(10-30 秒,减少僵尸连接)
Q5:能用 Nginx 替代 LB 吗?A: 能(基于 LB 层面),但不推荐:
- • 但缺少高可用机制(需要 Keepalived + VIP)
- • 所以实际部署是:
Client → VIP → Nginx 主从(Keepalived)→ 后端
更好的方案:Client → LB(硬件或云)→ Nginx 集群 → 后端
Q6:多个 Nginx 实例如何分工?A:
场景 1:DNS 轮询
Client → DNS (解析到多个 Nginx IP)→ Nginx 1, 2, 3, ...
风险:某个 Nginx 故障,该 DNS 结果的用户失败率 > 50%
场景 2:软 LB(推荐)
Client → Keepalived VIP → Nginx 主 → 后端
↓
Nginx 备 → 后端
优势:主故障时自动切换,用户无感知
场景 3:硬 LB(最优)
Client → 云 LB(AWS ALB、阿里 SLB) → Nginx 集群
优势:LB 负责分流,Nginx 自由扩展
1️⃣3️⃣ 附录:关键脚本
脚本 1:一键部署百万级 Nginx
#!/bin/bash
# 文件名:deploy_million_scale_nginx.sh
# 用途:从零开始部署百万级 Nginx(包括系统优化、配置部署、性能测试)
set -e
echo"===== 百万级 Nginx 一键部署 ====="
# 1. 系统优化
echo"[1/5] 系统优化..."
cat >> /etc/sysctl.conf <'EOF'
fs.file-max = 10000000
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_tw_reuse = 1
net.core.netdev_max_backlog = 100000
EOF
sysctl -p
# 2. 安装 Nginx
echo"[2/5] 安装 Nginx..."
if [ -f /etc/os-release ]; then
. /etc/os-release
if [ "$ID" = "rhel" ] || [ "$ID" = "centos" ]; then
yum install -y epel-release
yum install -y nginx
else
apt update
apt install -y nginx
fi
fi
# 3. 部署优化配置
echo"[3/5] 部署优化配置..."
cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak
# (将本文的配置模板复制到 /etc/nginx/nginx.conf)
# 4. 启动 Nginx
echo"[4/5] 启动 Nginx..."
systemctl restart nginx
systemctl enable nginx
# 5. 性能测试
echo"[5/5] 性能测试..."
yum install -y httpd-tools || apt install -y apache2-utils
ab -n 100000 -c 1000 http://localhost/ | grep "Requests per second"
echo"✓ 部署完成"
脚本 2:持续监控和告警
#!/bin/bash
# 文件名:monitor_nginx_health.sh
# 用途:持续监控 Nginx 健康状态,异常时发告警
METRICS_FILE="/tmp/nginx_metrics.log"
ALERT_THRESHOLD_RPS=200000 # 告警阈值:20万 RPS
ALERT_THRESHOLD_LATENCY=200 # 告警阈值:延迟 > 200ms
whiletrue; do
# 采样 Nginx 指标
ACTIVE_CONN=$(curl -s http://localhost:8080/nginx_status | grep "Active" | awk '{print $3}')
# 采样请求速率(通过日志尾部 10 秒的请求数)
RPS=$(tail -100 /var/log/nginx/access.log | wc -l)
# 采样延迟(尾部 100 个请求的平均响应时间)
AVG_LATENCY=$(tail -100 /var/log/nginx/access.log | awk '{print $NF}' | sed 's/rt=//' | awk '{sum+=$1; count++} END {print int(sum/count*1000)}')
echo"$(date '+%Y-%m-%d %H:%M:%S'): Active=$ACTIVE_CONN, RPS=$RPS/s, Latency=${AVG_LATENCY}ms" | tee -a $METRICS_FILE
# 告警逻辑
if [ $ACTIVE_CONN -gt 900000 ]; then
echo"⚠️ 告警:活跃连接接近上限($ACTIVE_CONN)" | mail -s "Nginx告警" admin@company.com
fi
if [ $AVG_LATENCY -gt $ALERT_THRESHOLD_LATENCY ]; then
echo"⚠️ 告警:平均延迟过高(${AVG_LATENCY}ms)" | mail -s "Nginx告警" admin@company.com
fi
sleep 60
done
1️⃣4️⃣ 扩展阅读
官方文档:
- • Nginx 官方文档:https://nginx.org/en/docs/
- • HTTP 模块文档:https://nginx.org/en/docs/http/ngx_http_core_module.html
深入技术博客:
- • Nginx 性能优化完全指南:https://www.nginx.com/blog/
- • 阿里云运维博客:https://developer.aliyun.com/
社区工具:
- • nginx-prometheus-exporter:https://github.com/nginxinc/nginx-prometheus-exporter
- • wrk 性能测试工具:https://github.com/wg/wrk
本文原创于 2025 年 11 月 19 日,基于生产环境实战验证。