社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  NGINX

支持百万负载的Nginx配置长什么样?每一行参数都有严格的理由(附配置模板)

马哥Linux运维 • 12 月前 • 459 次点击  

支持百万负载的Nginx配置长什么样?每一行参数都有严格的理由(附配置模板)


1️⃣ 适用场景 & 前置条件

项目
要求
适用场景
日均 PV 100万+ 的高并发 Web 应用,需要支持百万级连接
OS 版本
RHEL/CentOS 8.0+ 或 Ubuntu 20.04 LTS+
内核版本
Linux Kernel 4.15+ (推荐 5.10+,支持 BBR)
Nginx 版本
1.20.x+ 或 1.24.x+(LTS 版本)
资源规格
8C16G(最小)/ 16C32G(推荐)/ 32C64G(超大规模)
网络
10Gbps+ 网络、万级连接数支持网卡
存储
SSD(日志 I/O 不能是瓶颈)
权限
root 权限或能修改 /etc/nginx/ 目录
技能水平
高级运维工程师,理解 TCP/IP、HTTP 协议、性能优化

2️⃣ 反模式警告

⚠️ 以下场景不推荐使用此配置方案:

  1. 1. 低并发、低流量应用
  • • 症状:日均 PV < 10万,应用响应时间 < 100ms
  • • 原因:百万级配置会浪费资源,反而增加复杂度
  • • 改进:使用 Nginx 官方默认配置即可
  • 2. 无监控、无告警系统
    • • 症状:调参后无法量化效果,性能衰减无法及时发现
    • • 改进:部署 Prometheus + Grafana 后再调参
  • 3. 在生产高峰期直接修改参数
    • • 症状:调参失败导致业务中断、连接数暴涨
    • • 改进:参数变更在低峰期进行,且需 30 分钟观察期
  • 4. 盲目增大所有参数(如内存)
    • • 症状:worker_processes 设置 > CPU 核数,导致上下文切换频繁
    • • 改进:每个参数都有最优值,非"越大越好"
  • 5. 配置与 OpenResty/tengine 等分支混用
    • • 症状:配置语法差异导致启动失败
    • • 改进:本方案仅适用于原生 Nginx 1.20+

    替代方案对比:

    场景
    推荐方案
    理由
    已有 CDN/LB
    仅优化源站 Nginx
    减少网络往返,性价比高
    API 网关场景
    Kong/Traefik + Nginx
    Kong 提供更强的插件系统
    实时性要求高
    HAProxy + Nginx
    HAProxy 更快(C 语言实现)
    需要 Lua 动态脚本
    OpenResty
    基于 Nginx + Lua 的强大组合

    3️⃣ 环境与版本矩阵

    组件
    RHEL/CentOS
    Ubuntu/Debian
    测试状态
    OS 版本
    RHEL 8.5+ / CentOS Stream 9
    Ubuntu 20.04 LTS / 22.04 LTS
    [已实测]
    内核版本
    4.18.0-305+ / 5.10+
    5.10.0+ / 5.15.0+
    [已实测]
    Nginx 版本
    1.20.2 / 1.24.0
    1.20.2 / 1.24.0
    [已实测]
    最大连接数
    100万+(理论)
    100万+(理论)
    [已实测至 50万]
    TLS 版本
    1.2 / 1.3
    1.2 / 1.3
    [已实测]
    OpenSSL 版本
    1.1.1 / 3.0
    1.1.1 / 3.0
    [已实测]
    最小资源
    8C16G / 100GB
    8C16G / 100GB
    -
    推荐资源
    16C32G / 500GB
    16C32G / 500GB
    -
    超大规模资源
    32C64G / 1TB
    32C64G / 1TB
    -

    版本差异说明:

    • • Nginx 1.20 vs 1.24:HTTP/3 支持(1.24 实验性支持)、性能优化
    • • OpenSSL 1.1.1 vs 3.0:3.0 性能提升 20-30%,但有兼容性问题
    • • Ubuntu 22.04 LTS 默认 Nginx 1.18,建议从官方源升级到 1.24

    4️⃣ 阅读导航

    📖 建议阅读路径:

    ⚡ 快速上手(20分钟):→ 章节 5(快速清单) → 章节 6(核心配置+参数解释) → 复制粘贴

    🔬 深入理解(60分钟):→ 章节 7(Nginx 架构原理) → 章节 6(逐项参数说明) → 章节 8(性能监控)

    📊 性能优化路径(40分钟):→ 章节 9(性能瓶颈识别) → 章节 10(灰度优化剧本) → 章节 11(最佳实践)

    🛠️ 故障排查路径(30分钟):→ 章节 9(常见问题) → 章节 6(参数调整) → 验证恢复


    5️⃣ 快速清单

    • • [ ] 环境准备(5分钟)
      • • [ ] 确认 Nginx 版本 >= 1.20:nginx -v
      • • [ ] 确认内核支持百万连接:ulimit -n(需 >= 100万)
      • • [ ] 备份原始配置:cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak
    • • [ ] 应用优化配置(10分钟)
      • • [ ] 复制本方案的 nginx.conf 到 /etc/nginx/
      • • [ ] 修改 worker_processes、worker_connections 等关键参数
      • • [ ] 验证配置语法:nginx -t
    • • [ ] 系统参数调优(10分钟)
      • • [ ] 编辑 /etc/sysctl.conf,应用网络优化参数
      • • [ ] 执行 sysctl -p 使生效
      • • [ ] 编辑 /etc/security/limits.conf,提升文件描述符上限
    • • [ ] 启动 & 验证(5分钟)
      • • [ ] 启动 Nginx:systemctl restart nginx
      • • [ ] 检查进程:ps aux | grep nginx
      • • [ ] 验证监听:netstat -tln | grep 80
    • • [ ] 性能测试(30分钟)
      • • [ ] 用 Apache Bench 或 wrk 压测
      • • [ ] 观察 CPU、内存、网络占用
      • • [ ] 若能达到 10万+ RPS,则配置成功

    6️⃣ 实施步骤:百万级 Nginx 配置全解

    Nginx 处理连接的完整链路图

    ┌─────────────────────────────────────────────────────────┐
    │                   100 万个客户端请求                       │
    └──────────────────┬──────────────────────────────────────┘
                       │
              ┌────────┴────────┐
              ▼                 ▼
        ┌──────────────┐  ┌──────────────┐
        │  网卡缓冲    │  │  TCP 连接队列 │
        │ net.core.   │  │ somaxconn    │
        │ netdev_max_ │  │ backlog      │
        │ backlog     │  │              │
        └──────┬───────┘  └──────┬───────┘
               │                 │
               └────────┬────────┘
                        ▼
              ┌──────────────────┐
              │  Nginx Master    │
              │  (1 个进程,管理)  │
              └────────┬─────────┘
                       │
            ┌──────────┼──────────────────────┐
            ▼          ▼          ▼           ▼
        ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐
        │Worker 1│ │Worker 2│ │Worker 3│ │Worker N│
        │(16000) │ │(16000) │ │(16000) │ │(16000) │
        │connections
        └────────┘ └────────┘ └────────┘ └────────┘
            │          │          │           │
            └──────────┼──────────┼───────────┘
                       │
              ┌────────┴────────┐
              ▼                 ▼
         ┌──────────┐    ┌──────────┐
         │ 后端应用  │    │  缓存    │
         │服务器集群 │    │ (Redis)  │
         └──────────┘    └──────────┘

    关键处理点:

    1. 1. 网卡缓冲层:net.core.netdev_max_backlog(最大 32K)
    2. 2. 系统 listen 队列:net.core.somaxconn(最大 65535)
    3. 3. Nginx listen 队列:listen ... backlog=xxx(限制单个端口)
    4. 4. Worker 进程:通常 CPU 核数 = 最高效,每个最多 10-16 万连接
    5. 5. 文件描述符:每个连接占 1 个 FD,需预留足够空间

    Step 1:系统级优化 - 突破百万连接上限

    目标:让 Linux 内核支持百万级并发连接

    操作步骤:

    第 1 步:检查当前限制

    RHEL/CentOS:

    # 查看全局文件描述符限制
    cat /proc/sys/fs/file-max
    # 预期输出:需要 >= 1000万(支持 100万 连接 x 10 倍安全系数)

    # 查看进程级限制
    ulimit -n
    # 预期输出:通常 1024(太小!)

    # 查看网络连接上限
    cat /proc/sys/net/ipv4/ip_local_port_range
    # 预期输出:32768 - 60999(共 ~28k 端口,这是基础)

    # 查看 TCP TIME_WAIT 状态数
    netstat -an | grep TIME_WAIT | wc -l

    Ubuntu/Debian:

    # 同上,兼容
    cat /proc/sys/fs/file-max
    ulimit -n

    参数解释:

    1. 1. file-max:全局最大文件描述符数,应设置为 >= 1000万
    2. 2. ulimit -n:单个进程最大 FD 数,应设置为 >= 100万
    3. 3. ip_local_port_range:本地端口范围,共 28k 左右(基本不改)
    4. 4. TIME_WAIT 连接数:关闭连接的等待状态,应缩短超时或启用 reuse

    第 2 步:编辑系统配置文件

    # 编辑 /etc/sysctl.conf
    cat >> /etc/sysctl.conf <'EOF'
    ### ===== 文件描述符相关 =====
    fs.file-max = 10000000                    # 全局最大 FD 数

    ### ===== TCP 连接相关 =====
    # 监听队列
    net.core.somaxconn = 65535                # listen 队列最大长度
    net.ipv4.tcp_max_syn_backlog = 65535      # SYN 队列最大长度

    # 连接复用(加快新连接建立)
    net.ipv4.tcp_tw_reuse = 1                 # 复用 TIME_WAIT 连接
    net.ipv4.tcp_timestamps = 1               # 启用 TCP 时间戳(必须)

    # 连接超时
    net.ipv4.tcp_fin_timeout = 10             # FIN_WAIT2 超时(默认 60s,改为 10s)
    net.ipv4.tcp_keepalive_time = 600         # keepalive 探测时间间隔(10 分钟)
    net.ipv4.tcp_keepalive_probes = 3         # keepalive 探测次数
    net.ipv4.tcp_keepalive_intvl = 15         # keepalive 探测间隔

    # 缓冲区优化
    net.core.rmem_default = 134217728         # 默认接收缓冲 128MB
    net.core.rmem_max = 134217728             # 最大接收缓冲 128MB
    net.core.wmem_default = 134217728         # 默认发送缓冲 128MB
    net.core.wmem_max = 134217728             # 最大发送缓冲 128MB
    net.ipv4.tcp_rmem = 4096 87380 134217728  # TCP 接收缓冲自动调整
    net.ipv4.tcp_wmem = 4096 65536 134217728  # TCP 发送缓冲自动调整

    # 网络设备队列
    net.core.netdev_max_backlog = 100000      # 网卡接收队列最大长度

    # 连接优化
    net.ipv4.ip_local_port_range = 1024 65535# 本地端口范围(默认 32768-60999)
    net.ipv4.tcp_tw_recycle = 0               # 关闭 TIME_WAIT 快速回收(可能导致丢包)

    # 性能优化
    net.core.busy_read = 50                   # 忙轮询(仅在超高性能场景)
    net.core.busy_poll = 50
    EOF

    # 生效配置
    sysctl -p

    验证配置生效:

    # 验证全局 FD 限制
    cat /proc/sys/fs/file-max
    # 预期输出:10000000

    # 验证 listen 队列
    cat /proc/sys/net/core/somaxconn
    # 预期输出:65535

    # 验证 TCP 缓冲
    cat /proc/sys/net/core/rmem_max
    # 预期输出:134217728

    第 3 步:编辑进程级限制

    # 编辑 /etc/security/limits.conf
    cat >> /etc/security/limits.conf <'EOF'
    # Nginx 进程文件描述符限制
    nginx soft nofile 1000000
    nginx hard nofile 1000000
    nginx soft nproc 1000000
    nginx hard nproc 1000000

    # 若以 root 启动(不推荐)
    * soft nofile 1000000
    * hard nofile 1000000
    * soft nproc 1000000
    * hard nproc 1000000
    EOF

    # 使生效(需要重新登录或重启 Nginx)

    验证生效:

    # 重启 Nginx 后检查
    ps aux | grep nginx | head -1 | awk '{print $1}' > /tmp/nginx_user
    cat /proc/$(pgrep -f 'nginx: worker' | head -1)/limits | grep "Max open files"
    # 预期输出:Max open files 应该 >= 1000000

    常见错误与解决:

    ❌ 错误 1:sysctl -p 提示某些参数不存在

    # 症状
    sysctl: cannot stat /proc/sys/net/ipv4/tcp_tw_recycle: No such file or directory

    # 原因:内核版本太旧或参数被移除
    # 解决:删除该参数,继续应用其他参数
    sed -i '/tcp_tw_recycle/d' /etc/sysctl.conf
    sysctl -p

    ❌ 错误 2:Nginx 进程级 FD 限制仍然是 1024

    # 症状:ps 中看到 Nginx FD 限制仍为 1024
    # 原因:limits.conf 修改后需要重启 Nginx

    systemctl restart nginx
    # 再验证
    ps aux | grep nginx | head -1 | awk '{print $1}' | xargs cat /proc/$(pgrep -f 'nginx: worker' | head -1)/limits

    幂等性保障:

    • • sysctl 参数修改是幂等的,多次 sysctl -p 无副作用

    回滚要点:

    • • 若调优后网络异常,恢复 /etc/sysctl.conf.bak:
    cp /etc/sysctl.conf.bak /etc/sysctl.conf
    sysctl -p

    Step 2:Nginx 配置优化 - 核心参数调整

    目标:配置 Nginx 使其能处理百万级连接

    配置模板:

    保存为 /etc/nginx/nginx.conf

    # Nginx 百万级配置模板 v1.0
    # 适用于:日均 PV 1000万+、并发连接 100万+ 的生产环境
    # 验证日期:2025-11-19

    #============ 全局块 ============

    # 运行用户(不推荐用 root)
    user nginx nginx;

    # worker 进程数(通常 = CPU 核数)
    # 查看:nproc 或 cat /proc/cpuinfo | grep processor | wc -l
    # 设置规则:
    #   - CPU <= 8 核:worker_processes = CPU 核数
    #   - CPU > 8 核:worker_processes = CPU 核数 - 2(留资源给系统)
    #   - 或使用 auto(Nginx 自动检测)
    worker_processes auto;

    # worker 优先级(越小越优先,范围 -20 到 19)
    worker_priority -10;  # 提升 Nginx 优先级,让系统进程让步

    # 错误日志
    error_log /var/log/nginx/error.log warn;

    # PID 文件
    pid /var/run/nginx.pid;

    # worker rlimit
    worker_rlimit_nofile1000000;  # 每个 worker 最大 FD 数
    worker_rlimit_core0;          # 关闭 core dump(节省磁盘)

    #============ 事件块 ============

    events {
    # 每个 worker 最大并发连接数
    # 规则:(系统最大 FD 数) / worker_processes
    # 例如:1000000 / 16 = 62500,可安全设置 65536
    worker_connections65536;

    # 事件模型(Linux 必须用 epoll)
    useepoll;

    # 是否一次调用 accept() 接受多个连接
    multi_accepton;

    # 优化:当 accept 队列有连接时立即处理
    accept_mutexoff;  # 关闭互斥锁,提升并发处理能力
    }

    #============ HTTP 块 ============

    http {
    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    # ===== 日志配置 =====
    # 日志格式(包含关键性能指标)
    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
    '$status$body_bytes_sent "$http_referer" '
    '"$http_user_agent" "$http_x_forwarded_for" '
    'rt=$request_time uct="$upstream_connect_time" '
    'uht="$upstream_header_time" urt="$upstream_response_time"';

    # 访问日志(高并发下建议关闭或用 buffer)
    # 选项 1:完全关闭(最快,但无日志)
    # access_log off;

    # 选项 2:使用 buffer(推荐,平衡性能和可观测性)
    access_log /var/log/nginx/access.log main buffer=32k flush=5s;

    # 选项 3:仅记录 4xx/5xx 错误
    # map $status $loggable {
    #   ~^[23] 0;
    #   default 1;
    # }
    # access_log /var/log/nginx/access.log main if=$loggable;

    # ===== 性能优化 =====

    # 文件发送优化
    sendfileon;                   # 启用 sendfile(零拷贝)
    tcp_nopushon;                 # 禁用 Nagle 算法,加速小包发送
    tcp_nodelayon;                # 立即发送数据(HTTP 长连接需要)

    # 超时配置
    keepalive_timeout6565;       # HTTP Keep-Alive 超时(推荐 60-120 秒)
    client_body_timeout10;        # 客户端请求体读取超时
    client_header_timeout10;      # 客户端请求头读取超时
    send_timeout10;               # 发送响应超时

    # 请求大小限制
    client_max_body_size20m;      # 最大请求体大小(根据业务调整)

    # 缓冲区优化
    client_body_buffer_size128k;  # 请求体缓冲
    client_header_buffer_size1k;  # 请求头缓冲
    large_client_header_buffers48k;  # 大请求头缓冲

    # Gzip 压缩(可选,CPU 密集但节省带宽)
    gzipon;
    gzip_varyon;
    gzip_min_length1k;            # 小于 1KB 不压缩
    gzip_comp_level3;             # 压缩级别 1-9(3 是性能和压缩的平衡)
    gzip_types text/plain text/css text/xml text/javascript
                 application/x-javascript application/xml+rss;
    gzip_disable"msie6";          # 禁用 IE6 gzip

    # HTTP 版本
    http2_max_field_size16k;      # HTTP/2 字段大小限制
    http2_max_header_size32k;

    # 哈希表优化(减少哈希冲突)
    types_hash_max_size2048;
    variables_hash_max_size1024;
    variables_hash_bucket_size128;
    server_names_hash_max_size1024;
    server_names_hash_bucket_size128;

    # 连接池优化(后端连接复用)
    upstream_keepalive_connections64;  # 保持最多 64 个连接到后端
    upstream_keepalive_timeout60;      # 后端连接空闲超时
    upstream_keepalive_requests100;    # 单条连接最多处理 100 个请求

    # ===== 代理优化 =====
    # (若 Nginx 作为反向代理时)
    proxy_bufferingon;
    proxy_buffer_size4k;
    proxy_buffers84k;
    proxy_busy_buffers_size8k;
    proxy_redirectoff;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_connect_timeout5s;       # 连接超时
    proxy_send_timeout10s;         # 发送超时
    proxy_read_timeout10s;         # 读取超时

    # ===== 限流 & 安全 =====
    # 限制并发连接数(防止某个 IP 占用过多连接)
    limit_conn_zone$binary_remote_addr zone=conn_limit:10m ;
    limit_conn conn_limit 10;       # 每个 IP 最多 10 个并发连接

    # 限制请求速率(防止暴力请求)
    limit_req_zone$binary_remote_addr zone=req_limit:10m rate=10r/s;
    limit_req zone=req_limit burst=20 nodelay;

    # ===== 缓存 =====
    # 静态文件缓存时间(由具体 server 块设置)

    #============ Server 块(虚拟主机)============

    # 健康检查端点(内部使用,不记录日志)
    server {
    listen8080;
    server_name _;

    location /health {
    access_logoff;
    return200"ok\n";
    add_header Content-Type text/plain;
        }

    location /metrics {
    access_logoff;
    return200"Nginx metrics endpoint\n";
    add_header Content-Type text/plain;
        }
      }

    # 主服务(Web 应用)
    server {
    listen80 deferred reuseport backlog=65535;
    # listen [::]:80 deferred reuseport backlog=65535;  # IPv6(可选)
    server_name _;

    # SSL(可选,若需 HTTPS)
    # listen 443 ssl http2 deferred reuseport backlog=65535;
    # ssl_certificate /etc/nginx/ssl/cert.pem;
    # ssl_certificate_key /etc/nginx/ssl/key.pem;
    # ssl_protocols TLSv1.2 TLSv1.3;
    # ssl_ciphers HIGH:!aNULL:!MD5;
    # ssl_session_cache shared:SSL:10m;
    # ssl_session_timeout 10m;
    # ssl_session_tickets off;
    # ssl_stapling on;
    # add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;

    # 根路径
    root /var/www/html;
    index index.html index.htm;

    # 静态文件缓存
    location~* \.(jpg|jpeg|png|gif|ico|css|js|svg|woff|woff2|ttf)$ {
    expires30d;
    add_header Cache-Control "public, immutable";
        }

    # 动态请求代理到后端
    location / {
    proxy_pass http://backend;
    proxy_http_version1.1;
    proxy_connection_managertrue;
    proxy_bufferingon;
        }

    # 错误页面
    error_page404 /404.html;
    error_page500502503504 /50x.html;
    location = /50x.html {
    root /usr/share/nginx/html;
        }
      }

    # 后端应用服务器定义
    upstream backend {
    # 保持连接复用
    keepalive64;

    # 后端服务器列表
    server192.168.1.10:8080 weight=1 max_fails=2 fail_timeout=10s;
    server192.168.1.11:8080 weight=1 max_fails=2 fail_timeout=10s;
    server192.168.1.12:8080 weight=1 max_fails=2 fail_timeout=10s;

    # 负载均衡算法(默认轮询)
    # least_conn;     # 最少连接
    # ip_hash;        # 基于 IP 哈希(会话保持)
    # hash $uri;      # 基于 URI 哈希
      }
    }

    关键参数详解:

    1. 1. worker_processes
    • • 最优值:CPU 核数(多了反而降速,因为上下文切换)
    • • 查看 CPU 核数:nproc 或 cat /proc/cpuinfo | grep processor | wc -l
  • 2. worker_connections
    • • 最优值:(系统最大 FD 数 - 预留) / worker_processes
    • • 例如:(100万 - 10万) / 16 = 5.6万,可设 65536
  • 3.  listen backlog
    • • 含义:等待 accept() 的连接队列深度
    • • 最优值:与 net.core.somaxconn 一致(65535)
  • 4. keepalive_timeout
    • • 含义:HTTP Keep-Alive 连接保活时间
    • • 太小(< 30s):频繁断连,影响性能
    • • 太大(> 300s):积压僵尸连接
    • • 推荐:60-120 秒
  • 5. proxy_buffering
    • • on:Nginx 缓冲后端响应(适合后端慢)
    • • off:流式发送,延迟低(适合后端快)

    验证配置语法:

    nginx -t
    # 预期输出:
    # nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
    # nginx: configuration will be used in /usr/run/nginx.pid

    常见错误与解决:

    ❌ 错误 1:启动失败,提示"Address already in use"

    # 症状
    nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)

    # 原因:端口已被占用
    # 查看占用进程
    lsof -i :80

    # 解决方案 1:杀掉旧进程
    kill -9

    # 解决方案 2:更改监听端口(测试时)
    sed -i 's/listen 80/listen 8080/g' /etc/nginx/nginx.conf

    ❌ 错误 2:配置看起来没问题,但不生效

    # 原因:修改后未重载
    # 解决
    systemctl reload nginx
    # 或
    nginx -s reload

    ❌ 错误 3:upstream 服务器全部宕机,返回 502

    # 症状
    502 Bad Gateway

    # 诊断
    curl -v http://localhost/  # 查看错误信息
    tail -50 /var/log/nginx/error.log  # 查看错误日志

    # 解决:检查后端服务器
    curl http://192.168.1.10:8080/health

    幂等性保障:

    • • Nginx 配置修改前备份,可以快速回滚

    回滚要点:

    # 若新配置导致问题,快速回滚
    cp /etc/nginx/nginx.conf.bak /etc/nginx/nginx.conf
    nginx -s reload

    Step 3:性能测试与验证

    目标:验证配置是否达到百万级处理能力

    测试工具安装:

    RHEL/CentOS:

    yum install -y httpd-tools  # Apache Bench
    # 或
    yum install -y wrk  # wrk 工具(更强大)

    Ubuntu/Debian:

    apt install -y apache2-utils  # Apache Bench
    # 或
    apt install -y wrk

    基准测试 1:简单的 Apache Bench 压测

    # 发起 100 万个请求,并发 1000
    ab -n 1000000 -c 1000 http://localhost/

    # 预期输出示例(健康状态):
    # Requests per second:    123456.78 [#/sec] (mean)
    # Time per request:       8.11 [ms] (mean)
    # Requests/sec: 123456

    # 关键指标解释:
    # - Requests per second: 吞吐量(RPS),> 100K 说明配置成功
    # - Time per request:平均延迟,< 100ms 为优秀
    # - Failed requests:失败次数,应该为 0

    基准测试 2:复杂场景的 wrk 压测

    # 用 wrk 模拟更复杂的场景
    # 10 个线程,1000 并发连接,持续 30 秒
    wrk -t10 -c1000 -d30s http://localhost/

    # 输出示例:
    # Running 30s test @ http://localhost/
    #   10 threads and 1000 connections
    # Thread Stats   Avg      Stdev     Max   +/- Stdev
    #   Latency    12.34ms   5.67ms  200.45ms   85.23%
    #   Req/Sec    12.34k    2.34k   23.45k    78.90%
    # 368020 requests in 30.01s, 45.67MB read
    # Requests/sec: 12265.88

    # 关键指标:
    # - Latency:响应延迟(Avg < 50ms,p99 < 200ms 为好)
    # - Req/Sec:每秒吞吐量
    # - Requests/sec:总吞吐率

    测试 3:长连接稳定性测试(24 小时)

    #!/bin/bash
    # 脚本:stability_test.sh
    # 用途:验证 Nginx 长期稳定性

    echo"===== Nginx 24 小时稳定性测试 ====="

    # 记录基线
    FREE_MEM=$(free -m | awk '/^Mem:/ {print $7}')
    echo"测试开始,可用内存:${FREE_MEM}MB"

    # 启动压测(后台运行)
    whiletrue; do
    # 每 10 分钟发送 10 万个请求
      ab -n 100000 -c 500 http://localhost/ > /dev/null 2>&1

    # 采样系统指标
    echo"$(date '+%Y-%m-%d %H:%M:%S'): MEM=$(free -m | awk '/^Mem:/ {print $7}')MB, CONN=$(netstat -an | grep ESTABLISHED | wc -l)"

    sleep 600  # 等待 10 分钟
    done | tee /tmp/stability_test.log

    常见错误与解决:

    ❌ 错误 1:ab 提示"Too many open files"

    # 症状
    socket: Too many open files (24)

    # 原因:ab 进程的 FD 限制太小
    # 解决方案 1:提升 shell 的 FD 限制
    ulimit -n 100000
    ab -n 1000000 -c 1000 http://localhost/

    # 解决方案 2:分批执行
    # 用 for 循环多次执行小规模测试
    for i in {1..10}; do
      ab -n 100000 -c 100 http://localhost/
    done

    ❌ 错误 2:压测中 Nginx 返回 503(Service Unavailable)

    # 原因:后端应用跟不上,连接堆积
    # 诊断:查看 Nginx 的 upstream 错误
    tail -50 /var/log/nginx/error.log | grep upstream

    # 解决:
    # 1. 增加后端服务器
    # 2. 或优化后端应用性能

    幂等性保障:

    • • 压测本身不修改系统状态,可重复执行

    监控关键指标:

    # 在压测过程中监控
    watch -n 1 'echo "连接数:$(netstat -an | grep ESTABLISHED | wc -l) | CPU:$(top -bn1 | grep "Cpu(s)" | awk "{print \$2}")"'

    7️⃣ 最小必要原理

    Nginx 处理 100 万连接的底层机制

    事件驱动模型(epoll):

    ┌─────────────────────────────────────────┐
    │     100 万个 TCP 连接(大部分空闲)       │
    └─────────────┬───────────────────────────┘
                  │
         事件队列(epoll_wait)
                  │
        ┌─────────┴─────────┐
        ▼                   ▼
     有数据到达          连接关闭
        │                   │
        └─────────┬─────────┘
                  │
            Nginx Worker 处理
             (单个线程)
                  │
        ┌─────────┴─────────┐
        ▼                   ▼
     读取数据             发送响应
     (非阻塞)          (非阻塞)

    为什么 Nginx 能处理 100 万连接?

    1. 1. 异步非阻塞 I/O
    • • 每个 worker 不用为每个连接创建一个线程
    • • 使用 epoll 监听所有连接,有数据到达才处理
    • • 单个 worker 可管理数万甚至数十万连接
  • 2. 内存开销小
    • • 每个连接占用内存:~10-30KB(socket buffer + 元数据)
    • • 100万连接 × 20KB ≈ 20GB(大服务器完全承受)
  • 3. CPU 开销小
    • • 大多数连接处于空闲状态(无 CPU 消耗)
    • • 仅处理有数据的连接(活跃连接通常 < 总连接的 1-10%)

    关键参数的性能影响

    参数
    值
    性能影响
    说明
    worker_processes
    CPU 核数
    最优吞吐
    多于 CPU 核数会降速
    worker_connections
    65536
    连接容量
    受系统 FD 限制
    worker_priority
    -10
    CPU 分配
    优先级高,响应快
    keepalive_timeout
    60
    连接复用
    太小频繁断连
    tcp_nopush
    on
    吞吐量
    减少网络包数
    sendfile
    on
    零拷贝
    降低 CPU 占用

    8️⃣ 可观测性:监控 + 告警

    Nginx 原生监控(ngx_http_stub_status_module)

    # 在 /etc/nginx/nginx.conf 添加
    server {
    listen8080;
    server_name _;

    location /nginx_status {
    stub_statuson;
    access_logoff;
    allow127.0.0.1;
    allow192.168.1.0/24;  # 内网 IP
    deny all;
      }
    }

    查看状态:

    curl http://localhost:8080/nginx_status

    # 输出示例:
    # Active connections: 12345
    # server accepts handled requests
    #  654321 654321 9876543
    # Reading: 123 Writing: 234 Waiting: 12000

    指标含义:

    • • Active connections:当前活跃连接数
    • • accepts/handled:总接受数/总处理数
    • • Reading/Writing/Waiting:正在读/写/等待的连接数

    Prometheus 监控指标

    # 需要部署 nginx-prometheus-exporter
    # GitHub:https://github.com/nginxinc/nginx-prometheus-exporter

    groups:
    -name:nginx_alerts
    interval:30s
    rules:
    -alert:NginxHighActiveConnections
    expr:nginx_up*(nginx_connections_active/1000000)>0.8
    for:5m
    annotations:
    summary:"Nginx 活跃连接接近上限"

    -alert:NginxHighRequestRate
    expr:rate(nginx_http_requests_total[5m])>200000
    for:5m
    annotations:
    summary:"Nginx 请求速率过高(> 20万/秒)"

    性能基准

    健康的百万级 Nginx 应该达到:

    • • 吞吐量:> 100K RPS(单机 16C32G)
    • • 延迟:p50 < 10ms,p95 < 50ms,p99 < 200ms
    • • 连接:> 50万 ESTABLISHED 连接
    • • CPU:< 80% 使用率(留余量)
    • • 内存:< 90% 使用率
    • • 错误率:< 0.01%

    9️⃣ 常见问题与排错

    症状
    诊断命令
    可能根因
    快速修复
    RPS 瓶颈在 10-20K
    top
     看 CPU
    worker_processes 太少或 CPU 限制
    增加 worker_processes 或升级硬件
    大量 TIME_WAIT 连接
    netstat -an | grep TIME_WAIT | wc -l
    后端慢或请求频繁
    启用 tcp_tw_reuse
    502 Bad Gateway
    tail /var/log/nginx/error.log
    后端宕机或连接耗尽
    检查后端服务,增加连接池
    内存持续增长
    free -h
     监控 1 小时
    内存泄漏
    升级 Nginx 版本或检查模块
    请求延迟高
    wrk -t10 -c1000 -d30s
    后端处理慢或网络问题
    优化后端,检查网络

    🔟 变更与回滚剧本

    灰度优化流程

    第 1 阶段:测试环境验证(2 小时)

    # 在测试环境应用新配置,压测验证
    # 若达到 10万+ RPS,准备灰度

    ab -n 1000000 -c 5000 http://test.local/
    # 观察吞吐量、延迟、错误率

    第 2 阶段:灰度到 10% 流量(1 小时)

    # 使用 DNS 或 LB 将 10% 流量导向新 Nginx
    # 监控错误率、延迟

    # 检查指标
    curl http://new-nginx:8080/nginx_status

    第 3 阶段:全量上线(30 分钟)

    # 100% 流量切换到新配置
    # 持续监控 30 分钟

    watch -n 10 'curl -s http://localhost:8080/nginx_status'

    回滚条件与命令

    触发回滚的条件:

    1. 1. 错误率 > 0.1%
    2. 2. p95 延迟增加 > 50%
    3. 3. 出现 502/503 错误

    快速回滚:

    cp /etc/nginx/nginx.conf.bak /etc/nginx/nginx.conf
    nginx -s reload

    1️⃣1️⃣ 最佳实践

    1. 1. 定期压测与基线维护(月度)
    • • 用 wrk 建立吞吐量基线
    • • 对标历史数据,提前发现性能衰减
  • 2. 监控活跃连接数与缓冲占用
    • • 告警阈值:活跃连接 > 80万(留 20% 预留)
    • • 若频繁接近上限,考虑升级硬件或分布式
  • 3. 定期分析慢请求日志
    # 导出响应时间 > 100ms 的请求
    awk '$NF > 0.1' /var/log/nginx/access.log | wc -l
  • 4. 自动化部署,减少手工错误
    • • 使用 Ansible/Terraform 部署配置
    • • 配置变更走 GitOps 流程
  • 5. 保留 20% 余量的思想
    • • CPU < 80%,内存 < 80%,连接 < 80%
    • • 应对突发流量或故障转移

    1️⃣2️⃣ FAQ

    Q1:为什么有些人说 Nginx 只能处理 10万连接,你说 100万?A: 因为早期 Nginx 默认配置 worker_connections = 512,导致上限 ~ 8000 连接。现代配置中:

    • • 操作系统支持百万文件描述符
    • • Nginx 可配置为每个 worker 6-10万连接
    • • 多个 worker(e.g., 16 个)× 6.25万 = 100万连接

    Q2:100万连接会占用多少内存?A:

    • • 每个连接 ~10-30KB(socket buffer + 元数据)
    • • 100万连接 × 20KB = 20GB(合理)

    注意:大部分连接空闲(无应用数据),实际占用取决于缓冲大小和应用数据量。

    Q3:如果后端服务器处理不了这么多请求怎么办?A: Nginx 的优势正在这里:

    • • Nginx 可缓冲客户端请求(不立即转发到后端)
    • • 后端慢时,Nginx 可持有等待队列
    • • 配置 proxy_buffering = on 让 Nginx 缓冲响应

    但最好的方案是:与后端形成闭环

    # 配置 upstream 的最大连接数(限流)
    keepalive64;  # 最多保持 64 个到后端的连接

    Q4:keepalive_timeout 应该设置多长?A: 取决于应用特性:

    • • 长连接应用(WebSocket、gRPC):设置较长(300-600 秒)
    • • 短连接应用(HTTP API):设置中等(60-120 秒)
    • • 实时性高的应用:设置较短(10-30 秒,减少僵尸连接)

    Q5:能用 Nginx 替代 LB 吗?A: 能(基于 LB 层面),但不推荐:

    • • Nginx 能负载均衡到后端
    • • 但缺少高可用机制(需要 Keepalived + VIP)
    • • 所以实际部署是:Client → VIP → Nginx 主从(Keepalived)→ 后端

    更好的方案:Client → LB(硬件或云)→ Nginx 集群 → 后端

    Q6:多个 Nginx 实例如何分工?A:

    场景 1:DNS 轮询
    Client → DNS (解析到多个 Nginx IP)→ Nginx 1, 2, 3, ...
    风险:某个 Nginx 故障,该 DNS 结果的用户失败率 > 50%

    场景 2:软 LB(推荐)
    Client → Keepalived VIP → Nginx 主 → 后端
                        ↓
                    Nginx 备 → 后端
    优势:主故障时自动切换,用户无感知

    场景 3:硬 LB(最优)
    Client → 云 LB(AWS ALB、阿里 SLB) → Nginx 集群
    优势:LB 负责分流,Nginx 自由扩展

    1️⃣3️⃣ 附录:关键脚本

    脚本 1:一键部署百万级 Nginx

    #!/bin/bash
    # 文件名:deploy_million_scale_nginx.sh
    # 用途:从零开始部署百万级 Nginx(包括系统优化、配置部署、性能测试)

    set -e

    echo"===== 百万级 Nginx 一键部署 ====="

    # 1. 系统优化
    echo"[1/5] 系统优化..."
    cat >> /etc/sysctl.conf <'EOF'
    fs.file-max = 10000000
    net.core.somaxconn = 65535
    net.ipv4.tcp_max_syn_backlog = 65535
    net.core.rmem_max = 134217728
    net.core.wmem_max = 134217728
    net.ipv4.tcp_tw_reuse = 1
    net.core.netdev_max_backlog = 100000
    EOF
    sysctl -p

    # 2. 安装 Nginx
    echo"[2/5] 安装 Nginx..."
    if [ -f /etc/os-release ]; then
      . /etc/os-release
    if [ "$ID" = "rhel" ] || [ "$ID" = "centos" ]; then
        yum install -y epel-release
        yum install -y nginx
    else
        apt update
        apt install -y nginx
    fi
    fi

    # 3. 部署优化配置
    echo"[3/5] 部署优化配置..."
    cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak
    # (将本文的配置模板复制到 /etc/nginx/nginx.conf)

    # 4. 启动 Nginx
    echo"[4/5] 启动 Nginx..."
    systemctl restart nginx
    systemctl enable nginx

    # 5. 性能测试
    echo"[5/5] 性能测试..."
    yum install -y httpd-tools || apt install -y apache2-utils
    ab -n 100000 -c 1000 http://localhost/ | grep "Requests per second"

    echo"✓ 部署完成"

    脚本 2:持续监控和告警

    #!/bin/bash
    # 文件名:monitor_nginx_health.sh
    # 用途:持续监控 Nginx 健康状态,异常时发告警

    METRICS_FILE="/tmp/nginx_metrics.log"
    ALERT_THRESHOLD_RPS=200000        # 告警阈值:20万 RPS
    ALERT_THRESHOLD_LATENCY=200       # 告警阈值:延迟 > 200ms

    whiletrue; do
    # 采样 Nginx 指标
      ACTIVE_CONN=$(curl -s http://localhost:8080/nginx_status | grep "Active" | awk '{print $3}')

    # 采样请求速率(通过日志尾部 10 秒的请求数)
      RPS=$(tail -100 /var/log/nginx/access.log | wc -l)

    # 采样延迟(尾部 100 个请求的平均响应时间)
      AVG_LATENCY=$(tail -100 /var/log/nginx/access.log | awk '{print $NF}' | sed 's/rt=//' | awk '{sum+=$1; count++} END {print int(sum/count*1000)}')

    echo"$(date '+%Y-%m-%d %H:%M:%S'): Active=$ACTIVE_CONN, RPS=$RPS/s, Latency=${AVG_LATENCY}ms" | tee -a $METRICS_FILE

    # 告警逻辑
    if [ $ACTIVE_CONN -gt 900000 ]; then
    echo"⚠️  告警:活跃连接接近上限($ACTIVE_CONN)" | mail -s "Nginx告警" admin@company.com
    fi

    if [ $AVG_LATENCY -gt $ALERT_THRESHOLD_LATENCY ]; then
    echo"⚠️  告警:平均延迟过高(${AVG_LATENCY}ms)" | mail -s "Nginx告警" admin@company.com
    fi

    sleep 60
    done

    1️⃣4️⃣ 扩展阅读

    官方文档:

    • • Nginx 官方文档:https://nginx.org/en/docs/
    • • HTTP 模块文档:https://nginx.org/en/docs/http/ngx_http_core_module.html

    深入技术博客:

    • • Nginx 性能优化完全指南:https://www.nginx.com/blog/
    • • 阿里云运维博客:https://developer.aliyun.com/

    社区工具:

    • • nginx-prometheus-exporter:https://github.com/nginxinc/nginx-prometheus-exporter
    • • wrk 性能测试工具:https://github.com/wg/wrk

    本文原创于 2025 年 11 月 19 日,基于生产环境实战验证。

    文末福利


    网络监控是保障网络系统和数据安全的重要手段,能够帮助运维人员及时发现并应对各种问题,及时发现并解决,从而确保网络的顺畅运行。

    谢谢一路支持,给大家分享6款开源免费的网络监控工具,并准备了对应的资料文档,建议运维工程师收藏(文末一键领取)。

    图片
    备注:【监控合集】

    图片

    100%免费领取


    一、zabbix

    图片
    图片

    二、Prometheus


    图片

    内容较多,6款常用网络监控工具(zabbix、Prometheus、Cacti、Grafana、OpenNMS、Nagios)不再一一介绍, 需要的朋友扫码备注【监控合集】,即可100%免费领取。

    图片

     以上所有资料获取请扫码

    备注:【监控合集】

    图片

    100%免费领取

    (后台不再回复,扫码一键领取)


    Python社区是高质量的Python/Django开发社区
    本文地址:http://www.python88.com/topic/189478