社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  问与答

利用 NGINX 最大化 Python 性能,第二部分:负载均衡和监控

OneAPM • 10 年前 • 2078 次点击  

【编者按】本文主要介绍 NGINX 的主要功能以及如何通过 Nginx 优化 Python 应用性能。本文系国内 ITOM 管理平台 OneAPM 编译呈现。

本文上一篇系: 利用 NGINX 最大化 Python 性能,第一部分:Web 服务和缓存。

Python 以其高性能脚本语言而著称,而 NGINX 则能够通过增加代码的实际执行速度来提供助力。对于单一服务器来说,如果网页的一半由静态文件组成(很多网页都有一半由静态文件组成),增加静态文件缓存可使这类网页性能翻倍,缓存动态应用程序内容能够进一步提升应用程序性能。

但这种方法并不是对所有应用都受用,或者说提升的性能不足够。这时就要考虑横向扩展了---迁移到多服务器应用。多服务器应用不仅功能强大、使用灵活、几乎能够无限扩展,而且成本较低。让我们继续前面的优化 Python 性能。

技巧 6---将 NGINX 作为反向代理服务器

从单服务器环境来讲,部署反向代理服务器似乎是个很大的进步,因为这一部署非常简单,实现的功能却相当强大。添加反向代理服务器后,不仅性能立即得到大幅提升,还有机会实现:

  • 增强性能 --- 在现有的 Python 应用程序前放置一个 NGINX 服务器。无需更改 Web 服务器软件或配置。现有的 Web 服务器和应用程序服务器相结合并在一个冒泡中运行,无法直接接触网络流量,由反向代理服务器提出填鸭式请求。
  • 优化性能 --- 按照我们上一篇介绍 Python 的文章,针对应用程序生成的文件实施静态文件缓存和微应用缓存。但现在,我们要在新的反向代理服务器而不是应用程序服务器上实施。运行应用程序的服务器明显减轻了工作负载,这样就扩充了应用程序的容量,让所有用户都能感受到更高性能。
  • 横向扩展 — 增加更多应用程序服务器并对其实施负载均衡,利用持续会话实现每位用户的连贯体验。
  • 赋予高可用性 — 让你的反向代理服务器镜像到在线备份,同时拥有备用的应用程序服务器,让你的站点高度可用。
  • 监控与管理 — NGINX Plus 提供了高级监测与管理功能,同时配备主动体检 —— 如果设定了主动体检,反向代理服务器会主动向各个服务器发出带外请求,核实各个服务器的可用性。

利用 NGINX 最大化 Python 性能,第二部分:负载均衡和监控

技巧 7---重写 URL

Web 服务器配置通常包括 URL 重写规则。你可以制作美观的 URL 方便用户理解,也可以让 URL 在资源迁移后仍然不变。

NGINX 配置(包括重写 URL)使用的指令数量较少,也被众多人士认为是简单明了。但如果不熟悉,使用前还是要经历一个学习过程。可以把 Creating NGINX Rewrite Rules 这篇文章当做介绍。

下面给出一个使用重写指令的 NGINX 重写规则样板。此规则查找了以 /download开头的 URL,之后还在路径中包含 /media/ 或 /audio/ 目录。此规则用 /mp3/ 替换这些元素,并增加合适的文件扩展名 .mp3 或 .ra。变量 (1 和 )2 获取保持不变的路径元素。例如,/download/cdn-west/media/file1 变成 /download/cdn-west/mp3/file1.mp3。

server {
    ...
    rewrite ^(/download/.*)/media/(.*)\..*$ $1/mp3/$2.mp3 last;
    rewrite ^(/download/.*)/audio/(.*)\..*$ $1/mp3/$2.ra  last;
    return  403;
    ...
}

要在 NGINX 中实现类似 Apache 的效果,你可以在第一个服务器块中匹配短 URL 的请求,然后把它们重定向到匹配长 URL 的第二个服务器块。

# USE THIS CONVERSION
server {
    listen      80;
    server_name example.org;
    return      301 http://www.example.org$request_uri;
}

server {
    listen      80;
    server_name www.example.org;
    ...
}

技巧 8---实施负载均衡

扩充网站容量、提高网站可用性的终极办法就是运行多台应用程序服务器并实施负载均衡。

利用 NGINX 最大化 Python 性能,第二部分:负载均衡和监控

配备 NGINX 的负载均衡 PHP 服务器,要实现 NGINX 负载均衡,首先用你需要均衡的各个服务器来创建一个服务器群组。然后编写配置代码,代码包括服务器权重---如果服务器的处理能力较强,请给它分配较大的权重,给它送去更多流量。

upstream stream_backend {
    server backend1.example.com:12345 weight=5;
    server backend2.example.com:12345;
    server backend3.example.com:12346;
}

技巧 9---启用会话持续性和会话耗尽

网络默认用于无状态交互;如果需要特定状态的信息,可以通过若干方法来实施。如果状态位于应用程序服务器上,就得让这台服务器在会话期间处理指定用户的所有请求,这就叫做会话持续。

要管理多个负载均衡的服务器,会话耗尽是一项有效工具。利用 NGINX Plus在一台服务器上的上游群组中设置耗尽参数,NGINX Plus 会让这台服务器放松下来,不会给它发送新的请求,而是让现有连接继续下去,直到会话结束。

技巧 10---启用监控和管理功能

如果服务器配置较为复杂,在保持高性能和避免宕机时,监测和管理就变得尤其重要。监控 NGINX 状态页,在服务器可能遇到麻烦时通知用户,让用户监测自己的系统,根据信息在问题发生前采取行动。

NGINX 提供了一个内置控制面板来监测 NGINX 服务器的健康状况。你可以收集 NGIGX 面板数据确定每台特定服务器是否有问题。

利用 NGINX 最大化 Python 性能,第二部分:负载均衡和监控

结论

Python 创建的网站要能够同时吸引众多用户,那就需要强大的性能支持,如果你采用的是 Nginx 做 Web 服务器,可以从上面10个方面来优化性能。

OneAPM 能够帮你实现 Python 应用层面代码级监控,也能够实现 Nginx 等基础组件等监控。想阅读更多技术文章,请访问 OneAPM 官方技术博客。

本文转自 OneAPM 官方博客

原文地址:Maximizing Python Performance with NGINX, Part II: Load Balancing and Monitoring

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/1554