社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Elasticsearch

把可观测做成基础设施:阿里云 Elasticsearch 监控链路的一次彻底重构

阿里云大数据AI平台 • 10 小时前 • 12 次点击  
01
托管服务的可观测:既是产品能力,也是系统依赖

自建集群可以登录节点、查看宿主机与内核日志;托管服务的用户只能通过引擎 API 观察集群,拿不到节点、宿主机和内核层面的信号,可观测必须被产品化。它因此有双重身份:

•对外是产品能力:用户对集群的全部认知来自我们透出的指标、日志和事件,粒度与时效决定了用户能否自主完成容量规划和故障判断。

•对内是系统依赖:控制台、弹性伸缩、变更门禁、智能诊断共用同一份数据。指标延迟或丢点,污染的是一连串自动化决策的输入。

第二重身份要求监控链路按基础设施的标准建设,而老架构是按"配套模块"的思路逐步长出来的。本文回答四个问题:老架构为什么难以稳定;重构坚持了哪些原则;数据如何收敛进云监控 2.0 并以 CloudLens for Elasticsearch 交付;以及这份数据为什么能被程序——包括 STAROps 数字员工——直接依赖。

02
老架构:问题是结构性的,不是"没调好"

老链路的形态很常见:采集原始数据,经多级流计算聚合降采样,落多套存储,再分别对接报警、大盘和控制台。在我们的场景里,链路核心组件节点超过 20 个,两代实例架构的采集链路并存;指标常态延迟 1~3 分钟、偶发丢点,链路维护长期占用可观的研发投入,局部调优始终无法根治这些问题。

链路每长一段,就同时放大四类风险。

串联结构压低可用性上限。 串联系统的可用性是各环节可用性之积,任何一跳的重启、反压、存储抖动都会传导为下游延迟。排查要沿链路逐跳进行,修复时长不可控——而不可控的修复时长无法纳入 SLO 承诺,比略高的故障率更糟。

时间语义被稀释。 多级窗口叠加,上游数据迟到会被下游当作"无数据",产生毛刺或空洞;乱序数据要么被丢弃(丢点),要么触发重算(延迟);同一个 CPU 使用率在各层被反复平均,尖峰被系统性抹平——而运维恰恰只关心尖峰。链路"通"不等于数据"准"。

定制组件累积维护熵。 每个定制算子和特殊存储表都是长期负债:新增指标要改多处,演进成本随指标数超线性增长;两代架构并存时,同一指标还要维护两套实现和口径。这部分投入既不产生产品价值,也不构成技术壁垒。

中心化造成地域耦合。 多地域数据回流到中心集群,地域间互相影响、容量无法独立规划;海外数据回流在合规上不可接受,金融、政务场景要求数据不出域。

最后一条决定了这次不能只做优化,必须更换架构。

03
重构的四条原则
◆原则一:非差异化能力交给基础设施

采集协议、时序存储、降采样、报警通道、大盘组件都没有 Elasticsearch 特异性,自研只产生维护成本。我们把这一层整体收敛到阿里云云监控 2.0,自建部分只保留短 ETL:采集引擎与宿主机信号,做一次维度对齐、单位统一和必要的引擎侧聚合,随即交给云监控。

收益是:串联层级减少,可用性上限抬高;时间语义只在短 ETL 一处定义;新增指标从"改链路"变成"加采集项 + 声明元数据";指标落在可观测监控 Prometheus 版中,用户可直接用 PromQL 查询,或接入自有的 Grafana 与告警体系。

分工随之清晰:云监控负责怎么存、怎么查、怎么告警;Elasticsearch 团队负责采什么、语义是什么、异常意味着什么。

◆原则二:地域自治,数据不出域

各地域独立部署、独立闭环,海外与金融云不再复用国内链路。代价是链路部署实例数增加,换来合规边界清晰、故障域限于单地域、容量独立规划。

为抵消这笔代价,我们把链路部署做成了自动化工具,新地域部署上线从约 3 天缩短到 2 小时。没有这一步,地域越多,手工运维负担越重,自治就难以落地。

◆原则三:为指标定义契约

我们不再以"指标可用"为交付标准,而是为每个指标声明契约:

•分级:集群状态、节点存活、堆内存、磁盘水位、线程池拒绝等核心指标是自动化决策的输入,享有最强的时效与完整性保证。

•时效 SLO:以端到端 ≤60 秒为基线持续度量,作为新链路的数据验收标准。核心指标全部达标,整体达成率超过 98%。

•时间语义:显式声明聚合函数(max/avg/p99)、窗口与对齐方式。运维判断往往依赖 max 而非 avg,这必须写进契约,不能留给消费方猜。

•秒级通道:节点资源类指标通过云监控秒级监控单独提供。分钟级足以看趋势,但抓不住瞬时尖峰;秒级采集的成本模型不同,因此按需开启,而非全量提速。

有了契约,"指标可以被程序依赖"才能兑现。

◆原则四:可观测的消费者不只是人

当消费方变成弹性伸缩、变更门禁、智能诊断,这些程序无法容忍数据缺失,也无法识别"这个毛刺是链路抖动"。大模型时代又多了一类消费者——运维 Agent:它把指标当推理证据,一个缺失点或一次语义漂移,就可能被推导成一个听起来合理的错误结论。

因此,完整性优先于展示美观,语义确定性优先于灵活性。

04
新架构:三层结构,三类信号,两类消费者

图中从左到右是三层结构:集群侧只负责采集,短 ETL 负责语义规整,云监控 2.0 负责存储、查询与报警。流经这三层的是指标、日志、事件三类信号,分别在 4.1~4.3 展开;它们与集群侧的三个来源并非一一对应,事件主要由节点与云资源信号经事件归一化生成。底座之上是两类消费者:人通过 CloudLens 与自定义报警、大盘使用数据;程序包括弹性伸缩、变更门禁、Elasticsearch 智能助手和 STAROps 数字员工,这一侧在第五章展开。

面向人的产品形态是与云监控团队共建的 CloudLens for Elasticsearch(云监控 2.0「云产品洞察」中的 Elasticsearch 洞察),统一承载指标、日志、事件。用户在云监控 2.0 接入中心选择「检索分析服务 Elasticsearch 版」即可接入;Elasticsearch 控制台的监控入口嵌入同一套页面,两个入口展示的是同一份数据。

◆4.1 指标:从"看图"到"可探索"

透出 135+ 项高级指标(见云监控指标元数据 cms.console.aliyun.com/metric-meta/acs_elasticsearch/elasticsearch),覆盖集群状态、节点资源、JVM 与 GC、线程池、索引与分片、查询与写入性能;同时按客户需求补齐云监控基础指标(新增 58 项,共 97 项)。

复用底座后,用户直接获得:

•指标探索:支持同比/环比分析,以及集群→节点→索引逐层下钻。全局 CPU 高与单节点 CPU 高是两条完全不同的根因分支,下钻是判断的第一步。

•报警规则:内置覆盖集群状态、资源水位、线程池拒绝等高危场景的默认规则,支持自定义阈值与多通道通知。

•自定义大盘:按业务视角组织视图。

•业务维度富化:实例标签自动注入指标 Label,多实例可直接按业务线、环境、负责人聚合与告警。

◆4.2 日志:把排查原文交给用户

指标回答"有没有问题",日志回答"是哪条请求"。主日志、查询慢日志、写入慢日志、GC 日志、访问日志等已接入统一的日志探索入口,审计日志逐步接入。线程池 rejected 之后要查慢日志,堆内存高位之后要查 GC 日志——指标与日志不在一处,对人是效率问题,对 Agent 则是证据能否拿到的问题。

◆4.3 事件:从事后救火到事前预防

指标和日志描述连续状态,而真正引发故障的往往是离散变化:宿主机计划重启、本地盘隔离、管控升级、规格变更。过去对用户透出的事件只有"节点重启"一种,且只能事后看到。事件中心将这些离散变化统一建模为 3 大类、40+ 种事件,全部接入云监控事件报警:

事件类别
来源
典型事件
系统变更事件
底层资源与平台侧运维计划
SystemUpdate.InfraMigrate
(基础设施变更引发的重启)、SystemUpdate.InfraFailureStop(基础设施故障停机)、SystemUpdate.InfraDiskError(本地盘损坏)、SystemUpdate.InfraDiskStalled(云盘 IO 阻塞)、SystemUpdate.Elasticsearch / .Kibana / .Plugin(软件更新)
集群健康事件
监控报警二次异常检测
HealthCheck.ClusterUnhealthy
(Red/Yellow、节点失联)、HealthCheck.JVMMemoryPressure(堆内存过高、Old GC 频繁)、HealthCheck.DiskUsageHigh / .DiskIOBottleneck(磁盘水位过高、索引只读、磁盘 IO 瓶颈)、HealthCheck.ThreadPoolSaturation(查询/写入队列堆积与拒绝)
集群变更事件
用户操作与生命周期
UserOperator.InstanceSpecModify
(规格变更)、UserOperator.InstanceUpdate(实例变更)、UserOperator.InstanceCoreUpdate(内核升级)、UserOperator.InstanceLifecycleUpdate(生命周期变更)

事件模型有三个刻意设计:

1.携带影响与建议。 宿主机计划重启事件不只告知何时重启,还说明对 Elasticsearch 的影响(服务不可用、本地盘实例有数据丢失风险)和处置建议(如提前自行重启节点或完成快照备份)。把云基础设施语义翻译成 Elasticsearch 语义,正是用户自己难以完成的。

2.附带可运维操作。 处置条件明确的事件直接提供立即重启、预约重启、快照备份等入口,把"读到通知"变成"完成处置"。上线半年,事件运维成功率 99.9%,有效自愈 451 次【待确认:451 次是否均为平台自动执行;若包含用户手动处置,改为"有效处置 451 次"】。

3.状态机化。 系统变更事件按 Inquiring → Scheduled → Executing → Executed / Failed 流转,用户在 Inquiring 阶段即可改期或自行处置。

三者合起来改变了运维的时间轴:计划性运维从用户不可见、事后响应,变成可感知、可决策、可处置。它缩短的不只是故障恢复时间,更让一部分故障在发生前就被规避。

05
从"给人看"到"给 Agent 用":接入 STAROps

原则四很快迎来最直接的检验:运维 Agent。

阿里云全域智能运维平台 STAROps 以数字员工为执行主体,把跨域数据连入统一的运维上下文,完成"感知→决策→执行→验证"闭环。它对 Elasticsearch 的感知就建立在本文的底座之上:

•一份数据,没有第二条链路。 数字员工读到的就是用户在 CloudLens 上看到的数据,结论可直接与图表对照。

•契约决定 Agent 能否信任数据。 分级与 SLO 告诉 Agent 哪些指标可作为当前状态的证据,聚合语义告诉它"这个 CPU 是 max 还是 avg"——这是第二篇"证据绑定"的前提。

•事件是最好的触发器。 事件自带影响与建议,STAROps 长期任务可按定时或事件触发,把一条事件推进为一次带证据的调查。

•领域知识以技能接入。 诊断经验封装为 Elasticsearch 智能助手,作为 STAROps 技能中心的官方技能提供:平台负责数字员工、会话、长期任务、人工确认与审计,技能负责解释 Elasticsearch 数据的含义。

这是原则一在两个层次上的再次应用:可观测层,存储与告警交给云监控;智能运维层,Agent 运行时交给 STAROps。 Elasticsearch 团队在两层都只做不可替代的部分——领域语义。

06
结果:可观测成为可被程序依赖的底座

最能说明问题的不是大盘,而是谁在依赖这份数据:控制台的状态与监控展示、弹性伸缩的扩缩容决策、降配门禁的安全判断(典型的"指标错了就会出事")、Elasticsearch 智能助手与健康巡检的诊断证据,以及 STAROps 数字员工的会话与长期任务。

维度
重构前
重构后
链路结构
20+ 个核心节点,两代架构并存
5 个核心节点(减少 75% 以上)
指标时效
常态延迟 1~3 分钟,偶发丢点
端到端 ≤60 秒达成率超过 98%
用户感知
监控类工单频发
监控类用户工单下降约 90%
地域扩展
新地域部署上线约 3 天
自动化部署,约 2 小时
事件透出
仅"节点重启" 1 个
3 大类 40+ 个,接入云监控事件报警

一份数据同时服务人和程序并进入自动化决策路径,前提是时效与完整性有契约保证;反过来,这些依赖方也在持续对链路质量施加最真实的压力。

横向看,AWS OpenSearch 与 CloudWatch/EventBridge 的组合走的是同一条路:三类信号收敛进云平台标准可观测体系,而不是各产品自建。 云产品该做的是表达清楚领域语义(分片、GC、线程池、水位),而不是重复实现时序存储和报警通道。执行主体扩展到 Agent 后更是如此——Agent 需要的是统一上下文,而不是十几个云产品各自的私有接口。

07
可迁移的经验

1.链路长度是可用性的一阶因子。 优化单个环节之前,先问能否删掉一整跳。

2.差异化的边界会移动。 五年前自建监控是合理选择,底座成熟后就成了负债;同样的判断正在 Agent 运行时上重演。

3.指标要有契约。 没有分级、SLO 和聚合语义的指标只能给人看,不能给系统用,更不能给 Agent 当证据。

4.离散事件与连续指标同样重要。 故障多源于变更;事件化、状态机化、可处置化是走向事前预防的、性价比最高的一步。

5.可观测的终局消费者是程序。 接受这一点,完整性与美观、确定性与灵活性之间的取舍就有了判据。

08
结语

这次重构可以概括为:把可观测从功能模块重建为基础设施——链路做减法(短 ETL + 云监控 2.0),数据做加法(指标契约、多类日志、三类事件),架构做隔离(地域自治、数据不出域),交付做统一(CloudLens 统一承载,人和 Agent 读同一份数据)。

但可观测只回答了"发生了什么",回答不了"意味着什么、为什么、怎么办"。下一篇《让 Agent 学会诊断 Elasticsearch》将展开:如何为运维过程建模,如何让规则引擎与 Agent 分工,如何强制每个诊断结论绑定证据,以及这套能力如何作为技能运行在 STAROps 上。

/ END /


▼ 关注「大数据智能体官网 」 ▼
复制下方链接或者扫描右边二维码
即可快速拥有大数据超级助理,从此躺赢数据开发!
了解详情:https://www.aliyun.com/activity/bigdata/dataagent/skills
图片

点击“阅读原文”了解更多关于大数据&AI产品解决方案~

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203539