自建集群可以登录节点、查看宿主机与内核日志;托管服务的用户只能通过引擎 API 观察集群,拿不到节点、宿主机和内核层面的信号,可观测必须被产品化。它因此有双重身份:
•对外是产品能力:用户对集群的全部认知来自我们透出的指标、日志和事件,粒度与时效决定了用户能否自主完成容量规划和故障判断。
•对内是系统依赖:控制台、弹性伸缩、变更门禁、智能诊断共用同一份数据。指标延迟或丢点,污染的是一连串自动化决策的输入。
第二重身份要求监控链路按基础设施的标准建设,而老架构是按"配套模块"的思路逐步长出来的。本文回答四个问题:老架构为什么难以稳定;重构坚持了哪些原则;数据如何收敛进云监控 2.0 并以 CloudLens for Elasticsearch 交付;以及这份数据为什么能被程序——包括 STAROps 数字员工——直接依赖。
老链路的形态很常见:采集原始数据,经多级流计算聚合降采样,落多套存储,再分别对接报警、大盘和控制台。在我们的场景里,链路核心组件节点超过 20 个,两代实例架构的采集链路并存;指标常态延迟 1~3 分钟、偶发丢点,链路维护长期占用可观的研发投入,局部调优始终无法根治这些问题。
链路每长一段,就同时放大四类风险。
串联结构压低可用性上限。 串联系统的可用性是各环节可用性之积,任何一跳的重启、反压、存储抖动都会传导为下游延迟。排查要沿链路逐跳进行,修复时长不可控——而不可控的修复时长无法纳入 SLO 承诺,比略高的故障率更糟。
时间语义被稀释。 多级窗口叠加,上游数据迟到会被下游当作"无数据",产生毛刺或空洞;乱序数据要么被丢弃(丢点),要么触发重算(延迟);同一个 CPU 使用率在各层被反复平均,尖峰被系统性抹平——而运维恰恰只关心尖峰。链路"通"不等于数据"准"。
定制组件累积维护熵。 每个定制算子和特殊存储表都是长期负债:新增指标要改多处,演进成本随指标数超线性增长;两代架构并存时,同一指标还要维护两套实现和口径。这部分投入既不产生产品价值,也不构成技术壁垒。
中心化造成地域耦合。 多地域数据回流到中心集群,地域间互相影响、容量无法独立规划;海外数据回流在合规上不可接受,金融、政务场景要求数据不出域。
最后一条决定了这次不能只做优化,必须更换架构。
采集协议、时序存储、降采样、报警通道、大盘组件都没有 Elasticsearch 特异性,自研只产生维护成本。我们把这一层整体收敛到阿里云云监控 2.0,自建部分只保留短 ETL:采集引擎与宿主机信号,做一次维度对齐、单位统一和必要的引擎侧聚合,随即交给云监控。
收益是:串联层级减少,可用性上限抬高;时间语义只在短 ETL 一处定义;新增指标从"改链路"变成"加采集项 + 声明元数据";指标落在可观测监控 Prometheus 版中,用户可直接用 PromQL 查询,或接入自有的 Grafana 与告警体系。
分工随之清晰:云监控负责怎么存、怎么查、怎么告警;Elasticsearch 团队负责采什么、语义是什么、异常意味着什么。
各地域独立部署、独立闭环,海外与金融云不再复用国内链路。代价是链路部署实例数增加,换来合规边界清晰、故障域限于单地域、容量独立规划。
为抵消这笔代价,我们把链路部署做成了自动化工具,新地域部署上线从约 3 天缩短到 2 小时。没有这一步,地域越多,手工运维负担越重,自治就难以落地。
我们不再以"指标可用"为交付标准,而是为每个指标声明契约:
•分级:集群状态、节点存活、堆内存、磁盘水位、线程池拒绝等核心指标是自动化决策的输入,享有最强的时效与完整性保证。
•时效 SLO:以端到端 ≤60 秒为基线持续度量,作为新链路的数据验收标准。核心指标全部达标,整体达成率超过 98%。
•时间语义:显式声明聚合函数(max/avg/p99)、窗口与对齐方式。运维判断往往依赖 max 而非 avg,这必须写进契约,不能留给消费方猜。
•秒级通道:节点资源类指标通过云监控秒级监控单独提供。分钟级足以看趋势,但抓不住瞬时尖峰;秒级采集的成本模型不同,因此按需开启,而非全量提速。
有了契约,"指标可以被程序依赖"才能兑现。
当消费方变成弹性伸缩、变更门禁、智能诊断,这些程序无法容忍数据缺失,也无法识别"这个毛刺是链路抖动"。大模型时代又多了一类消费者——运维 Agent:它把指标当推理证据,一个缺失点或一次语义漂移,就可能被推导成一个听起来合理的错误结论。
因此,完整性优先于展示美观,语义确定性优先于灵活性。
图中从左到右是三层结构:集群侧只负责采集,短 ETL 负责语义规整,云监控 2.0 负责存储、查询与报警。流经这三层的是指标、日志、事件三类信号,分别在 4.1~4.3 展开;它们与集群侧的三个来源并非一一对应,事件主要由节点与云资源信号经事件归一化生成。底座之上是两类消费者:人通过 CloudLens 与自定义报警、大盘使用数据;程序包括弹性伸缩、变更门禁、Elasticsearch 智能助手和 STAROps 数字员工,这一侧在第五章展开。
面向人的产品形态是与云监控团队共建的 CloudLens for Elasticsearch(云监控 2.0「云产品洞察」中的 Elasticsearch 洞察),统一承载指标、日志、事件。用户在云监控 2.0 接入中心选择「检索分析服务 Elasticsearch 版」即可接入;Elasticsearch 控制台的监控入口嵌入同一套页面,两个入口展示的是同一份数据。
透出 135+ 项高级指标(见云监控指标元数据 cms.console.aliyun.com/metric-meta/acs_elasticsearch/elasticsearch),覆盖集群状态、节点资源、JVM 与 GC、线程池、索引与分片、查询与写入性能;同时按客户需求补齐云监控基础指标(新增 58 项,共 97 项)。
复用底座后,用户直接获得:
•指标探索:支持同比/环比分析,以及集群→节点→索引逐层下钻。全局 CPU 高与单节点 CPU 高是两条完全不同的根因分支,下钻是判断的第一步。
•报警规则:内置覆盖集群状态、资源水位、线程池拒绝等高危场景的默认规则,支持自定义阈值与多通道通知。
•自定义大盘:按业务视角组织视图。
•业务维度富化:实例标签自动注入指标 Label,多实例可直接按业务线、环境、负责人聚合与告警。
指标回答"有没有问题",日志回答"是哪条请求"。主日志、查询慢日志、写入慢日志、GC 日志、访问日志等已接入统一的日志探索入口,审计日志逐步接入。线程池 rejected 之后要查慢日志,堆内存高位之后要查 GC 日志——指标与日志不在一处,对人是效率问题,对 Agent 则是证据能否拿到的问题。
指标和日志描述连续状态,而真正引发故障的往往是离散变化:宿主机计划重启、本地盘隔离、管控升级、规格变更。过去对用户透出的事件只有"节点重启"一种,且只能事后看到。事件中心将这些离散变化统一建模为 3 大类、40+ 种事件,全部接入云监控事件报警:
| | |
| | SystemUpdate.InfraMigrate(基础设施变更引发的重启)、SystemUpdate.InfraFailureStop(基础设施故障停机)、SystemUpdate.InfraDiskError(本地盘损坏)、SystemUpdate.InfraDiskStalled(云盘 IO 阻塞)、SystemUpdate.Elasticsearch / .Kibana / .Plugin(软件更新) |
| |
HealthCheck.ClusterUnhealthy(Red/Yellow、节点失联)、HealthCheck.JVMMemoryPressure(堆内存过高、Old GC 频繁)、HealthCheck.DiskUsageHigh / .DiskIOBottleneck(磁盘水位过高、索引只读、磁盘 IO 瓶颈)、HealthCheck.ThreadPoolSaturation(查询/写入队列堆积与拒绝) |
| | UserOperator.InstanceSpecModify(规格变更)、UserOperator.InstanceUpdate(实例变更)、UserOperator.InstanceCoreUpdate(内核升级)、UserOperator.InstanceLifecycleUpdate(生命周期变更) |
事件模型有三个刻意设计:
1.携带影响与建议。 宿主机计划重启事件不只告知何时重启,还说明对 Elasticsearch 的影响(服务不可用、本地盘实例有数据丢失风险)和处置建议(如提前自行重启节点或完成快照备份)。把云基础设施语义翻译成 Elasticsearch 语义,正是用户自己难以完成的。
2.附带可运维操作。 处置条件明确的事件直接提供立即重启、预约重启、快照备份等入口,把"读到通知"变成"完成处置"。上线半年,事件运维成功率 99.9%,有效自愈 451 次【待确认:451 次是否均为平台自动执行;若包含用户手动处置,改为"有效处置 451 次"】。
3.状态机化。 系统变更事件按 Inquiring → Scheduled → Executing → Executed / Failed 流转,用户在 Inquiring 阶段即可改期或自行处置。
三者合起来改变了运维的时间轴:计划性运维从用户不可见、事后响应,变成可感知、可决策、可处置。它缩短的不只是故障恢复时间,更让一部分故障在发生前就被规避。
从"给人看"到"给 Agent 用":接入 STAROps原则四很快迎来最直接的检验:运维 Agent。
阿里云全域智能运维平台 STAROps 以数字员工为执行主体,把跨域数据连入统一的运维上下文,完成"感知→决策→执行→验证"闭环。它对 Elasticsearch 的感知就建立在本文的底座之上:
•一份数据,没有第二条链路。 数字员工读到的就是用户在 CloudLens 上看到的数据,结论可直接与图表对照。
•契约决定 Agent 能否信任数据。 分级与 SLO 告诉 Agent 哪些指标可作为当前状态的证据,聚合语义告诉它"这个 CPU 是 max 还是 avg"——这是第二篇"证据绑定"的前提。
•事件是最好的触发器。 事件自带影响与建议,STAROps 长期任务可按定时或事件触发,把一条事件推进为一次带证据的调查。
•领域知识以技能接入。 诊断经验封装为 Elasticsearch 智能助手,作为 STAROps 技能中心的官方技能提供:平台负责数字员工、会话、长期任务、人工确认与审计,技能负责解释 Elasticsearch 数据的含义。
这是原则一在两个层次上的再次应用:可观测层,存储与告警交给云监控;智能运维层,Agent 运行时交给 STAROps。 Elasticsearch 团队在两层都只做不可替代的部分——领域语义。
最能说明问题的不是大盘,而是谁在依赖这份数据:控制台的状态与监控展示、弹性伸缩的扩缩容决策、降配门禁的安全判断(典型的"指标错了就会出事")、Elasticsearch 智能助手与健康巡检的诊断证据,以及 STAROps 数字员工的会话与长期任务。
一份数据同时服务人和程序并进入自动化决策路径,前提是时效与完整性有契约保证;反过来,这些依赖方也在持续对链路质量施加最真实的压力。
横向看,AWS OpenSearch 与 CloudWatch/EventBridge 的组合走的是同一条路:三类信号收敛进云平台标准可观测体系,而不是各产品自建。 云产品该做的是表达清楚领域语义(分片、GC、线程池、水位),而不是重复实现时序存储和报警通道。执行主体扩展到 Agent 后更是如此——Agent 需要的是统一上下文,而不是十几个云产品各自的私有接口。
1.链路长度是可用性的一阶因子。 优化单个环节之前,先问能否删掉一整跳。
2.差异化的边界会移动。 五年前自建监控是合理选择,底座成熟后就成了负债;同样的判断正在 Agent 运行时上重演。
3.指标要有契约。 没有分级、SLO 和聚合语义的指标只能给人看,不能给系统用,更不能给 Agent 当证据。
4.离散事件与连续指标同样重要。 故障多源于变更;事件化、状态机化、可处置化是走向事前预防的、性价比最高的一步。
5.可观测的终局消费者是程序。 接受这一点,完整性与美观、确定性与灵活性之间的取舍就有了判据。
这次重构可以概括为:把可观测从功能模块重建为基础设施——链路做减法(短 ETL + 云监控 2.0),数据做加法(指标契约、多类日志、三类事件),架构做隔离(地域自治、数据不出域),交付做统一(CloudLens 统一承载,人和 Agent 读同一份数据)。
但可观测只回答了"发生了什么",回答不了"意味着什么、为什么、怎么办"。下一篇《让 Agent 学会诊断 Elasticsearch》将展开:如何为运维过程建模,如何让规则引擎与 Agent 分工,如何强制每个诊断结论绑定证据,以及这套能力如何作为技能运行在 STAROps 上。