上一篇解决了观测数据的时效与语义问题。但看到集群 CPU 高、查询变慢之后,工程师还需要知道:异常意味着什么,根因在哪里,以及该改配置、扩容还是优化业务。数据到结论之间,隔着领域知识。
Elasticsearch 诊断有三个难点:
•症状相似,根因不同。 分片未分配可能由分配关闭、单节点分片数上限、副本配置或磁盘水位引起,处置分别是恢复分配、调整限制、降副本或扩容。建议给错不仅无效,还可能加重集群压力。
•证据跨层,彼此不可替代。 管控层提供实例与变更状态,资源层提供 CPU、磁盘和宿主机信号,引擎层提供分片解释、热线程与慢日志。监控能发现 Red 或 CPU 高,却无法像 allocation/explain、hot_threads 那样解释引擎层根因。
•累计值不代表当前异常。thread_pool 的 rejected、completed 自节点启动起累计计数。历史写入拒绝可能很多,当前影响用户的却是查询压力,不能按累计值大小决定报告的主线。
直接让模型从症状生成建议,容易把合理猜测写成确定结论。可信诊断需要结构化知识与证据约束,而不只是更流畅的回答。
我们先将运维过程拆为输入输出明确的四层,再决定规则、模型和人的职责。这样才能把"发现异常""定位问题"和"执行处置"分开实现:
这些概念的区分直接影响实现方式:
•异常与问题:"堆内存 > 85%"是可由规则判断的异常;"JVM 压力导致查询排队"包含因果与影响,需要关联证据,不能仅凭阈值触发就下结论。
•假设与证据:先提出假设,再取证、验证或排除,让根因来自可追溯的过程。
•建议、决策与行动:"降低副本数"是建议,权衡风险后决定是否执行是决策,实际改配置是行动。三者分开,才能明确人工确认的位置。
•执行与验证:操作成功不等于问题消除,必须重新检查故障状态和业务表现。
这套模型服务两个循环:
预防循环(异常检测 → 问题评估 → 风险预防)在故障前评估风险,恢复循环(根因分析 → 修复决策 → 执行与验证)在故障后定位并消除问题。诊断能力同时服务两者:前者需要持续巡检,后者需要围绕现场多轮追问,分别适合由 STAROps 的长期任务与智能会话承载。
规则引擎以十余条规则检测集群状态、CPU、JVM、磁盘、负载均衡和实例状态,输出 P0/P1/P2 问题项与健康度分档。阈值检测需要可复现、可解释,不应依赖模型每次重新判断。
以 CPU 为例,持续均值高可能指向容量不足或整体查询压力,均值正常但峰值很高则可能来自重查询、段合并或 GC。两者都表现为"CPU 高",却需要不同的排查方向,因此规则同时保留均值与峰值信号。
规则负责确定性检测,Agent 负责跨层关联、假设验证和建议裁剪。 模型的价值在于组织多类证据,而不是替代阈值比较。
在 prompt 里写一句"请勿编造"不足以约束诊断。我们用 MUST 触发表将信号与必采证据绑定:命中条件就必须采集相应引擎证据,缺失时不得给出确定的根因结论。
| | |
| | _cluster/allocation/explain |
| | _nodes/hot_threads |
| | _nodes/stats/breaker、_cluster/settings?include_defaults=true(断路器配置) |
| | _nodes/hot_threads、_nodes/stats/thread_pool |
| | _cat/shards |
| | _cluster/settings、_all/_settings(index.blocks)、_cat/allocation |
| 引擎 API 间歇超时 + CPU 峰值 > 80% | | _nodes/hot_threads、_nodes/stats/thread_pool、_tasks |
采集还需通过两道门:
•可行性:检查授权、目标端点、协议和端口,并实际调用带认证的 _cluster/health 验证连通性。不能未经尝试就假设"连不上"并跳过取证。
•必要性:MUST 命中即满足;表外调用须说明它验证哪个假设,避免因为通道可用就全量拉取。
取证失败时,须在报告开头列出阻塞原因、缺失证据和结论局限。连接超时与 401 认证失败需要不同的排查指引,不能统一归为"检查白名单"。结论标记为已确认、待验证、需补充,让用户知道哪些是事实、哪些仍是候选原因。
这使"证据不足"成为诊断结果的一部分,而不是被一段流畅的推测掩盖。
◆3.3 知识工程:SOP 知识库,而非超长 promptSOP 按集群健康、CPU、JVM、磁盘、读写性能、负载均衡、配置与变更等场景组织,显式记录"磁盘压力 → 分配失败 → Red"等因果链。Agent 根据粗筛信号加载相关 SOP,再据此选择证据、排除假设和生成建议。
按需加载减少无关上下文,独立文件便于领域专家评审,也让新场景能够单独演进。SOP 连同入口说明、参考资料和脚本,进一步封装为技能(Skill),供 STAROps 数字员工挂载。
质量保障分为两层:验收清单明确典型场景中正确与错误的结论、建议和叙事;评测集结合故障注入与真实案例,在 SOP 或模型更新后按根因命中、证据齐备、建议匹配回归验证。知识更新不能只增加覆盖面,也要检查已有场景是否退化。
严重度决定风险高低,时间近因判断它是否是当前问题的原因,两者不能互相替代。例如历史写入拒绝达到高危等级,不代表它就是本次查询变慢的原因。多维告警必须先对齐时间线,再组织报告主线。
近因证据来自监控峰值与持续区间、同窗口慢日志,或两次 thread_pool 采样的差值。只有累计值时,必须声明"时间近因无法区分",并建议补采样或缩小窗口。
先确认当前在发生什么,再评价历史上有多严重。
"准确"指根因可被证据确定,"封闭"指动作在平台可控范围内。副本配置导致的分配问题可由明确证据定位,并由平台直接调整配置;节点掉线却可能涉及 OOM、磁盘、网络等多个原因,不能直接套用修复动作。业务查询优化则无论诊断多准确,都需要用户配合。
优先落地"准确 + 封闭"的场景。上篇介绍的事件运维上线半年,成功率 99.9%,有效自愈 451 次【待确认:口径同上篇,若包含用户手动处置则改为"有效处置"】,体现了先明确处置条件、再推进自动化的价值。
同时守住三条边界:
•诊断只读:巡检与诊断不调用变更,处置由独立能力承担并分开授权。
•人在环中:变更须用户显式确认;实例、地域或时间窗缺失时主动追问,不猜默认值。
•凭证隔离:AccessKey 和集群密码不进入对话,访问范围由角色与权限策略决定。
诊断能力要进入日常值班,除了领域知识,还需要会话、调度、授权、审计与通知。这些通用能力不应在每个云产品中重复建设。
因此,领域团队交付 Elasticsearch 技能,STAROps 提供 Agent 运行时,云监控提供观测数据。三层分工如下:
这套分工有两个直接收益。其一,Elasticsearch 控制台、STAROps 和内部值班共用同一套 SOP,知识更新同步生效。其二,技能约束诊断全程只读,平台控制访问权限与审计,两层职责职责清晰,便于各自独立验证。从效果看,内部诊断诊断 Agent 投入使用后,需研发介入的工单比例下降约 30%。
•Elasticsearch 控制台:智能智能助手提供即时诊断,首版覆盖 9 大场景;实例详情页自动带入上下文,适合已知实例的现场排查。
•定时巡检与事件诊断:按日巡检并推送到钉钉、飞书或企业微信;健康事件关联诊断报告,将阈值通知推进为问题解释。
•
STAROps:在技能中心「官方推荐」【待核对页签名称】中挂载 Elasticsearch 智能助手,通过会话调查,或通过长期任务持续巡检。当前开放巡检与诊断,处置由工程师评估后执行。
能力以技能交付后,用户可以在现有值班流程中调用诊断,而不必为 Elasticsearch 单独组织一套工作方式。
实践篇《如何用 STAROps Elasticsearch 智能助手看穿"集群 Green 却越搜越慢"》以一个由典型值班问题组合而成的场景为例,数值和过程均为示例:业务 P99 从 200 ms 升至 2 s 以上,集群仍是 Green、平均 CPU 约 40%,按节点展开后,却发现单个节点 CPU 持续超过 95%。Green 说明分片分配正常,并不能证明性能性能正常。
助手先确认压力集中在哪个节点,再补查同窗口慢日志、分片分布和拒绝数增量。历史累计拒绝不能说明它与本次变慢相关,峰值回落后的热线程快照也不能替代故障时段证据。报告因此保留"已确认、待验证、需补充"的区分,而不是立即把分片倾斜当作根因。
处置后,还需在可比负载下复查节点差异、拒绝增量和业务 P99;确认效果后,再把排查经验沉淀为长期巡检任务。调查、处置与验证由此连接起来。
•跨层因果:管控、引擎与上游异常并存时,要形成因果链而非列出多个问题,仍需要专门 SOP 和跨域上下文。
•历史证据:差值采样必须发生在故障期间,无法事后回溯,关键计数器仍需纳入时序采集。
•自治范围:磁盘清理、扩容等与业务耦合,诊断准确也不等于可以自动执行,需逐场景评估风险。
•知识覆盖:持续用值班与工单案例补充 SOP,不能以通用推理代替领域积累。
让 Agent 学会诊断,不是让它更快地给出答案,而是让它知道何时有证据、何时仍需验证、何时必须交给人。数据契约、证据约束、结构化知识与持续评测,共同构成可信 AIOps 的基础。
云监控让数据可观测,Elasticsearch 技能让结论可核验,STAROps 让能力进入日常值班流程。三者结合,才能从一次问答走向持续的运维能力。