ES 排查的难点从来不在指标少,而在指标、日志与人的推理之间缺少共同的时间窗和对象范围。本文介绍 CloudLens for Elasticsearch 如何基于云监控 2.0,用 UModel 把一个实例的指标与日志关联成统一视图,再借助 STAROps 把排查组织成可追问、可核验的四轮,让每次诊断都留有证据,并沉淀为团队可复用的约定。
在一个平静的周三上午十点,值班群里出现了一条消息:「搜索有点慢,用户反馈了,赶紧看一下。」负责运维的老王打开监控,情况却有点反常:集群状态绿,节点数没变,各节点 CPU 都在 40% 上下,QPS 曲线平得像一条直线。唯一不对劲的是平均延迟,明显抬升了,而这条曲线在整屏图表里,属于最不起眼的那种。
接下来的20分钟,常见动作被依次用了一遍。看分片分配,正常;翻 hot_threads,抓到几个正在跑的查询线程,但截图看不出比平时异常;重启了一个「看起来最忙」的节点,延迟短暂下降,又涨回去;最后缩小到某个索引的 Searching 慢日志,才发现是最近新上的一组聚合查询,扫描范围比原来大了几倍。问题找到了。但复盘时没人说得清:这 20 分钟里,哪些判断是有证据的,哪些只是运气好。
分片分配正常,并不排除查询本身的问题;hot_threads 是那一刻的快照,不能用来否定十分钟前的 CPU 高峰;重启后延迟下降,也可能只是缓存被打冷的短暂效应。更麻烦的是,这些证据分散在云监控指标、高阶指标、慢日志、GC 日志和主日志里,粒度和查询方式各不相同,凑到一起时,往往已经错过了最容易定位的时间段。
ES 的性能排查,难的不是指标不够多,而是指标、日志和人的推理之间缺少共同的时间窗口与对象范围。CloudLens for Elasticsearch 想补的正是这一层:基于云监控 2.0,以 ES 实例为中心,通过 UModel 关联云监控指标、ES 高阶指标与运行日志,提供统一的实例视图、性能看板和数据探索入口;在此基础上,STAROps 原生智能分析辅助开展指标查询、日志分析与问题定位。
ES 的观测数据分布在三类地方:云监控指标提供集群与节点的基础水位,高阶指标补充 JVM、线程池、索引等内部状态,主日志、慢日志、GC 日志和访问日志等保留运行与请求记录。它们各有分析粒度和查询方式,如果不在一个实例上下文中对齐,排查就会变成在几个控制台之间来回搬运时间戳。
在 ES 控制台之外,业界常见的排查路径还有三种:Kibana 里看集群 API 与索引状态、用自建或云上的监控大盘看指标、直接在阿里云日志服务 SLS 里写查询捞日志。它们各自都能用,代价是要由人完成「同一实例、同一时间窗、同一口径」的拼接——而这恰恰是最容易出错的一步。
CloudLens for Elasticsearch 做的事情可以概括成三句:
- 统一接入:把指标、高阶指标和多类日志按实例关联进来;
- 实体关联:用 UModel 把实例和它的指标集、日志集及其底层存储连起来,让“哪些数据属于这个实例”变成可查的事实;
- 分析能力:性能看板看趋势,指标与日志探索细化范围,STAROps 负责把分析过程组织成可追问的结论。
▍2.1 确定接入范围
在云监控 2.0 的接入中心,找到云服务分类中的「检索分析服务 Elasticsearch 版」卡片,即可统一配置 ES 相关指标和日志的接入。
配置页先确定账号、接入策略、地域和实体范围。实体范围可按全部资源、资源组、标签或指定实体选择。实践建议是:先围绕需要观测的业务实例配置范围,再根据团队的账号与地域布局扩展,不要一上来就全量接入。
接下来选择数据类型。本文演示工作空间已完成接入,截图中的「已接入」表示当前配置状态。
注意工作空间地域与资源地域是两个概念:前者决定观测环境,后者决定目标实例。跨地域配置时把两者混用,是排查阶段「看得到实例却查不到数据」的常见起因。
▍2.2 指标:从整体水位到 ES 内部状态
云监控指标与高阶指标承担不同层次的分析任务。前者帮助迅速发现现象,后者为进一步解释现象提供更多维度。本文的演示实例关联了六类指标集:
指标来源 | 指标集 | 分析时关注什么 |
|---|
云监控指标 |
Elasticsearch 集群维度指标 | 集群整体状态与性能变化 |
云监控指标 | Elasticsearch 集群、节点维度指标 | 将集群现象细化到节点,比较资源与性能差异 |
高阶指标 | Elasticsearch 高级监控指标 - 集群维度指标 | 补充 ES 集群内部运行状态 |
高阶指标 | Elasticsearch 高级监控指标 - 集群维度、节点指标 | 深入节点、JVM、线程池等运行细节 |
高阶指标 | Elasticsearch 高级监控指标 - 集群维度、索引指标 | 从索引维度分析相关运行指标 |
高阶指标 | Elasticsearch 高级监控指标 - 集群维度、限流指标 | 分析已接入的限流相关指标 |
高阶指标配置支持按分组选择,也提供自定义指标入口。这里建议从排查问题反推所需数据:
- 分析搜索延迟,需要关注查询量、延迟、节点资源、GC 和线程池;
- 排查写入问题,则需要结合写入表现、排队与拒绝请求等信号。
▍2.3 日志:保留能解释指标变化的现场
指标描述「发生了什么变化」,日志帮助查看「当时执行了什么、系统记录了什么」。本文的演示实例关联了五类日志:
日志类型 | 主要用途 | 与指标如何配合 |
|---|
Elasticsearch 主日志 | 查看运行过程中记录的事件、异常及错误上下文 | 对齐状态变化与异常时间,寻找同时发生的运行事件 |
Elasticsearch Searching 慢日志 | 查看符合慢日志记录条件的搜索请求 | 结合查询延迟、节点压力,分析索引、分片和请求内容 |
Elasticsearch Indexing 慢日志 | 查看符合记录条件的索引写入请求 | 结合写入延迟、排队与拒绝请求排查写入问题 |
Elasticsearch GC 日志 | 查看垃圾回收相关记录 | 核验堆内存和 GC 指标变化,分析同一时段的回收行为 |
Elasticsearch 访问日志 |
查看已记录的访问请求信息 | 根据实际字段辅助排查请求访问问题 |
▍2.4 接入之后,数据怎样关联起来
在本文演示实例的 UModel 关联图中,ES 实例连接到六个指标集和五个日志集,指标集关联 Prometheus 存储,日志集关联 SLS Logstore。不同数据继续使用各自的查询能力,通过实体及关联字段建立共同的分析上下文。
完成接入后的检查围绕这条关系展开:能否找到实例,指标是否持续更新,所需日志是否存在,指标与日志中的地域、实例标识和节点字段能否对应。这四项确认好,后面的诊断才有可靠的数据基础。
▍3.1 找到实例,建立统一的排查上下文
在实体探索中选择 Elasticsearch 实例,可以搜索、筛选并进入目标实例。跨账号、跨地域环境里,先确认实例名称、实例 ID 和地域,能避免把相似名称的资源或不同地域的数据放到一起分析。
实例详情汇集了详情看板、关联拓扑、健康度、日志探索、指标探索及关联项等入口。对于性能问题,按「整体状态 → 查询与写入 → 节点资源 → JVM 与线程池」的顺序阅读,再进入对应指标集或日志集。
▍3.2 看板:先判断异常发生在哪里
集群状态、节点数、索引数和分片等信息可以帮助快速了解当前实例,但集群颜色主要反映分片分配状态,不能单独代表查询体验。开头那个故事里,绿灯和「搜索慢」是同时成立的。
查询性能区域提供 QPS、平均延迟和慢查询数量等曲线。先观察异常起点,再判断延迟变化是否与查询量变化同步。平均延迟不应替代业务侧 P99:如果用户反馈来自应用接口,需要对齐应用指标的统计口径和时间范围。
节点资源区域展示 CPU、堆内存、磁盘及网络等资源指标。分析时既要看趋势,也要关注节点之间的差异——集群平均值可能掩盖单节点压力。
JVM 与线程池区域展示 Old GC、查询排队和拒绝请求等信号。如果延迟上升伴随队列增长,应继续检查处理能力与请求负载;如果怀疑 GC 影响,需要核对同一时段的 GC 增量和日志。相关指标同时变化只能形成调查线索,判断因果还需要补充证据。
▍3.3 从现象到证据的对应关系
把上面的经验整理成一张表,排查时按现象找下一步动作,比从头翻菜单快得多:
观察到的现象 | 先看什么指标 | 再查哪类日志 | 判断要点 |
|---|
延迟抬升,QPS 平稳 | 查询延迟、慢查询数量 | Searching 慢日志 | 变化来自请求结构或扫描范围,而非流量 |
延迟抬升,且队列、拒绝请求上升 | 查询线程池队列长度、拒绝数 | Searching 慢日志 + 主日志 | 处理能力不足,或被少数长请求占满 |
节点间 CPU / 内存差异明显 | 节点维度资源指标(非集群平均) | hot_threads 快照 + 主日志 | 热点分片或请求不均;快照只代表当前时刻 |
Old GC 增量变大 | 堆内存水位、GC 增量 | GC 日志 | 结合增量而非累计值判断回收频率 |
写入延迟高,伴随拒绝 |
写入队列、拒绝、refresh 相关指标 | Indexing 慢日志 | 关注 bulk 大小、刷新与段合并 |
状态或节点数异常波动 | 集群、节点状态指标 | 主日志 | 分片分配、节点掉线等事件 |
这张表的用法是:左侧必须是已确认的现象,右侧给出的是待验证的方向。跳过左侧直接下结论,就是前面故事里那 20 分钟的由来。
▍3.4 指标探索:从预置看板进入更细的维度
看板适合快速浏览,指标探索则用于继续提出更具体的问题。在实例的指标探索菜单中,可以进入对应的云监控指标集或高阶指标集。
以高阶节点指标为例,可以查看黄金指标、选择具体指标,并使用筛选、维度分析以及同比、环比等能力。排查「今天变慢」时,应选择可比的业务时段作为基线;排查「只有一个节点压力高」时,则要按节点维度比较,避免把聚合后的数值当成某个节点的实际表现。
▍3.5 日志探索:回到具体请求与运行记录
从实例的日志探索菜单,可以直接选择主日志、GC 日志、访问日志以及两类慢日志。
在 Searching 慢日志中,除了查看时间分布和原始日志,还可以结合结构化字段分析。例如,index_name、shard_id 和 host 用来定位索引、分片与节点,search_time_ms 表示记录中的查询耗时,slow_search_log_type 区分相关阶段,原始内容则可帮助检查请求结构。
▍3.6 关联拓扑:确认分析用到的数据来自哪里
遇到「看得到实例,却查不到某类数据」的情况,可以通过关联拓扑检查实体与指标集、日志集及其存储的连接。这也有助于区分两个问题:当前没有匹配记录,还是所需数据尚未接入或关联。
当实例的指标和日志已经关联起来,可以从实例页面进入 STAROps 智能分析。界面提供智能查数、快速调查、深度调查等入口,用户可以围绕当前实例描述问题,再沿着分析结果追问。
这一节以「搜索变慢」为例介绍诊断的组织方式,是一套可复用的只读调查流程。下面的提问示例用于说明该怎么问,不代表已执行并取得对应诊断结果;实际可分析的数据以工作空间接入情况和当前会话权限为准。
四轮的分工、关键要求和常见误区如下:
轮次 |
目的 | 关键要求 | 常见误区 |
|---|
第一轮 | 明确实例、时间与业务现象 | 实例 ID、地域、绝对时间窗 + 时区,并要求先检查数据覆盖 | 用「最近一小时」,范围随对话推移,前后结论来自不同数据 |
第二轮 | 从集群下钻到节点和索引 | 要求标明结果是节点值还是集群聚合值,并给可比基线 | 看到平均 CPU 不高就排除资源瓶颈;QPS 稳定就认为请求没变 |
第三轮 | 用日志核验原因、用原始指标核验口径 | 同一时间窗查慢日志、按索引/节点/阶段归纳、核对阈值与覆盖 | 把累计计数当每分钟次数;用生命周期平均值替代异常窗口分析 |
第四轮 | 输出有条件的建议 | 事实 / 假设 / 缺失 / 建议四段,每条写明依据、前提、影响和验证方式 | 只给动作不给前提,读者无法判断是否适用 |
▍4.1 第一轮:明确实例、时间与业务现象
「帮我看看 ES 有没有问题」缺少调查范围。更有效的起点是给出实例、地域、绝对时间窗口和业务侧现象,同时要求先检查数据覆盖。
请分析实例 {实例ID} 在 {开始时间} 至 {结束时间}(UTC+8)的搜索性能。业务现象是搜索请求延迟升高。先确认可用的云监控指标、高阶指标和日志,再按时间线检查查询量、查询延迟、CPU、堆内存、GC、线程池排队与拒绝请求。请区分已确认事实、待验证假设和缺失数据,并注明指标单位与聚合方式。
固定时间窗口非常关键。如果每次追问都用「最近一小时」,时间范围会随着对话推移,前后结论可能来自不同的数据。应用侧反馈的延迟口径也应写清楚:是平均值还是 P99,是否包含网络、排队和客户端重试。
▍4.2 第二轮:从集群现象下钻到节点和索引
云监控指标先用于确认异常起点和影响范围,再用高阶指标分析节点差异、JVM、线程池或索引维度的变化。
请比较同一时间窗口内各节点的 CPU、堆内存、GC 增量及查询线程池排队、拒绝情况,说明当前结果是节点值还是集群聚合值。再选取可比业务时段作为基线。若发现异常集中在个别节点或索引,请给出对应证据;没有足够数据时,说明还需要补充什么。
QPS 反映请求数量,请求复杂度还与查询结构、扫描范围和聚合等因素有关。即使请求数量变化不大,也需要继续检查请求内容和节点间负载差异。分片数量相近也不等于请求热度相近,相关判断需要结合实际数据验证。
▍4.3 第三轮:用日志核验原因,用原始指标核验口径
如果指标指向搜索请求或 GC,应查询同一时间段的慢日志、GC 日志和主日志,把指标线索与具体记录对应起来。
请查询同一时间窗口内的 Searching 慢日志,按索引、节点和查询阶段归纳耗时分布,给出有代表性的请求记录。核对日志阈值和数据覆盖,说明哪些现象有日志支持、哪些仍是假设。如果判断 GC 频繁,请返回原始指标含义、窗口增量和对应 GC 日志,不要将累计计数当作每分钟次数。
这里要特别区分三种口径:累计计数、故障窗口内的增量,以及单位时间速率。若原始指标是自进程启动以来的累计计数,直接读取当前值不能说明最近一分钟发生了多少次;累计计数除以运行时长得到的生命周期平均值,也不能替代异常窗口的分析。出现节点重启或计数器重置时,还需要使用能够正确处理重置的计算方式。
类似地,故障结束后采集到的 hot threads 是当前快照,不能单独用于否定先前的 CPU 高峰。诊断所依赖的每份证据,都需要明确它覆盖的是哪个对象、哪个时间段。
▍4.4 第四轮:输出有条件的建议,并约定验证方式
请把结论整理为「已确认事实 / 待验证假设 / 缺失数据 / 建议动作」。每条建议说明依据、前提、潜在影响和验证方式。当前仅做分析,不执行配置变更。请列出后续应在可比业务负载下复查的指标和日志。
一份可用的诊断结果应同时包含:已确认事实及证据、可能原因及验证方法、缺失数据,以及建议的适用条件。涉及查询改写、分片调整或资源变更时,还需要说明影响范围和回退方式。优化是否有效,应在可比请求负载和统计口径下复查,而不能只比较两张任意时间的图表——这一点和开头故事里「重启后延迟短暂下降」是同一类陷阱。
▍5.1 CloudLens 的视图嵌入 Elasticsearch 控制台
在 Elasticsearch 控制台的「Elasticsearch 洞察」中,可以看到资源中心、洞察、告警管理、指标探索和洞察设置等入口。
进入实例后,可以直接查看实例看板,进而查看相关指标和日志。对于日常在 ES 控制台管理集群的用户,这条路径减少了寻找观测入口和重新定位实例的步骤;面向多个云产品开展统一运维的团队,则仍可从云监控 2.0 工作空间进入。
▍5.2 STAROps 接入 Elasticsearch 智能助手
另一处集成发生在智能运维侧。STAROps 技能中心的「官方推荐」中提供 Elasticsearch 智能助手,技能标识为 alibabacloud-elasticsearch-ops-agent。该技能通过托管 ES Agent 提供 ES 领域的分析能力。
技能详情中展示了实例健康巡检、故障诊断与根因定位、实例及节点和索引信息查询、网络配置查看、知识问答等能力,并支持多轮追问和补充上下文。在已分配该技能的数字员工中,可以围绕具体实例持续提问。如下图为某个数字员工添加「Elasticsearch 智能助手」:这里需要说明的是该技能当前以只读分析为边界,不会自动创建、删除、重启或扩容实例;巡检和诊断产生的建议,仍需结合证据与实际运维流程处理。
STAROps 原生智能分析与 ES Agent 技能的关系如下表格所示,两者围绕同一个运维问题互相补充。
能力 | 本文关注的作用 | 使用时的重点 |
|---|
STAROps 原生智能分析 | 围绕工作空间中的实例、指标和日志开展查数与调查 | 明确实例与时间范围,检查数据覆盖,关联多种证据 |
Elasticsearch 智能助手技能 | 调用托管 ES Agent,提供 ES 专业巡检、诊断、信息查询和知识问答 | 明确 ES 问题,持续追问依据,遵守技能的只读边界 |
回到开头那个周三上午,老王最终定位了问题,但复盘时没人说得清 20 分钟里哪些判断有证据、哪些靠运气。如果当时指标和日志已经关联在同一个实例上,借助 CloudLens for Elasticsearch 加上 STAROps,那些试错至少有一半可以跳过,不是因为经验不重要,而是因为证据已经在同一个时间窗里等着被关联。CloudLens for Elasticsearch 加上 STAROps,做的就是把「凑证据」这件事从人脑搬到系统里,让排查的每一步都有据可查、可以复现。赶紧行动起来,在云监控 2.0 接入中心搜索「检索分析服务 Elasticsearch 版」即可开始配置。
参考资料:
https://cmsnext.console.aliyun.com/
https://elasticsearch.console.aliyun.com/cn-shanghai/es-insight
https://starops.console.aliyun.com/skills/official