社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Elasticsearch

如何在 Elasticsearch 中构建你的智能 AI 助手?

阿里云开发者 • 昨天 • 11 次点击  

在微服务、容器化和云原生架构的推动下,现代系统产生的日志量正以指数级增长。面对 TB 级的日志数据,传统的“人工排查 + 固定规则告警”方式已经显得力不从心。日志查不准、异常发现慢、响应效率低等问题,正在不断侵蚀系统的稳定性与运维效率。

本文将带你探索一种全新的思路:如何基于 Elasticsearch 快速构建一个具备自然语言理解能力、异常检测和安全威胁识别能力的智能运维 AI 助手 。我们将围绕实际部署流程、关键技术点和典型应用场景展开,帮助你把 Elasticsearch 从“日志仓库”升级为“智能决策中枢”。


方案优势

实时监控与智能诊断

AI 助手可直接调用 Elasticsearch API,实时获取集群运行状态,并动态生成可视化监控看板,帮助运维人员快速定位问题、及时响应故障,提升系统稳定性。

自然语言交互查询

支持通过自然语言输入查询指令,AI 自动将其转化为复杂的 Elasticsearch 查询语句,用户无需掌握底层语法即可高效检索数据。

全流程自动化处理

从查询构建、执行到性能优化,AI 助手实现端到端的自动化处理,大幅提升操作效率,同时增强查询结果的准确性和可靠性。

降低技术使用门槛

通过提供智能建议和操作引导,简化运维排障、威胁检测及业务数据分析等任务,使非技术人员也能轻松上手,提升整体协作效率。

方案架构

本方案旨在介绍如何基于阿里云 Elasticsearch,结合 AI 搜索开放平台的模型服务,并通过数据可视化工具 Kibana,快速部署和配置 AI 助手,提升运维效率与智能化水平。本方案的默认设置在部署完成后,将在阿里云上建立一个如图所示的环境。在实际部署过程中,可以根据具体的资源规划调整部分设置,但最终生成的运行环境将与下图基本相似。

方案部署

本方案支持一键部署,可以快速体验!

https://www.aliyun.com/solution/tech-solution/elasticsearch-ai-assistant?utm_content=g_1000405505

创建 Elasticsearch 实例:前往 ROS一键部署链接[1],系统将自动打开使用新资源创建资源栈面板,并按照如下参数进行配置:

项目

说明

示例值

可用区ID

本方案以可用区 K为例。

可用区 K

Kibana 公网访问白名单 IP

Kibana 公网访问白名单 IP。

查看当前公网 IP:https://ipinfo.io/ip

实例密码

Elasticsearch 实例密码。

自定义密码

完成配置后即可进行创建,实例的创建过程预计8-10分钟,完成后即可查看所配置的资源内容。

方案验证

1)导入样例数据

点击页面左上角 elastic logo 进入 Kibana 主页,按照下图所示,单击试用样例数据。

按照下图所示,依次单击 Sample eCommerce orders和Sample web logs 样例数据集中的添加数据。

2)辅助集群运维和索引管理

在页面导航栏中单击Observability > 概览,然后单击AI助手;开始模拟集群异常状态。

a. 在输入框输入创建名为 test 的索引,并将其副本数设置为 10,并单击发送按钮。

b. 返回结果如下图所示。

查询集群状态:

a.在输入框输入查询集群状态,并单击发送按钮。

b.返回结果如下图所示。

恢复集群状态:

a. 在输入框输入分析问题原因,恢复集群状态为 green,并单击发送按钮。

b. 返回结果如下图所示。

3)可视化分析

查询集群的索引:

a. 在页面导航栏,单击Observability > 概览,然后单击AI助手。

b. 在输入框输入请列出当前集群的索引,不要包含隐藏索引或者系统索引,并单击发送按钮。

c. 输出结果如下图所示。

查询访问设备信息:

a. 在输入框输入分析 kibana_sample_data_logs 索引,查询最近一天请求的 machine.os top 10,并制作图表,并单击发送按钮。

b. 输出结果如下图所示,可以对图表进行编辑调整和保存。

查询访问 PV 和 UV:

a. 在输入框输入分析 kibana_sample_data_logs 索引,今日 PV 和 UV,并单击发送按钮。

b. 输出结果如下图所示。

4)问题咨询

在页面导航栏,单击Observability > 概览,然后单击AI助手。在输入框输入请对 kibana_sample_data_ecommerce 索引执行以下操作:1、列出所有唯一的商品分类名称;2、提供对应的 Elasticsearch DSL 查询语句,并单击发送按钮。输出结果如下图所示。

清理资源

测试完方案后,您可以参考以下规则处理对应产品的实例,避免继续产生费用:

  • 删除 ROS 一键部署创建的云资源:

    a. 登录ROS控制台[2]。

    b. 在左侧导航栏,选择资源栈。

    c. 在资源栈页面的顶部选择部署的资源栈所在地域,找到资源栈,然后在其右侧操作列,单击删除。

    d. 在删除资源栈对话框,选择删除方式为释放资源,然后单击确定,根据提示完成资源释放。

  • 删除 AI 搜索开放平台 API Keys:

登录AI搜索开放平台[3],找到前面创建的 API Keys,在操作列先单击禁用,按照界面提示完成禁用,待操作列状态更新后,单击删除,按照界面提示完成删除。

参考链接:

[1] ROS一键部署链接:https://ros.console.aliyun.com/cn-hangzhou/stacks/create?utm_content=g_1000405506

[2] ROS控制台:https://ros.console.aliyun.com/overview?utm_content=g_1000405507

[3] AI搜索开放平台:https://opensearch.console.aliyun.com/cn-shanghai/rag/api-key?utm_content=g_1000405508

Elasticsearch 智能运维 AI 助手


运维常面临日志量大、定位难、响应慢等问题,严重影响效率与稳定性。本方案基于阿里云 Elasticsearch,通过 Kibana 快速部署 Elastic AI Assistant,实现日志分析、异常检测与安全威胁识别的自动化,显著提升运维与安全分析的效率。


点击阅读原文查看详情。


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/184164
 
11 次点击