Py学习  »  Elasticsearch

初探新版 Elasticsearch 中的强悍插件 X-pack | 岂安低调分享

bigsec岂安科技 • 5 年前 • 587 次点击  

干货

观点

案例

资讯

我们


岂安科技
最真诚的业务安全公众号


撸主:


Alan       岂安科技运维工程师


努力踏上一条为后人留坑的运维之路。(逃




1
 前言


Elk 日志可视化管理系是目前比较主流的一套日志管理工具。对日志查找,阅读、收集都非常方便。所以今天的正文来了,今天文章的内容写的是 elk 的系统组件 x-pack。一个集安全、警报、监视、报告和图形功能于身的扩展,轻松开启或关闭那你想要的功能。


注意:在 Elasticsearch 5.0 之前须安装单独的 Shield,Watcher 和 Marvel 插件才能获得在 X-Pack 中所有的功能。



2
 安装


插件安装一如既往的方便。分别列出elk安装方式。


✦Elasticsearh:

./bin/elasticserch-plugin install x-pack  //ps:如果搭建了集群必须每台集群上都安装。


✦Kibana:

./bin/kibana-plugin  install x-pack


✦Logstash:

./bin/kibana-plugin  install x-pack 


新版6.2.2安装完x-pack必须手动设置密码,系统默认三个用户名,elastic 、logstash-system、kibana:  

./bin/x-pack/setup-passwords interactive  //ps:自定义是密码

./bin/x-pack/setup-passwords auto   //ps:随机设置密码



3
 功能介绍


x-pack安装完毕会默认开始所有的功能。


安全


用户管理


开启 x-pack 安全功能之后,对 es 请求、kibana 的访问都需要用户名和密码。例如掉用api添加一个静态 mapping 的模板


curl -XPOST -u elastic 'localhost:9200/_template/test' -H "Content-Type: application/json" -d@template.json


例如访问 kibana 需要登入用户密码。



每个用户可以配置不同的规则,及分配不同的权限。只读、监控、查看某个索引、增加删除索引,对某个字段加密。



日志审计


在elasticsearch.yml 配置中设置 xpack.security.audit.enabled: true ,会将用户操作详细的记录在日志中,便于问题追踪。



Monitor


X-pack monitor会快速提供elasticsearch 、logstash、kibana的的性能。实时展示他们的健康状况!


elk系统整体监控


Elasticsearch单节点性能监控


索引监控


Kibana监控


Logstash监控


强大的监控系统清晰的数据,有利于我们对资源的合理利用。



告警功能(alerting)


对日志中出现的敏感的字段进行监控告警、快速报告管理员前方发生的问题,结束响应解决。


例如: ret_code返回码大量报错、例如request_time时间过长等等所有关心的东西都可触发相应的告警功能。


Alerting 自动邮件方式告警



报告功能 Reporting


一个能将查询结果、生成的报表导出的一个功能。将查询的结果保存到dashboard里面,然后点击右上角菜单栏的reporting。就会出现导出文件的选项:



也可以直接用下面的url用api直接调用。


当然这个reporting的前提条件是要有报表。我们可以用visualize这个功能去统计一个自己关注的数据。 例如我们需要判断A 和B字段同时满足的情况有多少数据。



图中画框是需要设置的地方

  • Add a filter : 添加查询条件

  • Metrics:聚合方式(我们这选择count)


这样一个多条件查询的数据图表就出来了,当然还有其他的组合方式,可以根据自己需要进行搭配。




x-pack功能虽然强大,很多实用的功能也都集成在一起了。但对一个初学者来说上手却不是这么的容易,需要花时间去探索研究。还有最重要的一点:x-pack 现在必须付费使用,官网上可以申请一年的基础版本,但是没有大多数功能。

申请地址: https://www.elastic.co/subscriptions。


还有其他的版本需要付费使用,购买流程不是很方便,必须先在官网上填写信息。

ps:PLATINUM 版本支持所有功能。




附上体验版和白金版的界面图


体验版

白金版



你会感兴趣的内容


【工具】

docker 必备 — marathon 基础教程

测试工程师良品 —— Fiddler 工具简介

Python机器学习工具:Scikit-Learn介绍与实践


【python】

谈谈Python协程技术的演进

Python工具分析风险数据

用 python 做数据分析:pandas 的 excel 应用初探


【干货】

【干货】高级架构师实战:如何用最小的代价完成爬虫需求

【干货】借鉴开源框架自研日志收集系统




今天看啥 - 高品质阅读平台
本文地址:http://www.jintiankansha.me/t/qUq1liRLc5
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/11086
 
587 次点击