社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  docker

利用 ELK 搭建 Docker 容器化应用日志中心

高效运维 • 4 年前 • 376 次点击  

概述

应用一旦容器化以后,需要考虑的就是如何采集位于 Docker 容器中的应用程序的打印日志供运维分析。典型的比如SpringBoot应用的日志收集。

本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志,并且可以用可视化的方式对日志进行查询与分析,其架构如下图所示:

架构图

镜像准备

  • ElasticSearch镜像

  • Logstash镜像

  • Kibana镜像

  • Nginx镜像(作为容器化应用来生产日志)

开启Linux系统Rsyslog服务

修改Rsyslog服务配置文件:
vim /etc/rsyslog.conf

开启下面三个参数:

$ModLoad imtcp
$InputTCPServerRun 514

*.* @@localhost:4560

开启3个参数

意图很简单:让Rsyslog加载imtcp模块并监听514端口,然后将Rsyslog中收集的数据转发到本地4560端口!

然后重启Rsyslog服务:

systemctl restart rsyslog

查看rsyslog启动状态:

netstat -tnl

部署ElasticSearch服务

docker run -d  -p 9200:9200 \
-v ~/elasticsearch/data:/usr/share/elasticsearch/data \
--name elasticsearch elasticsearch

部署Logstash服务

添加 ~/logstash/logstash.conf 配置文件如下:

input {
 syslog {
   type => "rsyslog"
   port => 4560
 }
}

output {
 elasticsearch {
   hosts => [ "elasticsearch:9200" ]
 }
}

配置中我们让Logstash从本地的Rsyslog服务中取出应用日志数据,然后转发到ElasticSearch数据库中!

配置完成以后,可以通过如下命令来启动Logstash容器:

docker run -d -p 4560:4560 \
-v ~/logstash/logstash.conf:/etc/logstash.conf \
--link elasticsearch:elasticsearch \
--name logstash logstash \
logstash -f /etc/logstash.conf

部署Kibana服务

docker run -d -p 5601:5601 \
--link elasticsearch:elasticsearch \
-e ELASTICSEARCH_URL=http://elasticsearch:9200 \
--name kibana kibana

启动nginx容器来生产日志

docker run -d -p 90:80 --log-driver syslog --log-opt \
syslog-address=tcp://localhost:514 \
--log-opt tag="nginx" --name nginx nginx

很明显Docker容器中的Nginx应用日志转发到本地syslog服务中,然后由syslog服务将数据转给Logstash进行收集。

至此,日志中心搭建完毕,目前一共四个容器在工作:

实验验证

  • 浏览器打开 localhost:90 来打开Nginx界面,并刷新几次,让后台产生GET请求的日志

  • 打开 Kibana 可视化界面:localhost:5601

  • 收集 Nginx 应用日志

  • 查询应用日志

在查询框中输入program=nginx可查询出特定日志

查询应用日志


点击阅读原文,了解 DevOps 国际峰会更多精彩

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/35746
 
376 次点击