社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Elasticsearch

从Splunk到ElasticSearch,LinkedIn的实时日志系统架构演进之路

聊聊架构 • 9 年前 • 1038 次点击  


及时有效地搜索日志是 SRE 日常工作的重要内容。LinkedIn 从使用 Splunk 到建立基于 ES 和 Kafka 的日志分发、索引系统,为 SRE 提供了近似实时的搜索平台来检索超过 400 多个子系统的日志。在本演讲中,我将和大家分享这套系统从无到有的一些技术架构经验。

作者介绍

李虓(Li Xiao),LinkedIn SRE 团队高级技术经理。带领 SRE 团队负责 LinkedIn 在线支付系统,高级会员功能,公共 API 接口,视频上传和分享等系统的运维,同时负责搭建 LinkedIn 生产环境日志检索系统,Rest.Li 框架性能优化等跨功能项目。在加入 LinkedIn 之前有着丰富的 Java 开发和项目管理经验。四年前加入 LinkedIn SRE 团队,致力于让开发和运维团队紧密配合,在新功能上线和产品稳定性之间找到最佳平衡。

演讲稿


点击以下链接,获取完整演讲稿:

http://q.infoqstatic.com/ppt/580ad9f63ee2a.pdf

推荐一个对技术人员的成长很有帮助的线下会议,将于4月16~18日举行的QCon全球软件开发大会(北京站),目前已经邀请来自Google、Facebook、LinkedIn、Airbnb、百度、阿里巴巴、腾讯等公司的100多位一线技术专家,是难得的线下交流学习的机会。具体详戳 「 阅读原文 」惊喜不停!




今天看啥 - 高品质阅读平台
本文地址:http://www.jintiankansha.me/weixin/mxTUEwEsOM
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/2080