社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Elasticsearch

查询亿级数据毫秒级返回!Elasticsearch 是如何做到的?| 极客时间

InfoQ • 2 年前 • 341 次点击  

Elasticsearch 作为目前最流行的开源搜索引擎, 在同领域几乎没有竞争对手 —— 近两年 DBRanking 的数据库评测中,ES 在搜索引擎领域始终位列第一,腾讯、滴滴、今日头条、饿了么、360 安全、小米,vivo 等诸多知名公司都在使用。

当你在 GitHub 上搜索时,ES 可实现代码级搜索与高亮显示 ;在网上购物时,它会为你推荐喜欢的商品;下班打车回家时,它可以定位附近的乘客和司机,帮平台优化调度。

此外,Elasticsearch 还被广泛运用于大数据近实时分析,包括日志分析、指标监控、信息安全等多个领域。

它不仅可以探索海量结构化、非结构化数据,按需创建可视化报表,对监控数据设置报警阈值,还能通过使用机器学习,自动识别异常状况。

可以说 Elasticserach 已经是成为优秀工程师必备的一项技能了。

该如何高效使用 Elasticsearh?

上手 Elasticsearch 也很容易,花几分钟设置好开发环境,就能在成百上千台服务器上实现 PB 级的数据处理了。但要深入理解并高效使用,就没那么简单了,比如:

  • 为什么我的数据查不到,明明有的啊!

  • 这几条数据怎么会出现在搜索结果前几位?

  • 生产环境需要多少台机器,索引的分片数怎样设置才合理?

  • 应该关注哪些指标,才能保证集群健康高效地运行?

  • 对于日志型应用,如何设置 Hot & Warm Architecture 节约成本,怎样管理和优化基于时间序列的索引数据,才能提高集群的整体性能?

  • 为什么我的集群脑裂了?数据损坏后,怎样才能恢复?

其实,想要用对、用好 Elasticsearch,不仅要理解其分布式架构的原理,还要掌握一些信息检索领域的知识。这里,分享给你一张 「Elasticsearch 知识图谱」,深入理解每个知识点,才能解决工作中的实际问题。

这张图出自阮一鸣,他是 eBay Pronto 平台技术负责人,管理了 eBay 内部上百个 Elasticsearch 集群,数据规模超过 4000 节点,支撑了订单搜索,商品推荐,日志管理,风险控制,IT 运维,安全监控等不同领域服务。

最早,听过他在 Elastic 中国开发者大会的分享,讲得很棒。后来得知他出了个 Elasticsearch 视频课,我第一时间就订阅了,到如今也是 2 刷完毕,确实收获很大,帮我解决了工作中的不少问题。

值得一提的是,它覆盖了 Elastic 官方认证的全部考点,不少人因为看了这个课,通过了 Elastic 认证。要知道,这个考试在圈里出了名的难通过,毕竟都是上手实操题。而这个课程中的测试用例,就是非常好的练习素材,说实话,每个 case 的代码我都敲过 3 遍以上。

这个认证的含金量还是挺高的,很多巨头都在使用 ES 搭建自己的搜索系统。你去应聘的时候,有证跟没证有可能就会影响你的录取,收入也有可能差一个档次。

课程现在超 60000 订阅了,InfoQ 读者专属优惠,新用户近 3 折抢购,仅限这几天,有需要赶紧上车👇

扫码免费试读
定价¥199|老用户¥139|新用户 ¥68👆
即刻购买👆

Elasticsearch 产品迭代很快,市面上的书和教程大都基于 5.x 甚至 2.x 版本。而在课程中,阮一鸣用 Elasticsearch 最新 7.x 版本,讲了很多新特性,比如:用机器学习进行异常检测;用 Canvas 展示数据;用索引的生命周期管理工具对索引进行优化等等。

课程共计 100 讲,内容覆盖很全,开发运维都有,由浅入深地讲解了 ES 的基本概念和服务搭建,带你手把手部署与优化生产环境,了解其运行机制和常用技巧,并通过上手实战,掌握 ES 在实际项目中的应用,灵活使用 ELK 进行搜索和大数据分析。

对开发工程师来说,搜索是一项被广泛需要的功能:如果你是一名 ES 的运维人员,管理了公司内部的 Elasticsearch 集群:上线前的如何进行容量规划,上线后如何保证这些集群在生产环境内稳定高效的运行,如何在凌晨识别出异常信号,及时发出告警,以避免灾难的发生。

这些问题,他在课程中都会给出相关的最佳实践。

就像作者「阮一鸣」说的:“在大数据时代,近实时的搜索和分析能力,会让你唯快不破,洞见未来。”所以,无论是开发还是运维,架构师抑或数据分析师,都应该学一学。

就我自己来说,前段时间公司要在私有云上管理和部署 Elasticsrarch 集群,全靠这门课了。今年再使把劲儿,把 Elastic 认证考下来。

内容是真的靠谱,不光是我,还帮到不少人,截了些评价供你们参考:

跟着好好学,结合课程中的练习,你也能学以致用,构建出自己的搜索和数据分析产品。要再能拿个官方认证,岂不乐哉。

重要的事情,再说一遍:

原价 ¥199

新人首单仅 ¥68
老用户 7 折,到手 ¥139
优惠仅限前 200 人
扫码,查看目录,免费试读👆
一次订阅,永久有效

坚持学习这事儿,本就反人性,但要把自己的坚持成果晒出来,让别人跟你点赞,你就会有正向反馈和动力。所以,只要你跟上节奏,一定能一次性搞定 ES,相信未来拿下 Elastic 认证也不在话下。

项目实战的过程,就是一个挖坑填坑的过程,实战场景多了,解决的问题多了,自然就能掌握得好。而最好的学习方式是找到组织,找到经验丰富的大咖,持续交流学习,成长最快也最好。

👇 订阅后,点击「阅读原文」新人低于 4 折拿下, 仅限前 200 人,抓住机会!

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/147402
 
341 次点击