郭嘉梁：阿里云Elasticsearch日志场景最佳实践及引擎内核优化

截屏2022-05-12 22.58.28.png

分享嘉宾：郭嘉梁阿里巴巴技术专家

出品平台：DataFunTalk

导读：全文将围绕以下四点展开：

阿里云Elasticsearch日志场景最佳实践
阿里云Elasticsearch引擎内核优化
阿里云Elasticsearch性能评测
阿里云Elasticsearch产品演示

阿里云Elasticsearch日志场景最佳实践

1. 阿里云Elasticsearch日志场景概况

阿里云Elasticsearch（简称ES）在线上拥有1W+的集群和6W+节点，为用户提供线上检索和分析服务，在这些集群中，日志集群占比35%，其平均CPU核数超过40个，数据量达到PB级别。日志集群具有数量多、单集群规模大的特点，覆盖包括游戏、医药、汽车等领域。

2. 日志场景集群特点

在进行引擎内核优化之前，首先需要了解日志场景集群的共性特点：

写入吞吐高：在线头部用户的单日写入吞吐量可达数十TB级。
查询秒级响应：日志场景集群通常会作为微服务的问题排查，或监控数据的大盘展示，因此查询端的响应是否及时，直接影响用户端的体验。
存储数据量大：日志场景集群的单日写入量大，数据存储周期长。
倾向访问近期数据。

3. 日志场景自建集群的痛点：性价比低

贵：写入吞吐高，存储时间长，导致计算资源和存储资源成本高。
慢：数据量大，导致扩容/宕机恢复慢, 数据迁移慢。
差：冷/热查询没有隔离机制，导致稳定性差。
难：索引多，生命周期不同，导致冷/热数据迁移难管理。

4. 日志场景最佳实践大图

基于以上痛点，ES日志场景进行了诸多优化，主要包含以下五个方面：

冷热查询共享计算资源：冷热数据查询隔离，在维持查询稳定性的基础上，将用户计算成本降低50%。
低成本智能海量存储引擎：存储成本降低70%。
计算存储分离：海量冷数据快速恢复、快速弹性。
冷/热数据自动迁移：免运维。
托管写入：引入Indexing Service写入托管服务，用户无需为索引构建消耗资源，写入性能提升10倍以上。

5. 日志场景最佳实践成果

ES日志场景最佳实践，为用户提供了高性价比的服务，主要体现在四个方面：

①高稳定：

通过Indexing Service让写入性能提升10倍。
针对智能海量存储引擎进行存储优化使查询秒级响应。

②低成本：

智能海量存储引擎让存储成本降低70%。
冷热共享计算资源技术让计算成本降低50%。

③高易用：

冷热数据自动迁移，高级监控功能实现免运维，全观测。

④高可用：

通过智能海量存储引擎共享存储，以及计算存储分离技术，使用户的海量冷数据可以做到快速弹性，快速恢复。

阿里云Elasticsearch引擎内核优化

1. 共享冷/热计算资源

计算成本降低50%：ES提供冷热共享计算规格组，用户无需为冷数据单独购买ECS资源。
AJDK租户隔离技术：将冷/热查询的线程池置于不同租户中，当冷查询的线程或CPU资源影响到热查询，会优先保证热查询返回。
查询隔离等。

2. 查询性能优化

①冷存储（Lucene查询剖析）

智能海量存储引擎的单次IO访问延迟可达到100毫秒以上，使用Lucene原生查询框架的端到端查询，对于这种延迟是无法接受的。

Lucene查询模型分为四个步骤（见下图）：

根据用户的查询语句进行倒排链求交，获取文档ID列表；
如用户有排序或聚合的需求，根据文档ID列表串行查询DocValue索引，获取文档ID对应的指定字段值；
对指定字段值进行排序和聚合操作；
如客户有召回原文的需求，则需要查询原文索引并返回原文。

其中第二步访问DocValue的随机查询，是导致查询延迟高的重点。假设用户召回100个文档ID，单次IO查询是100毫秒，那么100个文档的排序或聚合操作就有10秒的端到端查询延迟。

②冷存储

针对上述查询延迟问题，对Lucene的原生执行模式进行了如下改造：

按行查询→按列查询（见下图）：由多线程完成获取DocValue文档值；

AJDK的Wisp协程技术：降低多线程间的切换开销；
预读：采用块的预读策略，以加速倒排链的访问；
Codec优化：采用大块压缩技术使单次IO可以返回多个文档值，从而降低总体IO次数。

③冷存储（智能缓存）

在查询模式基础上提供智能缓存机制，在智能海量存储引擎中加入SmartCache，对多种不同类型的索引采用自适应的淘汰策略，可以适配多种查询场景。比如针对DocValue索引采用了N-LRU的淘汰策略，防止一次对历史数据的分析型查询直接将DocValue的Cache刷满，导致淘汰一些有效数据。

3. 写入性能优化

使用Indexing Service中心化索引构建集群。

写入性能提升10倍：用户集群在收到写入请求后，将写入请求转发至Indexing Service集群，整个索引构建过程是在中心化集群完成，因此用户集群无需为索引构建消耗计算资源。
后端双集群互备保障高可用。
写入托管，按量计费，进一步降低用户的使用成本。

4. 计算存储分离

冷数据采用智能海量存储引擎的存储介质，属于共享存储，用户的写入只在主分片进行构建，所有副本节点都是加载共享存储中的数据，真正做到一写多读，以及计算和存储解耦。由于数据只存储一份，在节点扩容或节点宕机时，无需进行节点间的数据拷贝，彻底消除海量数据迁移的开销。

阿里云Elasticsearch性能评测

1. 智能海量存储引擎查询性能评测

①智能海量存储引擎成本

智能海量存储引擎的存储单价是0.15元/GB/月，对比高效云盘的0.35元/GB/月，降低了60%；对比SSD的1元/GB/月，降低80%以上。

②智能海量存储引擎查询延迟

优化后的智能海量存储引擎，对比高效云盘在查询延迟方面有显著降低。

智能海量存储引擎与高效云盘查询延迟对比图

在智能海量存储引擎与高效云盘的查询延迟对比图中，查询数据级是1.5TB索引，在24个16C64GB节点进行测试，单位是毫秒，针对两种查询语句分别进行测试，一种是只有对时间字段的简单查询，一种是对指定字段有AGG聚合分析的分析型查询。测试结果表明，智能海量存储引擎的查询性能更好，查询延迟降低了30%左右。

综上对比高效云盘，智能海量存储引擎的成本降低了60%，而总体查询性能提升了30%，智能海量存储引擎为用户提供了高性价比的存储介质选择。

2. Indexing Service写入性能评测

针对开启Indexing Service的集群和通用商业版集群进行写入TPS对比，对三种不同规格组（2C8GB、4C16GB、8C32GB）进行对比。对比结果显示：无论在哪个规格组，Indexing Service的写入性能比原生ES写入性能提高了7-10倍。