社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

GitHub上超火的一个内存对象缓存系统,22.3K star!

GitHub好项目 • 2 年前 • 704 次点击  

大家好,我是GitHub好项目君,每天分享GitHub上的好项目

我们每天分享开源项目,根据开源协议都可以赚钱

今天介绍:Dragonfly 

专为现代应用程序工作负载构建的内存数据存储。Redis 和 Memcached 的现代替代品

镜像代码:

http://www.gitpp.com/wddc/dragonfly-cn

项目介绍

Dragonfly 是一个高性能的内存数据存储,专为现代应用程序的工作负载需求而设计。它提供比传统内存数据存储更高的吞吐量,更高的缓存命中率,以及更低的尾部延迟。此外,对于相同大小的工作负载,Dragonfly 可以显著减少所需的运行资源,最多可达 80%。

Dragonfly 与 Redis 和 Memcached 的 API 完全兼容,这意味着它可以无缝地集成到使用这些技术的现有应用程序中,而无需对代码进行任何修改。这使得 Dragonfly 成为一个非常有吸引力的选择,特别是对于那些寻求更高性能和更高效资源利用率的组织。

Dragonfly 的一些关键特性包括:

1. 高吞吐量:Dragonfly 提供了极高的吞吐量,可以处理大量并发请求,使其成为高流量应用程序的理想选择。

2. 高缓存命中率:Dragonfly 使用先进的缓存算法和策略,以确保数据快速访问,并提高缓存命中率。

3. 低尾部延迟:Dragonfly 优化了数据访问和存储过程,以减少尾部延迟,提供更好的用户体验。

4. 资源高效:Dragonfly 可以以更少的资源提供相同或更高的性能,从而降低运行成本。

5. API 兼容性:Dragonfly 与 Redis 和 Memcached 的 API 完全兼容,支持无缝迁移和集成。

6. 可扩展性:Dragonfly 支持水平扩展,可以通过添加更多节点来处理更多流量和数据。

总的来说,Dragonfly 是一种高效、可扩展的内存数据存储解决方案,适用于需要高性能和资源效率的应用程序。其优势在于提供了更高的吞吐量、缓存命中率和资源利用率,同时降低了尾部延迟,为现代应用程序提供了优化的数据存储和访问能力。

基准测试

Dragonfly 吞吐能力随着实例规模不断增长,而单线程 Redis 在 CPU 上遇到瓶颈,在性能方面达到局部最大值。

如果我们在网络能力最强的实例 c6gn.16xlarge 上比较 Dragonfly 和 Redis,则与 Redis 单进程相比,Dragonfly 的吞吐量提高了 25 倍,超过 3.8M QPS。

Dragonfly 在峰值吞吐量下的第 99 个百分位数延迟指标:

操作6g6gn7g
放0.8毫秒1毫秒1毫秒
得到0.9毫秒0.9毫秒0.8毫秒
塞泰克斯0.9毫秒1.1毫秒1.3毫秒

所有基准测试都是使用memtier_benchmark(见下文)根据每个服务器和实例类型调整的线程数来执行的。memtier在单独的 c6gn.16xlarge 机器上运行。我们将 SETEX 基准的到期时间设置为 500,以确保它能够在测试结束后继续存在。

  memtier_benchmark --ratio ... -t  -c 30 -n 200000 --distinct-client-seed -d 256 \
--expiry-range=...

在管道模式下--pipeline=30,Dragonfly 的SET 操作达到10M QPS ,GET 操作达到15M QPS。

‍‍Dragonfly 与 Memcached

‍‍

‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
我们在 AWS ‍上的 c6gn.1‍6xlarge 实例上将 Dragonfly 与 Memcached 进行了比较。‍‍

在延迟相当的情况下,Dragonfly 吞吐量在写入和读取工作负载方面均优于 Memcached 吞吐量。由于Memcached 中写入路径上的争用,Dragonfly 在写入工作负载中表现出更好的延迟。

设定基准

服务器QPS(千qps)延迟99%99.9%
蜻蜓🟩3844🟩0.9 毫秒🟩2.4 毫秒
内存缓存8061.6毫秒3.2毫秒

获取基准测试

服务器QPS(千qps)延迟99%99.9%
蜻蜓🟩37171毫秒2.4毫秒
内存缓存2100🟩0.34 毫秒🟩0.6 毫秒

Memcached 在读取基准测试中表现出较低的延迟,但吞吐量也较低。

内存效率

为了测试内存效率,我们使用该命令向 Dragonfly 和 Redis 填充了约 5GB 的数据debug populate 5000000 key 1024,使用 发送更新流量memtier,并使用该命令启动快照bgsave。

该图展示了每台服务器在内存效率方面的表现。

Dragonfly 在空闲状态下的内存效率比 Redis 高 30%,并且在快照阶段没有出现任何明显的内存使用增加。在高峰期,Redis 内存使用量增加到 Dragonfly 的近 3 倍。

蜻蜓更快地完成了快照,几秒钟之内。

有关 Dragonfly 内存效率的更多信息,请参阅我们的Dashtable 文档。

Dragonfly 由于其高性能和特性,适用于多种应用场景,特别是那些需要快速、可扩展的内存数据存储的场景。

以下是一些主要的应用场景:

1. 缓存系统:作为缓存系统,Dragonfly 可以用于存储频繁访问的数据,以减少数据库的负载,提高应用程序的响应速度。

2. 会话存储:在Web应用程序中,Dragonfly 可以用于存储用户会话信息,提供快速的会话访问,从而提升用户体验。

3. 消息队列缓冲区:Dragonfly 可以作为消息队列的缓冲区,存储和处理大量的实时数据,支持高并发的数据处理。

4. 实时分析:在需要实时分析的场景中,Dragonfly 可以用来存储和处理实时数据流,支持快速的数据检索和分析。

5. 推荐系统:Dragonfly 可以用于存储用户行为数据和物品信息,为推荐系统提供快速的数据访问,以生成个性化的推荐。

6. 高性能计算:在科学计算、金融建模等高性能计算场景中,Dragonfly 可以作为高速数据共享和存储的工具,提高计算效率。

7. 内容分发网络(CDN):Dragonfly 可以用于存储静态内容,如图片、视频等,作为CDN的一部分,提供全球快速的内容分发。

8. 游戏服务器:在游戏领域,Dragonfly 可以用于存储玩家状态、游戏进度等数据,支持高并发的游戏体验。

9. 物联网(IoT):Dragonfly 可以用于存储和管理来自物联网设备的实时数据,支持大规模的设备接入和数据处理。

10. 大数据和实时数据处理:Dragonfly 可以作为大数据应用中的内存数据存储,支持快速的数据处理和分析。

这些应用场景都有一个共同点,即需要快速、可靠的数据访问和存储,以及能够处理高并发和高吞吐量的能力。Dragonfly 的设计使其成为这些场景的理想选择。

Dragonfly 与 Redis 和 Memcached API 完全兼容,无需更改代码即可采用。与传统的内存数据存储相比,Dragonfly 的吞吐量提高了 25 倍,缓存命中率更高,尾部延迟更低,并且对于相同大小的工作负载,运行资源最多可减少 80%。

官网:https://www.dragonflydb.io/

镜像代码:

http://www.gitpp.com/wddc/dragonfly-cn

我们收集了10000+ 开源项目 点击  阅读原文

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/167358