大家好,我是GitHub好项目君,每天分享GitHub上的好项目
我们每天分享开源项目,根据开源协议都可以赚钱
今天介绍:Dragonfly
专为现代应用程序工作负载构建的内存数据存储。Redis 和 Memcached 的现代替代品
镜像代码:
http://www.gitpp.com/wddc/dragonfly-cn
项目介绍
Dragonfly 是一个高性能的内存数据存储,专为现代应用程序的工作负载需求而设计。它提供比传统内存数据存储更高的吞吐量,更高的缓存命中率,以及更低的尾部延迟。此外,对于相同大小的工作负载,Dragonfly 可以显著减少所需的运行资源,最多可达 80%。
Dragonfly 与 Redis 和 Memcached 的 API 完全兼容,这意味着它可以无缝地集成到使用这些技术的现有应用程序中,而无需对代码进行任何修改。这使得 Dragonfly 成为一个非常有吸引力的选择,特别是对于那些寻求更高性能和更高效资源利用率的组织。
Dragonfly 的一些关键特性包括:
1. 高吞吐量:Dragonfly 提供了极高的吞吐量,可以处理大量并发请求,使其成为高流量应用程序的理想选择。
2. 高缓存命中率:Dragonfly 使用先进的缓存算法和策略,以确保数据快速访问,并提高缓存命中率。
3. 低尾部延迟:Dragonfly 优化了数据访问和存储过程,以减少尾部延迟,提供更好的用户体验。
4. 资源高效:Dragonfly 可以以更少的资源提供相同或更高的性能,从而降低运行成本。
5. API 兼容性:Dragonfly 与 Redis 和 Memcached 的 API 完全兼容,支持无缝迁移和集成。
6. 可扩展性:Dragonfly 支持水平扩展,可以通过添加更多节点来处理更多流量和数据。
总的来说,Dragonfly 是一种高效、可扩展的内存数据存储解决方案,适用于需要高性能和资源效率的应用程序。其优势在于提供了更高的吞吐量、缓存命中率和资源利用率,同时降低了尾部延迟,为现代应用程序提供了优化的数据存储和访问能力。
基准测试
Dragonfly 吞吐能力随着实例规模不断增长,而单线程 Redis 在 CPU 上遇到瓶颈,在性能方面达到局部最大值。

如果我们在网络能力最强的实例 c6gn.16xlarge 上比较 Dragonfly 和 Redis,则与 Redis 单进程相比,Dragonfly 的吞吐量提高了 25 倍,超过 3.8M QPS。
Dragonfly 在峰值吞吐量下的第 99 个百分位数延迟指标:
| 操作 | 6g | 6gn | 7g |
|---|
| 放 | 0.8毫秒 | 1毫秒 | 1毫秒 |
| 得到 | 0.9毫秒 | 0.9毫秒 | 0.8毫秒 |
| 塞泰克斯 | 0.9毫秒 | 1.1毫秒 | 1.3毫秒 |
所有基准测试都是使用memtier_benchmark(见下文)根据每个服务器和实例类型调整的线程数来执行的。memtier在单独的 c6gn.16xlarge 机器上运行。我们将 SETEX 基准的到期时间设置为 500,以确保它能够在测试结束后继续存在。
memtier_benchmark --ratio ... -t -c 30 -n 200000 --distinct-client-seed -d 256 \
--expiry-range=...
在管道模式下--pipeline=30,Dragonfly 的SET 操作达到10M QPS ,GET 操作达到15M QPS。
Dragonfly 与 Memcached
我们在 AWS 上的 c6gn.16xlarge 实例上将 Dragonfly 与 Memcached 进行了比较。在延迟相当的情况下,Dragonfly 吞吐量在写入和读取工作负载方面均优于 Memcached 吞吐量。由于Memcached 中写入路径上的争用,Dragonfly 在写入工作负载中表现出更好的延迟。
设定基准
| 服务器 | QPS(千qps) | 延迟99% | 99.9% |
|---|
| 蜻蜓 | 🟩3844 | 🟩0.9 毫秒 | 🟩2.4 毫秒 |
| 内存缓存 | 806 | 1.6毫秒 | 3.2毫秒 |
获取基准测试
| 服务器 | QPS(千qps) | 延迟99% | 99.9% |
|---|
| 蜻蜓 | 🟩3717 | 1毫秒 | 2.4毫秒 |
| 内存缓存 | 2100 | 🟩0.34 毫秒 | 🟩0.6 毫秒 |
Memcached 在读取基准测试中表现出较低的延迟,但吞吐量也较低。
内存效率
为了测试内存效率,我们使用该命令向 Dragonfly 和 Redis 填充了约 5GB 的数据debug populate 5000000 key 1024,使用 发送更新流量memtier,并使用该命令启动快照bgsave。该图展示了每台服务器在内存效率方面的表现。

Dragonfly 在空闲状态下的内存效率比 Redis 高 30%,并且在快照阶段没有出现任何明显的内存使用增加。在高峰期,Redis 内存使用量增加到 Dragonfly 的近 3 倍。
蜻蜓更快地完成了快照,几秒钟之内。
有关 Dragonfly 内存效率的更多信息,请参阅我们的Dashtable 文档。
Dragonfly 由于其高性能和特性,适用于多种应用场景,特别是那些需要快速、可扩展的内存数据存储的场景。
以下是一些主要的应用场景:
1. 缓存系统:作为缓存系统,Dragonfly 可以用于存储频繁访问的数据,以减少数据库的负载,提高应用程序的响应速度。
2. 会话存储:在Web应用程序中,Dragonfly 可以用于存储用户会话信息,提供快速的会话访问,从而提升用户体验。
3. 消息队列缓冲区:Dragonfly 可以作为消息队列的缓冲区,存储和处理大量的实时数据,支持高并发的数据处理。
4. 实时分析:在需要实时分析的场景中,Dragonfly 可以用来存储和处理实时数据流,支持快速的数据检索和分析。
5. 推荐系统:Dragonfly 可以用于存储用户行为数据和物品信息,为推荐系统提供快速的数据访问,以生成个性化的推荐。
6. 高性能计算:在科学计算、金融建模等高性能计算场景中,Dragonfly 可以作为高速数据共享和存储的工具,提高计算效率。
7. 内容分发网络(CDN):Dragonfly 可以用于存储静态内容,如图片、视频等,作为CDN的一部分,提供全球快速的内容分发。
8. 游戏服务器:在游戏领域,Dragonfly 可以用于存储玩家状态、游戏进度等数据,支持高并发的游戏体验。
9. 物联网(IoT):Dragonfly 可以用于存储和管理来自物联网设备的实时数据,支持大规模的设备接入和数据处理。
10. 大数据和实时数据处理:Dragonfly 可以作为大数据应用中的内存数据存储,支持快速的数据处理和分析。
这些应用场景都有一个共同点,即需要快速、可靠的数据访问和存储,以及能够处理高并发和高吞吐量的能力。Dragonfly 的设计使其成为这些场景的理想选择。
Dragonfly 与 Redis 和 Memcached API 完全兼容,无需更改代码即可采用。与传统的内存数据存储相比,Dragonfly 的吞吐量提高了 25 倍,缓存命中率更高,尾部延迟更低,并且对于相同大小的工作负载,运行资源最多可减少 80%。
官网:https://www.dragonflydb.io/
镜像代码:
http://www.gitpp.com/wddc/dragonfly-cn
我们收集了10000+ 开源项目 点击
阅读原文