The rise of distributed applications and cloud computing has created a demand for scalable, high-performance key-value storage systems. This paper presents a performance evaluation of three prominent NoSQL key-value stores: Redis, Aerospike, and Dragonfly, using the Yahoo! Cloud Serving Benchmark (YCSB) framework. We conducted extensive experiments across three distinct workload patterns (read-heavy, write-heavy), and balanced while systematically varying client concurrency from 1 to 32 clients. Our evaluation methodology captures both latency, throughput, and memory characteristics under realistic operational conditions, providing insights into the performance trade-offs and scalability behaviour of each system
academic- 論文ID: 2510.08863
- タイトル: Comparative Performance Analysis of Modern NoSQL Data Technologies: Redis, Aerospike, and Dragonfly
- 著者: Deep Bodra(ハリスバーグ科学技術大学)、Sushil Khairnar(バージニア工科大学)
- 分類: cs.DB cs.DC
- 掲載誌: Journal of Research, Innovation and Technologies, Volume IV, Issue 2(8), 2025
- 論文リンク: https://doi.org/10.57017/jorit.v4.2(8).05
分散アプリケーションとクラウドコンピューティングの台頭に伴い、スケーラブルで高性能なキー値ストレージシステムの需要が急速に増加している。本論文では、Yahoo! Cloud Serving Benchmark(YCSB)フレームワークを使用して、3つの主要なNoSQLキー値ストレージシステム(Redis、Aerospike、Dragonfly)の性能評価を実施した。研究は3つの異なるワークロードパターン(読み取り集約型、書き込み集約型、バランス型)の下で広範な実験を行い、クライアント並行数を1から32に体系的に変化させた。評価手法は実際の運用条件下でレイテンシ、スループット、メモリ特性を捉え、各システムの性能トレードオフとスケーラビリティ動作に関する深い洞察を提供する。
- 最新アプリケーション要件の課題:最新のデジタル環境は大量のデータ生成と使用を伴い、Webアプリケーション、モバイル技術、IoTデバイスの急速な拡大がデータベースシステムに新たな課題をもたらしている
- 従来型データベースの限界:従来型リレーショナルデータベース管理システムは機能が豊富であるが、最新アプリケーションの性能とスケーラビリティ要件、特にミリ秒以下の応答時間と毎秒数百万の操作処理が必要なアプリケーションの要件を満たすのが困難である
- NoSQLデータベースの台頭:NoSQLデータベース、特にキー値ストレージは、性能とスケーラビリティを強調することでこれらの課題を克服している
- 実用的価値:システムアーキテクトが適切なキー値ストレージソリューションを選択する際の実用的なガイダンスを提供する
- 学術的価値:Redis、Aerospike、Dragonflyシステムの体系的な比較評価の空白を埋める
- 技術的価値:異なるワークロードパターンと並行レベルでの体系的評価を通じて、各システムの性能特性を明らかにする
これらのシステムは広く使用されているが、様々なワークロードパターンと並行レベル下での性能特性を体系的に評価する包括的な比較研究が不足している。
- 包括的な性能比較:レイテンシとスループット指標を含む完全な性能比較分析を提供する
- メモリ消費特性分析:3つのシステムのメモリ使用パターンと効率を深く分析する
- 複数ワークロード評価:読み取り集約型、書き込み集約型、バランス型の3つのワークロード下での体系的評価を実施する
- スケーラビリティ分析:1~32の並行クライアントテストを通じて各システムの拡張特性を明らかにする
- 実用的ガイダンス:システムアーキテクトが適切なキー値ストレージソリューションを選択する際の実際的なガイダンスを提供する
Redis:
- 2009年に開発されたオープンソースのインメモリデータ構造ストア
- シングルスレッドアーキテクチャ:複雑なロック機構を排除するが、マルチコアシステムのスケーラビリティを制限
- 複数のデータ構造をサポート:文字列、ハッシュ、リスト、セット、ソート済みセットなど
- 定期的なスナップショットまたはアペンドオンリーファイルによる永続化を実装
Aerospike:
- 2009年に設立された分散NoSQLデータベース
- ハイブリッドメモリアーキテクチャ:DRAMにインデックスを、SSDにデータを保存
- シェアードナッシング(無共有)アーキテクチャ:各ノードが独立して動作
- 強い一貫性と自動フェイルオーバー機能を提供
Dragonfly:
- 2022年にリリースされたインメモリデータストア、Redisの直接的な代替品
- マルチスレッド、シェアードナッシング(無共有)アーキテクチャ:複数のCPUコアを活用可能
- Redisプロトコルと互換性あり
- 複雑なメモリ管理とロックフリーデータ構造を実装
ハードウェア環境:
- システム:Apple M3 Proチップ搭載Mac OS
- 構成:12コア、36GB RAM、macOS Sequoia
- デプロイメント:一貫性と隔離された環境を確保するためDockerコンテナを使用
ベンチマークフレームワーク:
- Yahoo! Cloud Serving Benchmark(YCSB)を使用
- 2段階アプローチ:ロードフェーズで初期データを投入、実行フェーズでベンチマーク操作を実行
- 並行レベル:1、2、4、8、16、32クライアント
- キー選択分布:Zipfian分布、実際の不均一なアクセスパターンをシミュレート
読み取り集約型ワークロード:
- 95%読み取り、5%更新操作
- レコードあたり1KBのデータ(10フィールド、各100バイト)
- 1,474,560レコードをロード
- キャッシュシナリオ、コンテンツ配信システムなどをシミュレート
バランス型ワークロード:
- 50%読み取り、50%更新操作
- 同じ1KBレコード構造
- ソーシャルメディアプラットフォーム、協調アプリケーションなどの混合アクセスパターンを表現
書き込み集約型ワークロード:
- 10%読み取り、90%挿入操作
- 時系列データ、64フィールド、各フィールド8文字
- 実行フェーズで2,949,120回の挿入操作を実行
- IoTアプリケーション、監視システムなどの高スループットデータ取り込みシナリオをシミュレート
Aerospikeが最適な性能を発揮:
- P99レイテンシ:436ms(シングルクライアント)~2,979ms(32クライアント)
- スループット:3,348 ops/s~32,592 ops/s
- 性能優位性はハイブリッドメモリアーキテクチャとシェアードナッシング設計に由来
Redisは中程度の性能:
- P99レイテンシ:862ms~4,447ms
- スループット:1,656~17,158 ops/s
- シングルスレッドアーキテクチャが高並行下での性能ボトルネックになる
Dragonflyは最高レイテンシ:
- P99レイテンシ:1,137ms~4,883ms
- スループット:1,371~16,328 ops/s
- マルチスレッド調整オーバーヘッドが並列処理の利点を相殺
性能階層は一貫性を保持:
- Aerospike:P99レイテンシ441ms~2,409ms、スループット3,372~33,741 ops/s
- Redis:P99レイテンシ874ms~4,017ms、スループット1,664~17,004 ops/s
- Dragonfly:P99レイテンシ1,187ms~4,631ms、スループット1,278~16,497 ops/s
すべてのシステムが最高性能を発揮:
- Aerospike:P99レイテンシ410ms~2,233ms、スループット3,562~34,896 ops/s
- Redis:P99レイテンシ808ms~3,547ms、スループット1,757~17,170 ops/s
- Dragonfly:P99レイテンシ1,124ms~3,859ms、スループット1,331~16,925 ops/s
| システム | 実行前(MB) | 実行後(MB) | 増加倍数 |
|---|
| Redis | 36.32 | 2610 | 72倍 |
| Aerospike | 232.1 | 772.3 | 3.3倍 |
| Dragonfly | 58.98 | 2350 | 40倍 |
主要な発見:
- Aerospikeのメモリ効率が最高、ハイブリッドストレージモデルの利点
- Redisのメモリオーバーヘッドが最大、シングルノードインメモリストレージの限界を反映
- Dragonflyは両者の中間、マルチスレッド調整構造が追加オーバーヘッドをもたらす
スループット拡張特性:
- Aerospike:ほぼ線形拡張、9~10倍の向上
- Redis:10~11倍の向上、ただしレイテンシ増加がより顕著
- Dragonfly:12~13倍の向上、ベースライン性能が低い
論文は複数の関連研究を引用している:
- ベンチマークフレームワーク:Cooper et al.(2010)のYCSBフレームワークがクラウドサービスシステムのベンチマーク基礎を確立
- NoSQL比較研究:AnthonyとRaoによるキー値ストレージの実証的比較
- システム固有研究:Volminger(2021)のAerospike研究、CharanらによるRedis分析
- 最新の発展:Mohan et al.(2024)のOLAPワークロードNoSQL評価
- Aerospikeが総合的に優位:すべてのワークロードと並行レベルで最適な性能を発揮、最高のスループット拡張性と比較的低いレイテンシを実現
- Redisは安定で信頼性が高い:すべてのワークロードパターンで安定した予測可能な性能を発揮、ただしシングルスレッドアーキテクチャにより制限
- Dragonflyは可能性と課題が共存:設計は最新的だが、レイテンシ性能が不十分、書き込み集約型シナリオで可能性を示す
- ワークロードの影響は顕著:すべてのデータベースが書き込み集約型条件下で最高性能を発揮
- 最大性能が必要:Aerospikeを選択
- 運用の単純性を優先:Redisで十分な要件を満たす
- Redis互換性が必要:Dragonflyは興味深い選択肢だが、レイテンシに敏感なアプリケーションの場合は慎重に評価が必要
- シングルマシンテスト環境:すべてのテストが単一マシン上で実施され、分散システムの利点を十分に体現できていない
- 限定的なネットワーク条件:ネットワークレイテンシとパーティションが性能に与える影響を考慮していない
- 単一のデータ分布:Zipfian分布のみを使用、実際のアプリケーションは異なるパターンを持つ可能性がある
- クラスタモード欠落:真の分散デプロイメントシナリオをテストしていない
- 本番環境テスト:実際の本番条件下でシステム性能を評価
- 分散シナリオ:クラスタモード下での真の分散スケーラビリティをテスト
- 一貫性モデル研究:CAP定理が各システム設計に与える影響
- フォールトトレランスメカニズム:ノード障害時の容错メカニズム評価
- クロスデータセンターレプリケーション:ネットワークパーティション下でのデータ一貫性とレプリケーション遅延
- 方法論の厳密性:標準YCSBフレームワークを使用して公平な比較を確保
- 実験の包括性:複数のワークロードと並行レベルをカバー
- 分析の深さ:性能データを提供するだけでなく、アーキテクチャ上の原因を深く分析
- 実用的価値が高い:実際のシステム選択に明確なガイダンスを提供
- 文章が明確:構造が合理的で、技術説明が正確
- 環境の限界:シングルマシンDocker環境では分散システムの利点を十分に展現できない
- 構成が単一:異なる構成パラメータが性能に与える影響をテストしていない
- 永続化が欠落:永続化メカニズムが性能に与える影響を詳細に評価していない
- コスト分析が欠落:ハードウェアコストと運用の複雑さを考慮していない
- 長期安定性が欠落:長時間実行による安定性テストが不足
- 学術的価値:NoSQLデータベース性能研究に体系的な方法論を提供
- 実用的価値:業界がキー値ストレージシステムを選択する際の参考を提供
- 方法論への貢献:NoSQLシステム性能を体系的に比較する方法を示す
- 再現性:実験設定の説明が詳細で、再現と拡張が容易
- システム選定:キー値ストレージシステムの選択が必要なプロジェクトへの参考
- 性能最適化:既存システムの性能チューニングのためのベンチマーク
- アーキテクチャ設計:大規模分散システムアーキテクチャ設計の根拠
- 学術研究:関連分野の研究に対する基礎データと方法論の参考
論文は複数の重要な参考文献を引用している:
- Cooper, B.F. et al. (2010). Benchmarking cloud serving systems with YCSB
- Anthony, A., & Rao, Y. N. M. Memcached、Redis、Aerospike キー値ストア実証的比較
- Mohan, R. K. et al. (2024). OLAPワークロード用NoSQLデータベースの評価
- および各データベースシステムの公式ドキュメントと技術資料
本論文はNoSQLデータベース性能評価分野に価値ある貢献を提供し、体系的な実験設計と深い分析を通じて、最新のキー値ストレージシステムの性能特性を理解し、適切な技術方案を選択するための重要な参考を提供している。