Diagonal Scaling: A Multi-Dimensional Resource Model and Optimization Framework for Distributed Databases
Abdullah, Zaman
Modern cloud databases present scaling as a binary decision: scale-out by adding nodes or scale-up by increasing per-node resources. This one-dimensional view is limiting because database performance, cost, and coordination overhead emerge from the joint interaction of horizontal elasticity and per-node CPU, memory, network bandwidth, and storage IOPS. As a result, systems often overreact to load spikes, underreact to memory pressure, or oscillate between suboptimal states. We introduce the Scaling Plane, a two-dimensional model in which each distributed database configuration is represented as a point (H, V), with H denoting node count and V a vector of resources. Over this plane, we define smooth approximations of latency, throughput, coordination overhead, and monetary cost, providing a unified view of performance trade-offs. We show analytically and empirically that optimal scaling trajectories frequently lie along diagonal paths: sequences of joint horizontal and vertical adjustments that simultaneously exploit cluster parallelism and per-node improvements. To compute such actions, we propose DIAGONALSCALE, a discrete local-search algorithm that evaluates horizontal, vertical, and diagonal moves in the Scaling Plane and selects the configuration minimizing a multi-objective function subject to SLA constraints. Using synthetic surfaces, microbenchmarks, and experiments on distributed SQL and KV systems, we demonstrate that diagonal scaling reduces p95 latency by up to 40 percent, lowers cost-per-query by up to 37 percent, and reduces rebalancing by 2 to 5 times compared to horizontal-only and vertical-only autoscaling. Our results highlight the need for multi-dimensional scaling models and provide a foundation for next-generation autoscaling in cloud database systems.
academic
Diagonale Skalierung: Ein mehrdimensionales Ressourcenmodell und Optimierungsrahmen für verteilte Datenbanken
Moderne Cloud-Datenbanken betrachten Skalierung als binäre Entscheidung: horizontale Skalierung (Scale-out) durch Hinzufügen von Knoten oder vertikale Skalierung (Scale-up) durch Erhöhung der Ressourcen einzelner Knoten. Diese eindimensionale Perspektive hat Grenzen, da die Datenbankleistung, Kosten und Koordinationsaufwand aus der gemeinsamen Wechselwirkung zwischen horizontaler Elastizität und CPU, Speicher, Netzwerkbandbreite und Speicher-IOPS einzelner Knoten resultieren. Dies führt dazu, dass Systeme häufig überreagieren auf Lastspitzen, unterreagieren auf Speicherdruck oder zwischen suboptimalen Zuständen oszillieren.
Dieser Artikel führt die Skalierungsebene (Scaling Plane) ein, ein zweidimensionales Modell, in dem jede verteilte Datenbankkonfiguration als Punkt (H, V) dargestellt wird, wobei H die Anzahl der Knoten und V ein Ressourcenvektor ist. Auf dieser Ebene definieren die Autoren glatte Approximationen für Latenz, Durchsatz, Koordinationsaufwand und monetäre Kosten und bieten eine einheitliche Sicht auf Leistungskompromisse. Die Forschung zeigt, dass optimale Skalierungstrajektorien typischerweise diagonalen Pfaden folgen: kombinierte horizontal-vertikale Anpassungssequenzen, die sowohl Cluster-Parallelität als auch Verbesserungen einzelner Knoten nutzen. Zu diesem Zweck präsentieren die Autoren den DIAGONALSCALE-Algorithmus, einen diskreten lokalen Suchalgorithmus, der horizontale, vertikale und diagonale Bewegungen auf der Skalierungsebene bewertet und unter SLA-Beschränkungen die Konfiguration auswählt, die eine Multi-Objective-Funktion minimiert.
Experimente zeigen, dass diagonale Skalierung im Vergleich zu reiner horizontaler oder vertikaler automatischer Skalierung die p95-Latenz um bis zu 40% reduzieren, die Kosten pro Abfrage um bis zu 37% senken und die Umverteilung um das 2-5-fache reduzieren kann.
Das Skalierungsentscheidungsdilemma moderner verteilter Datenbanken:
Grenzen der binären Wahl: Traditionelle Ansätze behandeln horizontale Skalierung (Knoten hinzufügen) und vertikale Skalierung (Ressourcen erhöhen) als unabhängige Entscheidungen
Systemverhaltensprobleme: Unangemessene Reaktion auf Laständerungen führt zu Überprovisioning, SLA-Verstößen oder häufigen destruktiven Umverteilungen
Fehlende einheitliche Sicht: Kein umfassendes Modell zum Verständnis der mehrdimensionalen Wechselwirkungen zwischen Leistung, Kosten und Koordinationsaufwand
Die Autoren beobachteten: Viele Arbeitslasten profitieren von koordinierten statt unabhängigen horizontalen und vertikalen Ressourcenabstimmungen. Dies veranlasste sie, ein einheitliches mehrdimensionales Skalierungsmodell zu konstruieren und einen Algorithmus zu entwickeln, der in diesem Raum optimieren kann.
Skalierungsebenen-Modell (Scaling Plane Model): Neue zweidimensionale Abstraktion für elastische Datenbankkonfigurationen, die Konfigurationen als (H, V)-Punkte darstellt, wobei H die Anzahl der Knoten und V der Ressourcenvektor ist
Analytische Leistungsflächen (Analytical Performance Surfaces): Abgeleitete geschlossene Modelle für Latenz, Durchsatz, Kosten und Koordinationsaufwand, die die geometrische Struktur dieser Metriken auf der H-V-Ebene offenbaren
DIAGONALSCALE-Algorithmus: Entwickelter diskreter Optimierungsalgorithmus, der lokale Nachbarschaften in der H-V-Ebene bewertet und horizontale, vertikale und diagonale Bewegungen unterstützt
Theoretische Garantien: Beweisskizzen für monotone Verbesserung, Konvergenz zu lokalem Optimum und Stabilität
Umfassende Bewertung: Durch synthetische Flächen, Mikro-Benchmarks und Experimente mit verteilten SQL/KV-Systemen demonstriert, dass diagonale Skalierung Vorteile bietet:
Schlüsselfeststellung: Das Minimum von F liegt selten auf achsenausgerichteten Kanten (reine Scale-up oder reine Scale-out). Stattdessen liegt das Minimum im Inneren der Ebene, entlang einer diagonalen Trajektorie.
wobei sowohl H als auch V mit t zunehmen. Setze Steigung m = dH/d||V||.
Gradient-Ausrichtungs-Bedingung:
Der Gradient der Zielfunktion:
∇F = (∂F/∂H, ∂F/∂||V||)
Das lokale Optimum entlang der Trajektorie-Richtung (1, m) erfüllt:
∇F(H*, V*) · (1, m*) = 0
Daher ist die optimale diagonale Richtung (1, m*) mit -∇F ausgerichtet.
Lemma 1 (Achsenausgerichtete Skalierung ist selten optimal):
Wenn ∂F/∂H ≠ 0 und ∂F/∂||V|| ≠ 0, dann ist die optimale Richtung weder horizontal noch vertikal.
Beweisskizze: Wenn die optimale Skalierung horizontal ist, ist der Richtungsvektor (1, 0). Aber:
∇F · (1, 0) = ∂F/∂H ≠ 0
Widerspruch. Vertikale Skalierung analog. Daher ist diagonale Skalierung erforderlich. □
Proposition (Existenz innerer Minima):
Wenn L in V abnimmt und in H zunimmt, C in beiden zunimmt, K in H zunimmt aber in V abnimmt, dann hat F mindestens einen inneren stationären Punkt (H*, V*).
Daher Zeitkomplexität pro Skalierungsentscheidung: O(|N|) = O(1)
Konvergenz-Theorem:
Wenn die Zielauswertung exakt ist und der Raum endlich ist (endliches H und endliche Instanztypen), konvergiert DIAGONALSCALE zu einem lokalen Minimum.
Obwohl das Papier keine formalen Ablations-Experimente auflistet, führt der Vergleich der drei Strategien (H-only, V-only, Diagonal) implizit Ablationen durch:
Ohne diagonale Bewegung (H-only + V-only): Signifikante Leistungsverschlechterung
Ohne Stabilitäts-Strafe: Führt zu häufigeren Oszillationen (kontrolliert durch δ-Parameter)
Unterschiedliche Nachbarschaftsgrößen: 8-Nachbarn-Konfiguration balanciert Erkundung und Rechenlast