Redis-Cluster

funktional

Redis Cluster, ElastiCache-Cluster-Modus und MemoryDB: Slot-Routing, eine Knotenkarte für unerreichbare Knotenadressen, pro-Knoten-SSH-Weiterleitungen und Topologie.

SQLLY verbindet sich mit Redis Cluster, selbst gehosteten Clustern, Amazon ElastiCache im Cluster-Modus und Amazon MemoryDB – und leitet jeden Befehl an den Knoten weiter, dem der Hash-Slot seines Schlüssels gehört. Wenn der Cluster einen Slot verschiebt (ein Failover oder ein Reshard), folgt der Client der MOVED oder ASK antwortet, aktualisiert seine Slot-Karte und sagt dir, wie viele Umleitungen ein Skript gesehen hat. Der Schlüssel-Browser, der Speicheranalysator, Massenaktionen, der Profiler und der Pub/Sub-Viewer funktionieren über alle Master hinweg.

Verbindung wird hergestellt

Erstelle wie gewohnt eine Redis-Verbindung. In Server kannst du mehrere Seed-Knoten, durch Kommas getrennt, angeben (10.0.0.1:7000, 10.0.0.2:7001); ein Eintrag ohne einen Port verwendet die Port Feld. Einfügen einer URL wie redis://user:[email protected]:7000,10.0.0.2:7001 behält jeden Host. Unter Clustermodus wählen:

  • Automatisch erkennen (Standard) - die erste Verbindung fragt den Server INFO cluster und merkt sich die Antwort, bis du beendest, sodass ein einzelner Server pro Sitzung genau eine zusätzliche Testanfrage kostet und sich sonst nichts ändert.
  • Einzelserver - nie nach Slot weiterleiten, selbst wenn der Server ein Cluster-Knoten ist.
  • Redis-Cluster - immer nach Slot weiterleiten.

Ein Cluster hat eine logische Datenbank, also lass Datenbank leer oder setze ihn auf 0. Für ElastiCache richtest du die Verbindung auf den Konfigurationsendpunkt des Clusters aus; MemoryDB ist immer ein Cluster.

Knotenkarte: wenn Knoten Adressen melden, die du nicht erreichen kannst

Cluster-Knoten teilen den Clients mit, wo sich die anderen Knoten befinden, und verwenden dafür die Adressen, mit denen sie zur Bekanntgabe konfiguriert wurden. Hinter NAT, einer Docker-Portzuordnung oder einer SSH-Bastion sind das oft private Adressen, die dieser Rechner nicht erreichen kann. Das Cluster-Knotenkarte Feld schreibt sie um: eine advertised host:port => dial host:port pro Zeile, zum Beispiel 10.0.0.5:7001 => 127.0.0.1:17001. Die angekündigte Adresse benennt weiterhin den Knoten (in der Slot-Zuordnung, bei Weiterleitungen und als TLS-Servername); nur der Socket geht an die Dial-Adresse.

SSH-Tunnel und Proxys erreichen jeden Knoten. Bei einer Verbindung mit SSH-Hops oder einem SOCKS/HTTP-Proxy öffnet SQLLY für jeden von den Clusterknoten benannten Knoten eine separate lokale Weiterleitung über dieselben Hops, sodass eine Knotenadresse, die nur die Bastion erreichen kann, weiterhin funktioniert. Die Knotenkarte wird zuerst angewendet, sodass sie auch umschreiben kann, was die Bastion wählt. Eine Kubernetes-Portweiterleitung trägt einen Dienstport, sodass nur der Seed-Knoten erreicht werden kann, und Verbindungen über eine Relay-Bridge unterstützen den Clustermodus derzeit nicht.

Was der Editor in einem Cluster ablehnt

Jeder Befehl wird abgelehnt, bevor er gesendet wird, mit einer Meldung, die die Regel nennt:

  • Multi-Key-Befehle über Slots - MGET, MSET, DEL mit mehreren Schlüsseln, SUNION, RENAME, EVAL mit mehreren Schlüsseln und Ähnliches laufen nur, wenn jeder Schlüssel auf denselben Slot abgebildet ist. Gib verwandten Schlüsseln ein gemeinsames Hash-Tag: user:{42}:profile und user:{42}:cart einen Slot teilen.
  • SELECT von allem außer 0 - Ein Cluster hat eine logische Datenbank.
  • KEYS und SCAN - KEYS würde jeden Master blockieren, und ein SCAN Cursor gehört zu einem Knoten. Benutze den Schlüsselbrowser, oder SQLLY.KEYS pattern [limit [cursor]], der jeden Master in Seiten durchläuft und einen Cursor zurückgibt, der über sie fortgesetzt wird.
  • MULTI / EXEC - jeder Befehl wird einzeln weitergeleitet, deshalb bleibt eine Transaktion aus dem Editor nicht an einem Knoten hängen.

Ausführen eines Befehls auf ausgewählten Knoten

Stelle einer Zeile voran SQLLY.ON und ein Ziel ein, um sie an die Knoten zu senden, die du auswählst, statt an den Knoten, dem ihr Schlüssel gehört. Das Ziel ist masters, replicas, allein Knoten host:port wie die Cluster-Topologie-Ansicht sie auflistet, oder mehrere davon, durch Kommas getrennt:

  • SQLLY.ON masters DBSIZE - eine Zeile pro Master mit seiner Schlüsselanzahl.
  • SQLLY.ON masters FLUSHALL - leert jeden Master (die Replikate folgen).
  • SQLLY.ON 10.0.0.4:7003 INFO replication - die eigene Antwort eines Replikats.
  • SQLLY.ON replicas DBSIZE - prüfe, dass jedes Replikat genauso viele Schlüssel enthält wie sein Master.

Die Zeile läuft auf jedem Knoten genau so, wie sie geschrieben ist, so wie redis-cli das Gleiche tut, nur ohne -c: es wird keine Weiterleitung befolgt, sodass ein Knoten, der einen Schlüssel nicht besitzt, antwortet MOVED, und die oben verweigerten Befehle (KEYS, SCAN) werden auf dem gewählten Knoten ausgeführt. Replikate werden umgeschaltet auf READONLY zuerst, damit sie Schlüssel-Lesevorgänge ausführen. Mehrere Knoten antworten in einem Raster mit Knoten und Rolle Spalten, und ein Knoten, der mit einem Fehler antwortet, erhält seine eigene Zeile; jeder Knoten wird verbunden, bevor der Befehl irgendwo ausgeführt wird, sodass ein nicht erreichbarer Knoten die Zeile stoppt, bevor irgendein Knoten sie ausgeführt hat. Das Präfix ändert nichts an der Sicherheit: Eine schreibgeschützte Verbindung lehnt immer noch SQLLY.ON masters FLUSHALL, und Schreib- und zerstörerische Befehle verlangen weiterhin eine Bestätigung. Wähle in der Cluster-Topologie-Ansicht einen Knoten aus und drücke Abfrage auf Knoten um einen Abfrage-Tab zu öffnen, der mit der Zeile dieses Knotens startet.

Wenn der Client während der Ausführung eines Skripts Weiterleitungen gefolgt ist, sagt das Nachrichtenfeld, wie viele (zum Beispiel nach einem Failover). Das ist normal, gleich nachdem der Cluster Slots verschoben hat; ein ständiger Strom von Weiterleitungen deutet auf ein laufendes Resharding hin.

Werkzeuge im gesamten Cluster

  • Schlüsselbrowser - listet nacheinander Schlüssel von jedem Master bis zu seinem üblichen Limit auf; wenn es früher stoppt, zeigt die Notizzeile, wie viele Schlüssel über wie viele Master hinweg gescannt wurden, und Mehr scannen fährt an dem Knoten weiter, an dem es aufgehört hat.
  • Speicheranalyse - die Stichprobe wird proportional zur Anzahl der Schlüssel jedes Masters zwischen ihnen aufgeteilt, und die Gesamtsumme wird über alle berechnet.
  • Massenlöschung - die übereinstimmenden Schlüssel werden nach Hash-Slot gruppiert, sodass jeder UNLINK Batch innerhalb eines Slots bleibt.
  • Profiler - läuft MONITOR auf allen Mastern gleichzeitig und vereint die Streams in einer Tabelle mit einem Knoten Spalte hinzu.
  • Pub/Sub-Viewer - Keyspace-Benachrichtigungen werden auf jedem Master abonniert (sie sind pro Knoten), normale Kanäle und Muster auf einem Master (ein Cluster liefert PUBLISH überall), und geshardete Kanäle - gib sie mit einem vorangestellten #, wie zum Beispiel #orders - auf dem Master, dem jeder Kanal gehört. Zeilen tragen eine Knoten Spalte. Sharded Channels funktionieren auch auf einem eigenständigen Redis-7-Server.

Cluster-Topologie

Klicke mit der rechten Maustaste auf eine Redis-Datenbank und wähle Werkzeuge › Cluster-Topologie…, Ausführen Redis-Cluster-Topologie… aus der Befehlspalette, oder nutze den Link im Server-Dashboard einer Cluster-Verbindung. Der Bereich erfasst jeden Knoten von CLUSTER SHARDS (oder CLUSTER NODES auf Servern vor Version 7.0): seine ID, Rolle, die Adresse, die er ankündigt, die Adresse, die SQLLY für ihn wählt, seinen angekündigten Hostnamen und den TLS-Servernamen, den der Client sendet, seine Slots, den Zustand, Replikations-Offset und Link-Status. Die Fußzeile zählt Master und Replikate, prüft, dass alle 16.384 Slots abgedeckt sind, und nennt jeden Knoten, der nicht gesund ist oder unter einer anderen Adresse kontaktiert wird als der, die er ankündigt.

Ablaufverfolgung führt dieselbe schrittweise Prüfung wie Test Connection für jeden Knoten aus: Namensauflösung, Tunnel oder Proxy (mit der Knotenzuordnung), TCP, TLS (geprüft gegen die Adresse, die der Knoten angibt), Anmeldung, Protokoll und Ping, Datenbank und CLUSTER INFO - eine Zeile pro Schritt, sodass die erste fehlgeschlagene Zeile dir sagt, was zu beheben ist: ein falscher Node-Map-Eintrag, ein blockierter Port, eine TLS-Namensabweichung, ein ACL-Problem oder ein Knoten, der keinen gesunden Cluster meldet. Beide Berichte gibt es auch als SQLLY.TOPOLOGY und SQLLY.TRACE in einem Abfrage-Tab; sie sind nur lesbar.