Redis 叢集

功能性的

Redis Cluster、ElastiCache 叢集模式與 MemoryDB:槽位路由、顯示無法連線節點位址的節點地圖、每個節點的 SSH 轉發,以及拓撲檢視。

SQLLY 可連線 Redis Cluster、自行託管的叢集、叢集模式的 Amazon ElastiCache 與 Amazon MemoryDB - 並將每個命令路由到持有其鍵值雜湊槽的節點。當叢集移動槽位(容錯移轉或重新分片)時,用戶端會跟隨 MOVED 或 ASK 回覆、更新其槽位對應,並告訴你腳本遇到多少次重新導向。鍵瀏覽器、記憶體分析器、大量操作、分析器以及 Pub/Sub 檢視器都能在每個主節點上運作。

連線中

像平常一樣建立 Redis 連線。在 伺服器 你可以用逗號分隔,列出多個種子節點(10.0.0.1:7000, 10.0.0.2:7001);沒有寫連接埠的項目會使用 連接埠 欄位。貼上像是 redis://user:[email protected]:7000,10.0.0.2:7001 保留每個主機。在 叢集模式 選擇:

  • 自動偵測 (預設)——第一次連線會詢問伺服器 INFO cluster 並把答案記到離開程式為止,所以單一伺服器在每個工作階段只多付出一次探測的代價,其他一切照舊。
  • 單一伺服器 - 一律不依槽位路由,即使伺服器是叢集節點也一樣。
  • Redis 叢集 - 一律依槽位路由。

叢集只有一個邏輯資料庫,所以讓 資料庫 留空或設為 0。ElastiCache 請把連線指向叢集的設定端點;MemoryDB 則一定是叢集。

節點地圖:當節點通告了你無法連上的位址時

叢集節點會用它們被設定公告的位址,告訴客戶端其他節點在哪裡。在 NAT、Docker 連接埠對應或 SSH 跳板後方,這些通常是這台機器連不上的私有位址。 叢集節點對應 欄位會把它們改寫:每一行一條 advertised host:port => dial host:port 每行一個,例如 10.0.0.5:7001 => 127.0.0.1:17001。對外通告的位址仍舊指向該節點(在槽對應裡、在重新導向裡,以及作為 TLS 伺服器名稱);只有通訊端會連到撥接位址。

SSH 通道和代理都連得到每個節點。 在有 SSH 躍點或 SOCKS/HTTP 代理伺服器的連線上,SQLLY 會為叢集列出的每個節點開一條獨立的本機轉發,並走同樣的躍點,所以只有堡壘主機能存取的節點位址照樣能用。節點對應會先套用,因此連堡壘主機撥打的目標位址也能改寫。Kubernetes 的 port-forward 只帶得動一個服務連接埠,所以只能到達種子節點;透過中繼橋接器的連線也還不支援叢集模式。

叢集上編輯器會拒絕的操作

每個命令在送出前就會被拒絕,並顯示訊息指出是哪條規則:

  • 跨槽位的多鍵命令 - MGET, MSET, DEL 包含多個鍵, SUNION, RENAME, EVAL 包含多個鍵等操作僅在每個鍵對應到相同槽位時才會執行。給相關的鍵設定共用的雜湊標籤: user:{42}:profile 和 user:{42}:cart 共用同一個槽位。
  • SELECT 到 0 以外的任何值 - 一個叢集只有一個邏輯資料庫。
  • KEYS 和 SCAN - KEYS 會封鎖每個主節點,而一個 SCAN 游標只屬於單一節點。請使用鍵瀏覽器,或 SQLLY.KEYS pattern [limit [cursor]],它會逐頁走訪每個主節點,並傳回可在節點之間接續的游標。
  • MULTI / EXEC - 每個命令單獨路由,因此從編輯器發出的交易無法固定停留在單一節點上。

在選定的節點上執行命令

在行首加上 SQLLY.ON 以及一個目標,可以把它送到你挑選的節點,而不是持有該鍵的節點。目標是 masters, replicas, all,一個節點的 host:port 以叢集拓撲檢視列出的形式,或多個以逗號分隔:

  • SQLLY.ON masters DBSIZE - 每個主節點一列,顯示其鍵數。
  • SQLLY.ON masters FLUSHALL - 清空每個主節點(副本會跟進)。
  • SQLLY.ON 10.0.0.4:7003 INFO replication - 一個副本自己的回應。
  • SQLLY.ON replicas DBSIZE - 檢查每個副本持有的鍵數是否與其主節點相同。

這一行會完全按照輸入的原樣在每個節點上執行,就像 redis-cli 一樣,不會有 -c:不會跟隨重新導向,因此不持有該鍵的節點會回應 MOVED,而上面拒絕的命令(KEYS, SCAN)會在所選節點上執行。複本會切換為 READONLY ,讓它們分擔鍵的讀取。多個節點會在同一個網格中回答,並附有 節點 和 角色 欄位,而回傳錯誤的節點會獨占一列;命令在任何節點執行前,每個節點都必須先連線,因此連不上的節點會讓整批命令在任何節點執行前就中止。前綴不影響安全性:唯讀連線仍然拒絕 SQLLY.ON masters FLUSHALL,而且寫入和具破壞性的命令仍會要求確認。在叢集拓撲檢視中,選一個節點再按 在節點上查詢 來開啟一個從該節點那一行開始的查詢分頁。

當用戶端在腳本執行期間跟隨重新導向時,訊息窗格會顯示次數(例如容錯移轉之後)。叢集剛搬移槽位後這是正常現象;持續不斷的重新導向則代表重新分片正在進行。

整個叢集的工具

  • 鍵瀏覽器 - 逐一輪流列出每個主節點的鍵,直到達到一貫的配額;若提前停止,備註列會說明它在幾個主節點上掃描了多少鍵,並且 掃描更多 會從它停止的節點繼續。
  • 記憶體分析器 - 抽樣會按各主節點的鍵數量比例分配,總計則把所有主節點加總。
  • 大量刪除 - 符合的鍵會按雜湊槽進行分組,因此每個 UNLINK 批次都留在同一個槽位內。
  • 分析器 - 會在每個主節點上同時執行 MONITOR 於每個主節點上同時執行,並把資料流合併成一個資料表,其中有 節點 欄位。
  • Pub/Sub 檢視器 - 鍵空間通知會在每個主節點上訂閱(它們是每個節點各自的),一般頻道與模式則只在一個主節點上訂閱(叢集會 PUBLISH 各處),以及分片頻道 - 輸入時請加上開頭的 #,例如 #orders - 位於擁有各頻道的主節點上。每一列會帶有 節點 欄位。分片頻道在獨立的 Redis 7 伺服器上也能運作。

叢集拓撲

右鍵點擊 Redis 資料庫並選擇 工具 › 叢集拓撲…,執行 Redis 叢集拓撲… 從命令面板開啟,或使用叢集連線的伺服器儀表板上的連結。此窗格會列出每個節點,來源為 CLUSTER SHARDS (或者 CLUSTER NODES (舊版伺服器 7.0 之前):其 ID、角色、它對外公告的位址、SQLLY 實際用來連線的位址、它公告的主機名稱與用戶端送出的 TLS 伺服器名稱、它的槽位、健康狀態、複寫偏移量與連結狀態。頁腳會統計主節點與複本的數量,檢查 16,384 個槽位是否全部被涵蓋,並點出不健康、或被以不同於其公告位址來連線的節點。

追蹤 對每個節點執行與「測試連線」相同的逐步檢查:名稱解析、通道或代理(使用節點對應表)、TCP、TLS(以節點公告的位址驗證)、登入、通訊協定與 ping、資料庫,以及 CLUSTER INFO - 每個步驟一列,因此第一個失敗的列會告訴你該修什麼:節點對應表項目錯誤、連接埠被封鎖、TLS 名稱不符、ACL 問題,或是節點未回報叢集健康。這兩份報告也另外提供 SQLLY.TOPOLOGY 和 SQLLY.TRACE 在查詢分頁中;它們只能讀取。