Redis Cluster

функциональный

Redis Cluster, режим кластера ElastiCache и MemoryDB: маршрутизация по слотам, карта узлов для адресов недоступных узлов, SSH-переадресация для каждого узла и топология.

SQLLY подключается к Redis Cluster, кластерам, развёрнутым самостоятельно, Amazon ElastiCache в режиме кластера и Amazon MemoryDB — и направляет каждую команду на узел, которому принадлежит хеш-слот её ключа. Когда кластер перемещает слот (при отказе или перешардировании), клиент следует за MOVED или ASK отвечает, обновляет карту слотов и сообщает, сколько перенаправлений увидел скрипт. Обозреватель ключей, анализатор памяти, массовые действия, профайлер и просмотрщик Pub/Sub работают на всех мастер-узлах.

Подключение

Создайте подключение к Redis как обычно. В Сервер вы можете указать несколько исходных узлов, через запятую (10.0.0.1:7000, 10.0.0.2:7001); запись без порта использует Порт поле. Вставка URL, такого как redis://user:[email protected]:7000,10.0.0.2:7001 сохраняет каждый хост. Под Режим кластера выбрать:

  • Определить автоматически (по умолчанию) - первое подключение спрашивает сервер INFO cluster и запоминает ответ до выхода из приложения, так что один сервер обходится в один дополнительный зонд за сессию, и больше ничего не меняется.
  • Одиночный сервер - никогда не маршрутизировать по слоту, даже если сервер является узлом кластера.
  • Redis Cluster - всегда маршрутизировать по слоту.

У кластера есть одна логическая база данных, поэтому оставьте База данных оставьте пустым или поставьте 0. Для ElastiCache направьте подключение на конфигурационный эндпоинт кластера; MemoryDB — всегда кластер.

Карта узлов: когда узлы объявляют адреса, по которым вы не можете подключиться

Узлы кластера сообщают клиентам, где находятся остальные узлы, — по адресам, которые им задано объявлять. За NAT, пробросом портов Docker или SSH-бастионом это часто приватные адреса, до которых эта машина не может дотянуться. Поле Карта узлов кластера поле переписывает их: одно advertised host:port => dial host:port по строке, например 10.0.0.5:7001 => 127.0.0.1:17001. Объявляемый адрес продолжает называть узел (в карте слотов, в перенаправлениях и как имя сервера TLS); только сокет подключается к адресу подключения.

SSH-туннели и прокси добираются до каждого узла. При подключении через SSH-переходы или SOCKS/HTTP-прокси SQLLY открывает отдельную локальную переадресацию для каждого узла, который объявляет кластер, через те же переходы, так что работает и адрес узла, доступный только с бастиона. Карта узлов применяется первой, поэтому она может переписать и то, куда обращается бастион. Проброс портов Kubernetes переносит один порт службы, поэтому достать можно только до seed-узла, а подключения через релейный мост пока не поддерживают режим кластера.

Что редактор отклоняет на кластере

Каждая команда отклоняется до отправки с сообщением, которое называет правило:

  • Команды с несколькими ключами в разных слотах - MGET, MSET, DEL с несколькими ключами, SUNION, RENAME, EVAL с несколькими ключами и т.п. выполняются, только когда каждый ключ попадает в один и тот же слот. Дайте связанным ключам общий хэш-тег: user:{42}:profile и user:{42}:cart поделиться слотом.
  • SELECT всего, кроме 0 - у кластера есть одна логическая база данных.
  • KEYS и SCAN - KEYS блокировал бы каждый мастер, и SCAN курсор принадлежит одному узлу. Используйте обозреватель ключей или SQLLY.KEYS pattern [limit [cursor]], который обходит каждого мастера постранично и возвращает курсор, позволяющий продолжить обход.
  • MULTI / EXEC - каждая команда маршрутизируется отдельно, поэтому транзакция не может оставаться на одном узле из редактора.

Выполнение команды на выбранных узлах

Начните строку с SQLLY.ON и цель, чтобы отправить её на выбранные вами узлы вместо узла, который владеет её ключом. Цель — masters, replicas, all, адрес узла в виде host:port как его показывает вид «Топология кластера», или несколько таких через запятую:

  • SQLLY.ON masters DBSIZE - одна строка на каждый мастер с подсчетом его ключей.
  • SQLLY.ON masters FLUSHALL - очищает каждый мастер (реплики следуют за ним).
  • SQLLY.ON 10.0.0.4:7003 INFO replication - ответ одной реплики.
  • SQLLY.ON replicas DBSIZE - проверьте, что каждая реплика содержит столько же ключей, сколько её мастер.

Строка выполняется на каждом узле ровно в том виде, в каком введена, — точно так же, как redis-cli делает без -c: перенаправление не выполняется, поэтому узел, у которого нет ключа, отвечает MOVED, а команды, отклонённые выше (KEYS, SCAN), выполняются на выбранном узле. Реплики переключаются на READONLY сначала, чтобы они обслуживали чтение ключей. Несколько узлов отвечают в одной сетке с узел и роль столбцами, и узел, ответивший ошибкой, получает собственную строку; каждый узел подключается до того, как команда где-либо выполнится, поэтому недоступный узел останавливает строку раньше, чем любой узел успеет её выполнить. С точки зрения безопасности префикс ничего не меняет: соединение только для чтения по-прежнему откажет SQLLY.ON masters FLUSHALL, а операции записи и деструктивные команды по-прежнему требуют подтверждения. В топологии кластера выберите узел и нажмите Запрос на узле чтобы открыть вкладку запроса, начинающуюся со строки этого узла.

Когда клиент следовал за перенаправлениями во время выполнения скрипта, панель сообщений показывает, сколько их было (например, после переключения на резервный сервер). Это нормально сразу после того, как кластер перемещает слоты; постоянный поток перенаправлений указывает на выполняющееся перераспределение.

Инструменты по всему кластеру

  • Обозреватель ключей - перебирает ключи всех мастеров по очереди в рамках своего обычного лимита; если останавливается раньше, в строке-примечании сказано, сколько ключей просканировано и на скольких мастерах, а Сканировать ещё продолжается на узле, где остановился.
  • Анализатор памяти - выборка делится между мастерами пропорционально количеству ключей у каждого, а общее количество суммируется по ним.
  • Массовое удаление - совпавшие ключи группируются по хэш-слотам, так что каждый UNLINK пакет остаётся внутри одного слота.
  • Профайлер - выполняется MONITOR на каждом мастере одновременно и объединяет потоки в одну таблицу с узел столбце.
  • Просмотрщик Pub/Sub - keyspace-уведомления подписываются на каждом мастере (они действуют на уровне узла), обычные каналы и шаблоны — на одном мастере (кластер доставляет PUBLISH везде), а шардированные каналы вводятся с префиксом #, такие как #orders - на мастере, которому принадлежит каждый канал. Строки содержат узел столбец. Шардированные каналы также работают на отдельном сервере Redis 7.

Топология кластера

Щёлкните правой кнопкой мыши по базе данных Redis и выберите Инструменты › Топология кластера…, выполните Топология кластера Redis… из палитры команд или используйте ссылку на панели управления сервером при подключении к кластеру. В панели перечислены все узлы из CLUSTER SHARDS (или CLUSTER NODES на серверах до версии 7.0): его идентификатор, роль, объявляемый им адрес, адрес, по которому SQLLY к нему подключается, объявленное имя хоста и имя TLS-сервера, которое отправляет клиент, его слоты, работоспособность, смещение репликации и состояние связи. В строке внизу подсчитаны мастера и реплики, проверено, что покрыты все 16 384 слота, и перечислены узлы, которые нездоровы или подключаются не по тому адресу, который объявляют.

Трассировка выполняет ту же пошаговую проверку, что и Проверка соединения, для каждого узла: поиск по имени, туннель или прокси (с картой узлов), TCP, TLS (проверяется по адресу, который анонсирует узел), вход, протокол и ping, база данных, а также CLUSTER INFO - одна строка на шаг, поэтому первая строка с ошибкой показывает, что нужно исправить: неправильная запись в карте узлов, заблокированный порт, несоответствие имени TLS, проблема с ACL или узел, который не сообщает о здоровом кластере. Оба отчета также доступны SQLLY.TOPOLOGY и SQLLY.TRACE во вкладке запроса; они только читают.