Встроенный поиск grep-ai

запланировано

Ищите по своей схеме и данным по смыслу, а не только по точным словам SQL, которые удалось вспомнить.

Искать можно не только по точному имени таблицы, которое вам удалось вспомнить, но и по идее, что у вас в голове. Семантический поиск находит нужную таблицу, столбец или процедуру по описанию — «где мы храним отменённые подписки», — вместо того чтобы требовать, чтобы ответ вы уже знали.

Почему обычного поиска недостаточно

Поиск по тексту не работает в обе стороны. Поищите customer в схеме, которая его вызывает party и вы ничего не получаете; поиск date и получаете четыреста столбцов. Ни один результат не говорит, где находится то, что вам нужно.

Как это работает: два поиска, объединённые в один

SQLly хранит локально в каталоге ваших объектов схемы и выполняет поиск по ним двумя способами одновременно:

  • Полнотекстовый поиск (BM25) - быстро, точно и отлично, когда вы вспоминаете слово. Эта половина уже сегодня обеспечивает работу поиска по схемам.
  • Векторное сходство - эмбеддинги описания каждого объекта, так что «отменённые подписки» могут совпасть с churn_events таблица, которая не содержит слов из вашего запроса.

Два набора оценок нельзя сравнивать напрямую: оценки BM25 и косинусное сходство живут в разных шкалах, поэтому каждая нормализуется отдельно, а затем смешивается, причём обе половины весят примерно одинаково. Каждый результат несёт раскладку своей оценки, так что подозрительное попадание можно объяснить, а не просто защищать.

Векторная половина — необязательная и локальная. Эмбеддинги создаёт тот провайдер, который вы настроили, — локальная модель через Ollama или MLX, а можно и вовсе без него. Без провайдера эмбеддингов поиск остаётся полнотекстовым и не превращается в угадывание: гибридный режим включается, только когда эмбеддинги действительно есть.

Поиск по данным, а не только по схеме

Тот же механизм указывает не только на имена, но и на значения — находя который таблица содержит вставленный вами загадочный идентификатор. Эту часть аккуратно ограничили по очевидной причине: сканировать данные ради поиска дорого, а делать это на продакшене без спроса было бы грубо.

Планируется. Каталог, полнотекстовый индекс, векторное хранилище и гибридное слияние готовы и протестированы; осталось — поисковый интерфейс в приложении и границы поиска по данным.