Pesquisa nativa grep-ai

planejado

Pesquise no esquema e nos dados pela intenção, não apenas pelas palavras SQL exatas de que você se lembra.

Você deveria poder buscar pela ideia na sua cabeça, e não só pelo nome exato da tabela de que você lembra. A busca semântica encontra a tabela, coluna ou rotina relevante a partir de uma descrição - «onde guardamos as assinaturas canceladas» - em vez de exigir que você já saiba a resposta.

Por que a pesquisa simples não é suficiente

A pesquisa de texto falha em ambas as direções. Pesquisar customer em um esquema que a chama party e você não encontra nada; pesquisar date e você obtém quatrocentas colunas. Nenhum resultado indica onde a coisa que você quer está localizada.

Como funciona: duas buscas, mescladas

O SQLly mantém um local catálogo dos seus objetos de esquema e os pesquisa de duas maneiras ao mesmo tempo:

  • Texto completo (BM25) - rápido, exato e excelente quando você lembra da palavra. Esta metade já alimenta a busca de esquema hoje.
  • Similaridade vetorial - embeddings da descrição de cada objeto, então «assinaturas canceladas» podem corresponder a uma churn_events tabela que não compartilha palavras com sua consulta.

Os dois conjuntos de pontuação não são comparáveis em bruto - as pontuações do BM25 e a similaridade de cosseno vivem em escalas diferentes, então cada uma é normalizada de forma independente e depois combinada, com as duas metades com pesos aproximadamente iguais. Cada resultado traz a decomposição da própria pontuação, então um resultado suspeito pode ser explicado em vez de defendido.

A metade vetorial é opcional e local. Os embeddings são produzidos pelo provedor que você configurou - um modelo no dispositivo via Ollama ou MLX, ou nenhum. Sem provedor de embeddings, a busca fica somente em texto completo em vez de virar chute: o híbrido só é acionado quando os embeddings realmente existem.

Pesquisa em dados, não apenas no esquema

A mesma mecânica aponta para valores além de nomes - encontrando qual a tabela contém um identificador misterioso que você colou. Essa parte é cuidadosamente limitada por uma razão óbvia: escanear dados para responder a uma pesquisa é caro, e fazê-lo em produção sem ser solicitado seria rude.

Planejado. O catálogo, o índice de texto completo, o armazenamento de vetores e a mesclagem híbrida já existem e são testados; falta a superfície de busca no aplicativo e os limites da busca em dados.