ネイティブ grep-ai 検索

予定

正確な SQL の語句を思い出せなくても、意図からスキーマとデータを検索できます。

頭の中にあるアイデアで検索できてしかるべきです。手がかりは、たまたま思い出せた正確なテーブル名だけではありません。セマンティック検索なら、「解約済みのサブスクリプションはどこに保存している?」のような説明から、関連するテーブル、列、ルーチンを見つけられます。あらかじめ答えを知っている必要はありません。

通常の検索では不十分な理由

テキスト検索はどちらの方向でも失敗します。検索 customer それを呼び出すスキーマ内で party 、何も見つかりません。検索 date そして400列が返ってきます。どちらの結果も、欲しいものがどこにあるかは教えてくれません。

仕組み: 2 つの検索を統合

SQLly は、ローカルの カタログ スキーマオブジェクトを取り込み、2 つの方法で同時に検索します:

  • 全文検索 (BM25) - 言葉を思い出せているときは、高速かつ正確で、申し分ありません。この半分は、すでに今日のスキーマ検索を支えています。
  • ベクトル類似度 - 各オブジェクトの説明の埋め込みベクトル。これにより「解約済みサブスクリプション」という言葉でも、次の churn_events クエリと共通する単語がないテーブル。

2 つのスコアセットは、そのままでは比較できません。BM25 スコアとコサイン類似度は尺度が異なるため、それぞれを独立して正規化してから混ぜ合わせ、2 つの半分をほぼ同じ重みにします。各結果にはスコアの内訳が付いているので、疑わしいヒットは、弁明するのではなく説明できます。

ベクトルの部分はオプションで、ローカルで動作します。 埋め込みは、設定したプロバイダーによって生成されます。Ollama や MLX 経由のオンデバイスモデルを使うか、まったく使わないかです。埋め込みプロバイダーがない場合、検索は当て推量に劣化するのではなく、全文検索のみにとどまります。ハイブリッド検索は、埋め込みが実際に存在する場合にのみ有効になります。

スキーマだけでなくデータも検索

同じ仕組みは、名前だけでなく値も対象にします。見つけるのは これにより テーブルに、貼り付けた正体不明の識別子が含まれているかどうか。この部分は、当然の理由で慎重に範囲が制限されています。検索に答えるためにデータをスキャンするのはコストが高く、本番環境に対して頼まれてもいないのにそれを行うのは失礼だからです。

計画中です。カタログ、全文インデックス、ベクトルストア、ハイブリッドマージは構築・テスト済みで、残っているのはアプリ内の検索画面とデータ検索の上限です。