ベクトル検索データベースのWeaviate、LLMの関数呼び出し機能を導入—SQL依存を排除しデータベース検索の精度と効率を向上

Weaviateの研究チームは、LLM（大規模言語モデル）のデータベース検索精度と効率を向上させる新手法 として、SQLに依存しない関数呼び出し（Function Calling）機能を発表しました。従来のLLMを活用したデータベース検索は、自然言語をSQLに変換する手法が主流でしたが、SQLの構文の違いや複雑なクエリへの対応に課題がありました。今回の研究では、SQLを介さずにLLMがデータベースを直接操作できる APIベースのアプローチ を提案し、データ検索の柔軟性と正確性を大幅に向上させることに成功しました。

従来のLLMを活用したデータベース検索では、自然言語をSQLクエリに変換する手法が一般的でしたが、以下のような課題がありました。
• SQLの方言の違い：データベースごとにSQLの構文が異なり、LLMが一貫した精度を発揮するのが困難。
• 複雑な検索の処理：フィルタリングや集計などの高度なクエリ処理が難しく、正確な検索結果を得るのが困難。
• コレクションの適切な指定：マルチコレクション環境では、正しいデータセットを参照する必要があり、誤ったデータ検索が発生する可能性がある。

こうした課題を解決するため、Weaviateの研究チームは、Contextual AIやMorningstarと共同で、 関数呼び出し（Function Calling）による検索手法 を開発しました。この手法では、検索、フィルタリング、集計、グループ化といったデータベース操作を API関数として定義 し、LLMがこれらの関数を活用することで、SQL変換の誤りを回避し、より正確な検索を実現します。研究チームは、新たな検索手法の精度を測るため、 DBGorilla というベンチマークを開発しました。DBGorillaは、315のクエリと5つのデータベーススキーマを用いた 合成データセット で、SQL変換を介さない関数呼び出しの効果を評価するために設計されました。このベンチマークを用いて、以下の 8つのLLMの性能を比較 しました。
• GPT-4o
• GPT-4o Mini
• Claude 3.5 Sonnet
• Gemini 1.5 Pro など

評価指標として、 正確な一致率（Exact Match Score）、抽象構文木（AST）整合性、コレクションルーティング精度 を測定したところ、以下の結果が得られました。
• Claude 3.5 Sonnet が 74.3%の正確な一致率 を記録し、最高の精度を達成。
• GPT-4o Miniが73.7%、GPT-4oが71.8%、Gemini 1.5 Proが70.2% の精度を記録。
• コレクションルーティングの精度は96%～98% と非常に高く、適切なデータセット選択が可能。
• 単純なクエリ（1つの引数を持つもの）は87.5%の精度を記録 したが、複雑なクエリ（複数の引数を持つもの）では72.1%に低下。

さらに、異なる関数呼び出しの設定による影響を評価したところ、以下の結果が示されました。
• 並列関数呼び出し を許可すると精度が 71.2% に低下。
• 個別のデータベースコレクションへの分割 は精度にほぼ影響なし（72.3%）。
• 構造化応答生成（Structured Response Generation） に置き換えても、精度は72.8%で安定。

研究結果から、 関数呼び出しを用いた検索手法は、従来のSQL変換を用いた手法よりも高い精度と柔軟性を持つ ことが示されました。主要なポイントとしては、
• SQL変換エラーを削減し、正確なクエリ生成が可能
• 適切なデータベースルーティングを実現し、検索の一貫性を向上
• テキストフィルタリング精度に課題があるため、さらなる改善が必要

今後、この技術の発展により、より 高度なデータベース検索の自動化 や 異なるシステム間での一貫したデータ操作 が実現されることが期待されます。

Weaviateについて
Weaviateは、AIを活用したベクトル検索データベースの開発を手掛ける企業です。機械学習を活用した高度な検索技術を提供し、企業のデータ活用を強化するソリューションを展開しています。