推論ベース検索
セマンティック検索の類似度マッチングではなく、LLMの推論能力を活用して情報を検索する手法。PageIndexが代表例。
核心的な洞察
「類似度 ≠ 関連性」
従来のベクトルベースRAGは意味的に近い文章を見つけるが、ドメイン知識や論理的推論を必要とする質問には弱い。
セマンティック検索との違い
| 観点 | セマンティック検索 | 推論ベース検索 |
|---|---|---|
| 検索方法 | 埋め込みの類似度マッチング | LLMによる推論的探索 |
| 関連性判断 | コサイン類似度（数値） | LLMの理解と推論 |
| 説明可能性 | ブラックボックス | ページ・セクション参照で追跡可能 |
| 適した用途 | 一般的な質問応答 | 専門的・複雑な文書 |
動作原理（PageIndexの例）
- ドキュメントを階層的なツリー構造に変換
- クエリに対してLLMがツリーを推論的に探索
- 各レベルで「このセクションは関連するか？」を判断
- 関連するセクションのみを深く掘り下げる
AlphaGoのツリー探索アルゴリズムに着想を得た「賢い枝刈り」。
利点
- チャンキング問題の回避: 自然なセクション境界を維持
- 追跡可能性: 具体的なページ・セクション参照を提供
- 文脈の保持: 階層構造で文脈を保持
- 推論が必要な質問に強い: 専門的なドメイン知識を要する質問に適切に対応
トレードオフ
- 初期コストが高い: 階層インデックス構築にLLMを使用
- 検索時のトークン消費: 各レベルでLLMを呼び出す
- シンプルな検索には過剰: FAQ等には従来RAGが適切
関連
- セマンティック検索 - 対比される手法
- RAG - 検索拡張生成の枠組み
- チャンキング - 推論ベース検索が回避する問題
- ベクトルデータベース - 従来手法で使用