セマンティック検索は、クエリの文字通りの単語が一致するコンテンツに現れることを要求するのではなく、クエリの根底にある意味に基づいて結果をランク付けし返す検索手法である。転置インデックス方式やTF-IDF、BM25のランキング式に代表される従来のキーワード検索が、クエリと同じトークンを含む文書を一致させるのに対し、セマンティック検索は異なる問いを立てる。すなわち、ユーザーが意図したものに概念的に最も近い保存済みアイテムはどれか、という問いである。「ビーチの近くの手頃な宿泊先」という検索は、「予算に優しいオーシャンフロントの客室」と説明されたリスティングを表示するべきであり、たとえ両方のフレーズがほとんど単語を共有していなくてもである。
仕組み
支配的な手法は、クエリとコーパス内のすべてのアイテムの両方を埋め込みとして表現するものである。これは、訓練されたモデルによって生成される密な数値ベクトルであり、意味的に類似したテキストが近いベクトルを生成するように設計されている。クエリ時には、システムが入力クエリを埋め込み、コサイン類似度などの距離メトリックによってベクトルが最も近いアイテムを取得する。この操作は、ベクトルデータベースが近似最近傍インデックスを使用して大規模に実行する。この一般的なアプローチは、しばしば密検索と呼ばれ、それ以前の疎な用語一致方式とは対照的である。
セマンティック検索には、現在の埋め込みベースのアプローチよりも古いルーツがある。1980年代後半から1990年代初頭の潜在意味解析は、単語と文書の共起統計に対する行列因子分解を使用して、トピックの類似性の概念を捉えようとした。また、知識グラフに基づく検索エンジンは、文字列ではなくエンティティと関係について推論しようと試みた。埋め込みベースのバージョンが支配的になったのは、Word2vecと、その後のトランスフォーマー時代の文脈埋め込みモデルが、自然言語処理の広範な分野で開発され、高品質な密ベクトルを大規模に低コストで生成できるようになってからである。
応用
セマンティック検索は、検索拡張生成システムの背後にある検索メカニズムであり、関連するパッセージが文書ストアから引き出され、LLMのプロンプトに挿入されて、その出力を特定のソース資料に基づかせ、幻覚を減らす。また、消費者向けおよび企業向け検索製品、電子商取引の製品発見、カスタマーサポートの振り分け、法律・医学文書のレビュー、コード検索などでも直接使用されており、ユーザーの表現がターゲットコンテンツの語彙と正確に一致する可能性が低い場面で活用される。
ハイブリッドアプローチと限界
純粋なセマンティック検索は、製品コード、固有名詞、まれな技術用語など、正確な文字列に依存するクエリでは性能が低下することがある。そのような場合、キーワード一致は曖昧さがなく、密検索は単にトピック的に関連するが誤った結果に流れる可能性がある。このため、ほとんどの本番システムはハイブリッド検索を使用し、BM25のような疎なキーワードベースのシグナルと密な埋め込みベースのシグナルを組み合わせ、2つの結果セットを統合または再ランク付けする。第二段階の再ランカーは、多くの場合、クエリと文書の関連性をスコアリングするために特別に訓練された小型のトランスフォーマーモデルであり、初期検索パスからの上位候補に適用されて精度を向上させる。
セマンティック検索の品質は、埋め込みモデルの訓練データとドメインの一致に大きく依存する。一般的なウェブテキストで主に訓練されたモデルは、判例法や化学文献などの専門コーパス内では、ファインチューニングによって適応されるか、ドメイン固有モデルでコーパスが埋め込まれない限り、検索性能が低い可能性がある。類似性ベースのシステムと同様に、セマンティック検索は、インデックスに真に関連するアイテムが存在しない場合でも、常に最も近い一致を返すため、たとえその一致が不適切であっても、自信を持って誤った結果を表示することがある。