시맨틱 검색은 쿼리의 문자 그대로의 단어가 일치하는 콘텐츠에 나타날 것을 요구하지 않고, 쿼리의 근본적인 의미에 기반하여 결과를 순위화하고 반환하는 검색 접근 방식입니다. 역색인 시스템과 TF-IDF 및 BM25 순위 공식으로 대표되는 전통적인 키워드 검색이 쿼리와 동일한 토큰을 포함하는 문서를 일치시키는 반면, 시맨틱 검색은 다른 질문을 던집니다: 저장된 항목 중 어떤 것이 사용자가 의도한 것과 개념적으로 가장 가까운가? "해변 근처 저렴한 숙소"에 대한 검색은 두 구문이 거의 단어를 공유하지 않더라도 "예산 친화적인 해변가 객실"로 설명된 목록을 표시해야 합니다.
작동 방식
지배적인 기술은 쿼리와 말뭉치의 모든 항목을 임베딩으로 표현하는데, 이는 훈련된 모델이 생성한 밀집 수치 벡터로, 의미적으로 유사한 텍스트가 가까운 벡터를 생성하도록 합니다. 쿼리 시점에 시스템은 들어오는 쿼리를 임베딩하고 코사인 유사도와 같은 거리 측정 기준으로 벡터가 가장 가까운 항목을 검색하며, 이 작업은 벡터 데이터베이스가 근사 최근접 이웃 인덱싱을 사용하여 대규모로 수행합니다. 종종 밀집 검색이라고 불리는 이 일반적인 접근 방식은 이전의 희소한 용어 일치 방법과 대조됩니다.
시맨틱 검색은 현재의 임베딩 기반 접근 방식보다 더 이른 뿌리를 가지고 있습니다. 1980년대 후반과 1990년대 초반의 잠재 의미 분석은 단어-문서 동시 발생 통계에 대한 행렬 분해를 사용하여 주제 유사성의 일부 개념을 포착했으며, 지식 그래프에 기반한 검색 엔진은 문자열보다는 엔티티와 관계에 대해 추론하려고 시도했습니다. 임베딩 기반 버전은 Word2vec과 이후 트랜스포머 시대의 맥락적 임베딩 모델이 자연어 처리라는 더 넓은 분야 내에서 개발되면서 고품질 밀집 벡터를 대규모로 저렴하게 생산할 수 있게 된 후에야 지배적이 되었습니다.
응용 분야
시맨틱 검색은 검색 증강 생성 시스템의 검색 메커니즘으로, 관련 구절이 문서 저장소에서 끌어와져 LLM의 프롬프트에 삽입되어 특정 출처 자료에 출력을 근거하고 환각을 줄입니다. 또한 소비자 및 기업 검색 제품, 전자상거래 제품 발견, 고객 지원 전환, 법률 및 의료 문서 검토, 코드 검색에서 직접 사용되며, 사용자의 표현이 대상 콘텐츠의 어휘와 정확히 일치할 가능성이 낮은 곳이면 어디든 적용됩니다.
하이브리드 접근 방식과 한계
순수 시맨틱 검색은 제품 코드, 고유 명사 또는 희귀 기술 용어와 같은 정확한 문자열에 의존하는 쿼리에서 성능이 저하될 수 있습니다. 이러한 경우 키워드 일치가 모호하지 않고 밀집 검색이 단지 주제적으로 관련되지만 잘못된 결과로 표류할 수 있기 때문입니다. 이러한 이유로 대부분의 프로덕션 시스템은 BM25와 같은 희소 키워드 기반 신호와 밀집 임베딩 기반 신호를 결합한 하이브리드 검색을 사용한 다음 두 결과 집합을 병합하거나 재순위화합니다. 초기 검색 패스의 상위 후보에는 쿼리-문서 관련성을 점수화하도록 특별히 훈련된 더 작은 트랜스포머 모델인 2단계 재순위화기가 일반적으로 적용되어 정밀도를 향상시킵니다.
시맨틱 검색 품질은 임베딩 모델의 훈련 데이터와 도메인 일치에 크게 의존합니다: 일반 웹 텍스트로 주로 훈련된 모델은 미세 조정을 통해 적응되거나 도메인 특화 모델로 말뭉치가 임베딩되지 않는 한, 판례법이나 화학 문헌과 같은 특수 말뭉치 내에서 검색 성능이 낮을 수 있습니다. 유사성 기반 시스템과 마찬가지로, 시맨틱 검색은 인덱스에 진정으로 관련된 항목이 없을 때에도 항상 가장 가까운 일치 항목을 반환하므로, 해당 일치 항목이 부적합하더라도 확신에 찬 잘못된 결과를 표면화할 수 있습니다.