Marqo는 신경 검색 기능을 다양한 애플리케이션에 제공하기 위해 설계된 오픈소스 벡터 검색 엔진입니다. 이는 딥러닝 모델을 활용하여 텍스트와 이미지에 대한 임베딩을 생성함으로써, 사용자가 단순한 키워드 일치에 의존하지 않고 쿼리의 의미와 맥락을 이해하는 의미론적 검색을 수행할 수 있게 합니다. 이 플랫폼은 확장 가능하고 개발자 친화적으로 구축되었으며, 데이터 인덱싱 및 쿼리를 위한 간단한 API를 제공합니다.
Marqo의 아키텍처는 임베딩 기반 검색이라는 개념을 중심으로 합니다. 이는 신경망 모델을 사용하여 문서 및 이미지와 같은 비정형 데이터를 고차원 벡터로 변환합니다. 이러한 벡터는 인덱싱되고 저장되어 빠르고 정확한 유사성 검색을 가능하게 합니다. 이 엔진은 밀집 및 희소 검색 방법을 모두 지원하여 다양한 사용 사례에 유연성을 제공합니다. 또한 필터링, 패싯, 다중 모드 검색과 같은 기능을 포함하여 전자상거래, 콘텐츠 검색 및 기업 검색 솔루션에 적합합니다.
개발 역사
Marqo는 인공지능 생태계에서 접근 가능하고 효율적인 벡터 검색 도구에 대한 증가하는 필요성을 해결하기 위해 만들어졌습니다. 이 프로젝트는 개발자와 조직이 기본 인프라를 관리하는 복잡성 없이 맞춤형 검색 경험을 구축할 수 있도록 오픈소스로 공개되었습니다. 개발 팀은 대규모 데이터 세트를 처리하면서 실시간 쿼리에 대한 낮은 지연 시간을 유지할 수 있는 시스템을 만드는 데 중점을 두었습니다. 초기 출시 이후, Marqo는 머신러닝 애플리케이션을 발전시키는 데 관심이 있는 다양한 개인 및 기업의 기여로 개발자 커뮤니티에서 주목을 받았습니다.
이 엔진은 인기 있는 대규모 언어 모델 프레임워크 및 도구와 원활하게 통합되도록 설계되었습니다. 이는 오픈AI 및 앤트로픽과 같은 제공업체의 모델을 기본적으로 지원하여 사용자가 선호하는 임베딩 생성기를 연결할 수 있게 합니다. 이러한 상호 운용성은 의미론적 이해와 효율적인 검색을 모두 요구하는 프로젝트에 Marqo를 다재다능한 선택지로 만들었습니다.
핵심 기능
Marqo의 주요 기능 중 하나는 다중 모드 검색을 수행하는 능력입니다. 사용자는 텍스트와 이미지를 모두 인덱싱하고 두 양식 중 하나를 사용하여 쿼리할 수 있습니다. 예를 들어, 사용자는 텍스트 설명을 사용하여 제품을 검색하고 관련 이미지를 검색하거나 그 반대로 할 수 있습니다. 이는 서로 다른 데이터 유형이 공통 벡터 표현에 매핑되는 공유 임베딩 공간을 통해 달성됩니다.
또 다른 핵심 기능은 BM25와 같은 전통적인 희소 방법과 밀집 벡터 검색을 결합하는 하이브리드 검색 지원입니다. 이 접근 방식은 의미론적 및 정확한 키워드 일치가 모두 고려되도록 하여 전반적인 검색 관련성을 향상시킵니다. Marqo는 또한 고급 필터링 기능을 제공하여 사용자가 메타데이터 또는 사용자 정의 필드를 기반으로 결과를 좁힐 수 있게 합니다.
이 플랫폼에는 CPU 또는 GPU에서 임베딩 모델을 실행할 수 있는 내장 추론 엔진이 포함되어 있으며, 다양한 하드웨어에 대한 최적화가 제공됩니다. 이는 아마존 웹 서비스 및 구글 클라우드와 같은 클라우드 서비스와의 통합을 지원하여 확장 가능한 환경에서 배포를 가능하게 합니다. 또한 Marqo는 RESTful API와 인기 있는 프로그래밍 언어용 클라이언트 라이브러리를 제공하여 개발 프로세스를 간소화합니다.
사용 사례 및 애플리케이션
Marqo는 의미론적 검색이 중요한 다양한 영역에서 사용됩니다. 전자상거래에서는 단순한 키워드를 넘어 사용자 의도를 이해하는 제품 추천 시스템을 구동합니다. 예를 들어, "편안한 러닝화"와 같은 쿼리는 제품 설명에 정확한 단어가 없더라도 의미론적 의미와 일치하는 결과를 반환할 수 있습니다.
생성형 AI 분야에서 Marqo는 트랜스포머 기반 시스템의 검색 구성 요소로 자주 사용됩니다. 이는 대규모 언어 모델의 지식 기반 역할을 하여 생성된 응답의 정확성을 향상시키기 위한 관련 컨텍스트를 제공할 수 있습니다. 이는 대량의 정보에 액세스해야 하는 챗봇 및 가상 비서를 구축하는 데 특히 유용합니다.
미디어 및 콘텐츠 플랫폼은 Marqo를 사용하여 시각적 유사성을 기반으로 이미지나 비디오를 찾을 수 있는 시각적 검색을 가능하게 합니다. 이는 스톡 사진 라이브러리, 소셜 미디어 플랫폼 및 디지털 자산 관리 시스템에 적용됩니다. 이 엔진의 대규모 데이터 세트 처리 능력은 성능과 안정성이 가장 중요한 기업 배포에 적합합니다.
기술 아키텍처
Marqo는 효율적인 근사 최근접 이웃 검색을 제공하는 HNSW(계층적 탐색 가능한 소규모 세계) 그래프를 포함한 확립된 벡터 인덱싱 기술을 기반으로 구축되었습니다. 이 시스템은 샤딩 및 복제를 지원하는 수평 확장이 가능하도록 설계되었습니다. 이는 여러 노드에 배포할 수 있는 분산 아키텍처를 사용하여 높은 가용성과 처리량을 보장합니다.
이 엔진은 Python으로 작성되었으며 모델 추론을 위해 PyTorch와 같은 인기 있는 라이브러리를 사용합니다. 임베딩의 저장 및 검색을 관리하는 벡터 데이터베이스 구성 요소가 포함되어 있습니다. Marqo는 또한 개발자가 전체 클러스터를 설정하지 않고 애플리케이션을 테스트할 수 있는 로컬 개발 모드를 제공합니다.
프로덕션 환경에서 Marqo를 배포하려는 조직의 경우 Docker를 사용하여 컨테이너화된 환경에서 실행하고 Kubernetes로 오케스트레이션할 수 있습니다. 이는 최신 클라우드 네이티브 워크플로우와 호환되며 기존 애저 또는 오라클 클라우드 인프라와의 통합을 가능하게 합니다.
커뮤니티 및 생태계
Marqo는 개발 및 문서화에 기여하는 활발한 오픈소스 커뮤니티를 보유하고 있습니다. 이 프로젝트는 GitHub에서 호스팅되며, 사용자는 문제를 보고하고, 풀 리퀘스트를 제출하고, 소스 코드에 액세스할 수 있습니다. 커뮤니티는 포럼과 채팅 채널을 통해 지원을 제공하여 새로운 사용자가 플랫폼을 시작하는 데 도움을 줍니다.
Marqo 주변의 생태계에는 다양한 머신러닝 도구 및 프레임워크와의 통합이 포함됩니다. 이는 사용자 정의 모델 훈련을 위해 텐서플로우 또는 파이토치와 함께 사용할 수 있으며, 사전 훈련된 임베딩에 액세스하기 위해 Hugging Face와 같은 모델 허브를 지원합니다. 이러한 유연성은 개발자가 검색 경험을 특정 요구 사항에 맞게 조정할 수 있게 합니다.
향후 방향
인공지능 분야가 계속 발전함에 따라 Marqo는 임베딩 모델 및 검색 기술의 발전을 통합할 것으로 예상됩니다. 프로젝트 뒤에 있는 팀은 대규모 검색 실행의 효율성을 개선하고 계산 비용을 줄이는 방법을 모색하고 있습니다. 또한 실시간 인덱싱 및 스트리밍 데이터에 대한 지원을 강화하기 위한 지속적인 작업이 진행 중입니다.
Marqo의 오픈소스 원칙에 대한 헌신은 개별 개발자에서 대기업에 이르기까지 광범위한 사용자에게 계속 액세스 가능하도록 보장합니다. 강력하고 유연한 벡터 검색 솔루션을 제공함으로써 AI 기반 정보 검색의 광범위한 환경에서 중요한 역할을 합니다.