Weaviate는 데이터 객체와 해당 벡터 임베딩을 저장하여 빠른 유사성 검색을 가능하게 하는 오픈소스 벡터 데이터베이스이다. 인공지능과 머신러닝을 기반으로 구축된 애플리케이션, 특히 대규모 언어 모델과 생성형 AI를 포함하는 애플리케이션을 지원하도록 설계되었다. Weaviate는 유연한 데이터 스키마를 제공하고 벡터, 키워드, 하이브리드 검색을 포함한 여러 검색 방법을 지원하며 외부 AI 모델과 통합하여 임베딩을 생성할 수 있다.
이 프로젝트는 2019년 네덜란드 회사인 SeMI Technologies의 Bob van Luijt에 의해 시작되었다. BSD-3-Clause 라이선스로 출시되어 상업적 및 연구 목적으로 자유롭게 사용할 수 있다. Weaviate는 검색 증강 생성(RAG) 시스템, 의미 검색 엔진, 추천 엔진을 구축하는 개발자들 사이에서 채택되었으며 오픈AI 및 기타 모델 제공업체와 함께 자주 배포된다.
아키텍처 및 핵심 기능
Weaviate는 Go로 구축되었으며 효율적인 벡터 인덱싱을 위해 역색인과 HNSW(계층적 탐색 가능한 소규모 세계) 그래프를 결합하여 사용한다. HNSW 알고리즘은 대규모 데이터셋을 낮은 지연 시간으로 처리하는 데 중요한 근사 최근접 이웃 검색을 가능하게 한다. 이 데이터베이스는 (text-embedding-ada-002와 같은 모델의) 밀집 벡터와 (BM25 기반) 희소 벡터를 모두 지원하여 의미적 및 어휘적 관련성을 결합한 하이브리드 검색을 가능하게 한다.
핵심 기능은 그래프 데이터베이스와 유사하게 사용자가 클래스와 속성을 정의하는 스키마 기반 접근 방식이다. 이를 통해 유사성 쿼리를 수행하기 전에 메타데이터로 필터링하는 등 구조화된 필터링과 벡터 검색을 결합할 수 있다. Weaviate는 또한 수평 확장을 위한 멀티 테넌시, 복제, 샤딩을 지원하여 프로덕션 워크로드에 적합하다.
AI 생태계와의 통합
Weaviate는 더 넓은 AI 생태계와 원활하게 작동하도록 설계되었다. 오픈AI, 앤트로픽, 구글 딥마인드, 코히어와 같은 제공업체의 모델과 Hugging Face Transformers와 같은 라이브러리를 통한 로컬 모델을 사용하여 데이터를 벡터화하는 모듈을 제공한다. 이를 통해 개발자는 별도의 인프라를 관리하지 않고도 임베딩을 생성할 수 있다.
생성형 AI 애플리케이션의 경우 Weaviate는 관련 객체를 검색하고 이를 대규모 언어 모델에 전달하여 답변이나 요약을 생성하는 생성 검색 모듈을 포함한다. 이 기능은 데이터베이스가 지식 기반 역할을 하는 많은 RAG 파이프라인의 기반이 된다. Weaviate는 또한 클라우드 배포를 위한 아마존 웹 서비스, 애저, 구글 클라우드와의 통합을 지원하며 고성능 워크로드를 위해 코어웨이브 및 기타 GPU 가속 플랫폼에서 실행할 수 있다.
배포 및 관리
Weaviate는 Docker 또는 Kubernetes를 사용한 자체 호스팅 서비스, 관리형 클라우드 서비스(Weaviate Cloud Services, WCS), 또는 Python이나 Go 애플리케이션의 임베디드 라이브러리로 배포할 수 있다. 관리형 서비스는 자동 백업, 확장, 모니터링을 제공하는 반면 자체 호스팅은 인프라에 대한 완전한 제어를 제공한다.
이 데이터베이스는 단일 요청에서 벡터 및 키워드 검색을 모두 지원하는 GraphQL API를 포함한다. 또한 스키마 관리 및 데이터 작업을 위한 RESTful API를 제공한다. Weaviate는 Python, JavaScript, Java, Go 및 기타 언어용 클라이언트 라이브러리를 제공하여 기존 애플리케이션에 쉽게 통합할 수 있다.
사용 사례 및 성능
일반적인 사용 사례에는 전자상거래를 위한 의미 검색, 기업 지식 기반을 위한 문서 검색, 사이버 보안의 이상 탐지, 개인화된 추천 시스템이 포함된다. Weaviate의 하이브리드 검색 기능은 법률 또는 의료 문서 검색과 같이 정확한 키워드 일치가 중요한 시나리오에서 특히 가치가 있다.
성능 벤치마크에 따르면 Weaviate는 일반 하드웨어에서 수백만 개의 객체를 100ms 미만의 쿼리 지연 시간으로 처리할 수 있지만 정확한 수치는 벡터 차원, 인덱스 설정, 하드웨어에 따라 달라진다. 이 데이터베이스는 벡터 검색 전에 인덱싱된 속성에 대한 필터링을 지원하여 검색 공간을 크게 줄이고 속도를 향상시킬 수 있다.
커뮤니티 및 개발
Weaviate는 SeMI Technologies의 핵심 팀이 글로벌 커뮤니티의 기여와 함께 적극적으로 개발하고 있다. 이 프로젝트는 공개 로드맵을 유지하고 정기적인 업데이트를 출시하며 2021년에 버전 1.0이 출시되었다. 2024년 현재 Weaviate는 리눅스 재단의 AI 및 데이터 분야에 포함되어 오픈소스 AI 인프라 스택에서의 역할을 반영한다.
커뮤니티는 광범위한 문서, 튜토리얼, 예제를 제공하며 프로젝트에는 개발자 지원을 위한 전용 Slack 채널이 있다. Weaviate의 소스 코드는 GitHub에서 제공되며 삼성전자 및 인텔과 같은 회사의 엔지니어들로부터 기여를 받아 산업 전반에 걸친 관련성을 보여준다.
다른 벡터 데이터베이스와의 비교
Weaviate는 Pinecone, Milvus, Qdrant와 같은 다른 벡터 데이터베이스와 경쟁한다. 독점적인 Pinecone과 달리 Weaviate는 완전히 오픈소스이다. Milvus와 비교하면 Weaviate는 더 통합된 스키마와 GraphQL 인터페이스를 제공하는 반면 Milvus는 고성능 분산 인덱싱에 중점을 둔다. Qdrant는 오픈소스라는 점에서 유사하지만 다른 인덱싱 접근 방식을 사용하고 Rust 기반 코어를 가지고 있다.
Weaviate의 강점은 사용 용이성, AI 통합을 위한 내장 모듈, 하이브리드 검색 기능에 있다. 강력한 커뮤니티 지원을 갖춘 유연하고 자체 호스팅 가능한 솔루션이 필요한 스타트업과 기업에서 자주 선택된다.
향후 방향
개발 로드맵에는 인덱싱 알고리즘 개선, 다중 모달 데이터(이미지, 오디오, 비디오) 지원 강화, 딥러닝 프레임워크와의 더 긴밀한 통합이 포함된다. 팀은 또한 자동 스키마 추론 및 스트리밍 데이터 처리 개선 기능을 탐색하고 있다. 신경망 기반 검색에 대한 수요가 증가함에 따라 Weaviate는 벡터 데이터베이스 공간에서 선도적인 오픈소스 옵션으로 남는 것을 목표로 한다.