Vectara는 조직이 자체 데이터를 기반으로 근거 기반의 사실적 대화형 어시스턴트와 검색 경험을 구축할 수 있도록 지원하는 AI 기반 검색 및 검색 증강 생성(RAG) 서비스입니다. 2021년 전 Google 엔지니어들에 의해 설립된 이 회사는 의미 검색, 대규모 언어 모델 생성, 인용 기능을 결합한 엔드투엔드 플랫폼을 제공하여 환각을 줄이고 답변 신뢰성을 향상시킵니다.
이 서비스는 개발자 친화적으로 설계되어, 기업이 깊은 머신러닝 전문 지식 없이도 애플리케이션에 질의응답 및 요약 기능을 추가할 수 있는 API와 통합 기능을 제공합니다. Vectara는 신뢰할 수 있는 엔터프라이즈급 솔루션으로 자리매김하며 데이터 프라이버시, 보안, 규정 준수를 강조합니다.
역사 및 설립
Vectara는 2021년 Google DeepMind 및 Google Cloud 출신 엔지니어 팀에 의해 설립되었으며, 여기에는 Transformer (architecture) 아키텍처의 공동 발명가인 jakub-uszkoreit와 transformer 논문의 또 다른 주요 기여자인 Lukasz Kaiser가 포함됩니다. 이 회사는 2022년 스텔스 모드에서 벗어나 Two Sigma Ventures가 주도하고 다른 투자자들이 참여한 2,850만 달러의 시리즈 A 자금을 발표했습니다.
설립 팀의 대규모 언어 모델 및 신경망에 대한 깊은 배경 지식은 Vectara가 검색과 생성을 단일 플랫폼에 결합하는 데 초점을 맞추는 데 영향을 미쳤습니다. 회사의 사명은 인덱싱, 검색, 생성의 복잡성을 처리하는 관리형 서비스를 제공하여 생성형 AI를 기업이 접근 가능하게 만드는 것이었습니다.
기술 및 아키텍처
Vectara의 플랫폼은 여러 핵심 구성 요소를 통합하는 독자적인 RAG 아키텍처를 기반으로 구축되었습니다. 핵심에는 키워드 매칭에만 의존하지 않고 쿼리와 문서의 의미를 이해하기 위해 Transformer (architecture) 기반 인코더를 사용하는 의미 검색 엔진이 있습니다. 이를 통해 대규모 말뭉치에서 관련 정보를 더 정확하게 검색할 수 있습니다.
이 시스템은 텍스트를 효과적으로 처리하기 위해 멀티 헤드 어텐션 메커니즘과 위치 인코딩을 통합합니다. Vectara는 또한 생성 중에 쿼리를 문서 콘텐츠와 정렬하기 위해 Cross-Attention 레이어를 사용합니다. 플랫폼은 특정 사용 사례에 맞게 모델을 미세 조정하기 위해 손실 함수 및 Adam, SGD 변형과 같은 최적화 기법을 지원합니다.
Vectara의 독특한 특징은 환각 - LLM이 그럴듯하지만 부정확한 정보를 생성하는 경향 - 을 줄이는 데 중점을 둔다는 점입니다. 이 서비스는 생성된 응답을 검색된 증거에 근거하고, 출처 문서에 대한 인용을 제공하며, 시간이 지남에 따라 정확성을 개선하기 위해 RLHF 스타일 피드백 루프를 구현하여 이를 달성합니다.
제품 및 서비스
Vectara는 다양한 사용 사례를 위해 설계된 여러 제품을 제공합니다:
- Vectara Answer: 개발자가 자체 데이터를 기반으로 대화형 어시스턴트를 구축할 수 있는 질의응답 API입니다. 다중 턴 대화, 요약, 인용 생성과 같은 기능을 지원합니다.
- Vectara Search: 기업이 문서, 웹사이트, 데이터베이스 전반에 걸쳐 자연어 검색을 구현할 수 있게 하는 의미 검색 API입니다.
- Vectara Summarize: 긴 문서를 핵심 사실을 보존하면서 간결하고 정확한 요약으로 압축하는 요약 서비스입니다.
- Vectara Grounded Generation: 내장된 근거 및 사실 확인 기능을 갖춘 맞춤형 생성형 AI 애플리케이션을 구축하기 위한 플랫폼입니다.
이 회사는 또한 널리 사용되는 프로그래밍 언어용 SDK, AWS, Azure, Google Cloud와의 통합, 인덱스 관리 및 성능 모니터링을 위한 웹 기반 콘솔을 제공합니다.
엔터프라이즈 채택 및 사용 사례
Vectara는 법률, 의료, 금융, 고객 지원과 같이 정확한 정보 검색이 중요한 산업을 대상으로 합니다. 일반적인 사용 사례는 다음과 같습니다:
- 고객 지원 자동화: 지식 베이스를 기반으로 제품 질문에 답변하는 챗봇을 구축하여 티켓 수를 줄입니다.
- 법률 연구: 변호사가 관련 판례와 법령을 신속하게 찾을 수 있도록 지원합니다.
- 의료 문서화: 임상의가 환자 기록과 의학 문헌을 높은 정밀도로 검색할 수 있도록 돕습니다.
- 재무 분석: 애널리스트를 위해 실적 보고서와 규제 서류를 요약합니다.
2024년 기준으로 Vectara는 플랫폼이 스타트업부터 포춘 500대 기업까지 고객을 위해 연간 수십억 건의 쿼리를 처리한다고 보고합니다. 회사는 서비스가 AWS, Azure, Google Cloud 환경에 배포될 수 있으며, 엄격한 데이터 거버넌스 요구 사항이 있는 조직을 위해 온프레미스 배포 옵션도 제공한다고 강조합니다.
경쟁 환경 및 향후 방향
Vectara는 OpenAI의 검색 플러그인, Anthropic의 인용 기능을 갖춘 Claude, LangChain과 같은 오픈소스 프레임워크를 포함한 다른 생성형 AI 검색 및 RAG 제공업체와 경쟁합니다. 그러나 Vectara는 엔터프라이즈급 신뢰성, 내장 인용, 인프라 문제를 추상화하는 완전 관리형 서비스에 대한 초점을 통해 차별화합니다.
이 회사는 특히 지연 시간을 줄이기 위한 모델 가지치기, 일반화 개선을 위한 데이터 증강, 훈련 효율성 향상을 위한 커리큘럼 학습과 같은 분야에서 연구 개발에 지속적으로 투자하고 있습니다. Vectara는 또한 추론 비용을 최적화하기 위해 AMD 및 Intel 하드웨어 가속기와의 통합을 탐색합니다.
2023년에 Vectara는 개발자용 무료 티어를 출시하여 스타트업과 개인 개발자 사이에서 채택을 가속화하는 것을 목표로 했습니다. 회사는 또한 환각 탐지 및 완화에 관한 연구를 발표하여 LLM 신뢰성에 대한 더 넓은 학술 논의에 기여했습니다.
향후 Vectara는 이미지와 오디오를 포함한 멀티모달 데이터를 지원하고 데이터베이스 및 스프레드시트와 같은 구조화 데이터를 처리하는 기능을 강화하도록 플랫폼을 확장할 계획입니다. 회사는 모든 조직이 신뢰할 수 있는 AI에 접근할 수 있도록 만드는 사명에 계속 전념하고 있습니다.