Vectara ist ein KI-gestützter Such- und Retrieval-Augmented-Generation-Dienst (RAG), der es Organisationen ermöglicht, fundierte, faktenbasierte Konversationsassistenten und Suchfunktionen über ihre eigenen Daten zu erstellen. Das Unternehmen wurde 2021 von ehemaligen Google-Ingenieuren gegründet und bietet eine End-to-End-Plattform, die semantische Suche, Generierung durch große Sprachmodelle und Zitierfunktionen kombiniert, um Halluzinationen zu reduzieren und die Zuverlässigkeit von Antworten zu verbessern.
Der Dienst ist entwicklerfreundlich gestaltet und bietet APIs und Integrationen, die es Unternehmen ermöglichen, Frage-Antwort- und Zusammenfassungsfunktionen zu ihren Anwendungen hinzuzufügen, ohne tiefgehende Kenntnisse im maschinellen Lernen zu benötigen. Vectara positioniert sich als vertrauenswürdige, unternehmensgerechte Lösung und legt besonderen Wert auf Datenschutz, Sicherheit und Compliance.
Geschichte und Gründung
Vectara wurde 2021 von einem Team ehemaliger Google-DeepMind- und Google-Cloud-Ingenieure gegründet, darunter Jakob Uszkoreit, ein Miterfinder der Transformer-Architektur, und Lukasz Kaiser, ein weiterer wichtiger Mitwirkender am Transformer-Papier. Das Unternehmen verließ 2022 den Stealth-Modus und kündigte eine Series-A-Finanzierung in Höhe von 28,5 Millionen US-Dollar an, angeführt von Two Sigma Ventures, mit Beteiligung weiterer Investoren.
Der tiefe Hintergrund des Gründungsteams in großen Sprachmodellen und neuronalen Netzen prägte den Fokus von Vectara auf die Kombination von Abruf und Generierung in einer einzigen Plattform. Die Mission des Unternehmens war es, generative KI für Unternehmen zugänglich zu machen, indem ein verwalteter Dienst bereitgestellt wird, der die Komplexität von Indizierung, Abruf und Generierung übernimmt.
Technologie und Architektur
Die Plattform von Vectara basiert auf einer proprietären RAG-Architektur, die mehrere Schlüsselkomponenten integriert. Im Kern steht eine semantische Suchmaschine, die Transformer-basierte Encoder verwendet, um die Bedeutung von Abfragen und Dokumenten zu verstehen, anstatt sich ausschließlich auf Schlüsselwortabgleich zu verlassen. Dies ermöglicht einen genaueren Abruf relevanter Informationen aus großen Textmengen.
Das System integriert Multi-Head-Attention-Mechanismen und positionale Kodierungen, um Text effektiv zu verarbeiten. Vectara verwendet außerdem Cross-Attention-Schichten, um Abfragen während der Generierung mit Dokumentinhalten abzugleichen. Die Plattform unterstützt verschiedene Verlustfunktionen und Optimierungstechniken wie Adam und SGD-Varianten, um Modelle für spezifische Anwendungsfälle feinabzustimmen.
Ein besonderes Merkmal von Vectara ist der Fokus auf die Reduzierung von Halluzinationen - die Tendenz von LLMs, plausible, aber falsche Informationen zu generieren. Der Dienst erreicht dies, indem generierte Antworten auf abgerufenen Belegen basieren, Zitate zu Quelldokumenten bereitgestellt werden und RLHF-ähnliche Feedbackschleifen implementiert werden, um die Genauigkeit im Laufe der Zeit zu verbessern.
Produkte und Dienstleistungen
Vectara bietet eine Reihe von Produkten für verschiedene Anwendungsfälle an:
- Vectara Answer: Eine Frage-Antwort-API, die es Entwicklern ermöglicht, Konversationsassistenten über ihren eigenen Daten zu erstellen. Sie unterstützt Funktionen wie Mehrfachdialog, Zusammenfassung und Zitaterzeugung.
- Vectara Search: Eine semantische Such-API, die es Unternehmen ermöglicht, natürliche Sprachsuche über Dokumente, Websites und Datenbanken zu implementieren.
- Vectara Summarize: Ein Zusammenfassungsdienst, der lange Dokumente in prägnante, genaue Zusammenfassungen kondensiert, während wichtige Fakten erhalten bleiben.
- Vectara Grounded Generation: Eine Plattform zum Erstellen benutzerdefinierter generativer KI-Anwendungen mit integrierter Fundierung und Faktenprüfung.
Das Unternehmen bietet außerdem SDKs für gängige Programmiersprachen, Integrationen mit AWS, Azure und Google Cloud sowie eine webbasierte Konsole zur Verwaltung von Indizes und Überwachung der Leistung.
Unternehmenseinführung und Anwendungsfälle
Vectara zielt auf Branchen ab, in denen eine genaue Informationsabfrage entscheidend ist, wie Recht, Gesundheitswesen, Finanzen und Kundensupport. Typische Anwendungsfälle umfassen:
- Automatisierung des Kundensupports: Erstellung von Chatbots, die Produktfragen auf Basis von Wissensdatenbanken beantworten und so das Ticketaufkommen reduzieren.
- Juristische Recherche: Unterstützung von Anwälten bei der schnellen Suche nach relevanten Fallrechts- und Gesetzestexten.
- Gesundheitsdokumentation: Unterstützung von Klinikern beim präzisen Abrufen von Patientenakten und medizinischer Literatur.
- Finanzanalyse: Zusammenfassung von Gewinnberichten und regulatorischen Einreichungen für Analysten.
Stand 2024 verarbeitet die Plattform von Vectara nach eigenen Angaben jährlich Milliarden von Abfragen für Kunden, die von Startups bis zu Fortune-500-Unternehmen reichen. Das Unternehmen betont, dass sein Dienst in AWS-, Azure- oder Google-Cloud-Umgebungen bereitgestellt werden kann, mit Optionen für lokale Bereitstellung für Organisationen mit strengen Datenverwaltungsanforderungen.
Wettbewerbsumfeld und zukünftige Entwicklungen
Vectara konkurriert mit anderen Anbietern von generativer KI-Suche und RAG, darunter die Retrieval-Plugins von OpenAI, Claude mit Zitaten von Anthropic und Open-Source-Frameworks wie LangChain. Vectara differenziert sich jedoch durch seinen Fokus auf unternehmensgerechte Zuverlässigkeit, integrierte Zitate und einen vollständig verwalteten Dienst, der Infrastrukturbedenken abstrahiert.
Das Unternehmen investiert weiterhin in Forschung und Entwicklung, insbesondere in Bereiche wie Modellbereinigung zur Reduzierung der Latenz, Datenerweiterung für bessere Generalisierung und Curriculum-Lernen zur Verbesserung der Trainingseffizienz. Vectara untersucht auch die Integration mit AMD- und Intel-Hardwarebeschleunigern, um Inferenzkosten zu optimieren.
Im Jahr 2023 führte Vectara eine kostenlose Stufe für Entwickler ein, um die Einführung bei Startups und einzelnen Entwicklern zu beschleunigen. Das Unternehmen hat außerdem Forschung zur Erkennung und Minderung von Halluzinationen veröffentlicht und damit zum breiteren akademischen Diskurs über die Zuverlässigkeit von LLMs beigetragen.
In Zukunft plant Vectara, seine Plattform auf multimodale Daten, einschließlich Bildern und Audio, auszuweiten und seine Fähigkeiten für strukturierte Daten wie Datenbanken und Tabellenkalkulationen zu verbessern. Das Unternehmen bleibt seiner Mission verpflichtet, vertrauenswürdige KI für jede Organisation zugänglich zu machen.