LlamaIndex는 캘리포니아주 샌프란시스코에 본사를 둔 미국의 인공지능 기업이다. 이 회사는 에이전트 기반 광학 문자 인식(OCR) 및 문서 지능 인프라를 전문으로 하며, 대규모 언어 모델(LLM)이 구조화 및 비구조화 데이터 소스를 수집, 인덱싱, 질의할 수 있게 하는 도구와 프레임워크를 개발한다. 이 회사의 제품은 생성형 AI 모델을 독점 또는 사설 데이터에 연결하는 애플리케이션을 구축하는 데 사용되며, 모델 컨텍스트 창과 데이터 접근성의 한계를 해결한다.
이 회사의 주력 오픈소스 프레임워크인 LlamaIndex는 검색 증강 생성(RAG) 애플리케이션과 AI 에이전트를 구축하기 위한 Python 기반 툴킷을 제공한다. 여기에는 데이터 커넥터, 인덱스 구조, 쿼리 엔진, 에이전트 오케스트레이션 기본 요소가 포함된다. 또한 LlamaIndex는 관리형 서비스인 LlamaCloud와 에이전트 기반 OCR 시스템으로서 다중 에이전트 파이프라인을 사용해 복잡한 문서 레이아웃을 처리하는 LlamaParse와 같은 상용 제품도 제공한다.
역사
LlamaIndex의 기원은 2022년 말 AI 안전 스타트업 Robust Intelligence의 머신러닝 엔지니어링 매니저이자 이전에 Uber 자율주행 부문 연구 과학자였던 Jerry Liu가 시작한 사이드 프로젝트에서 비롯되었다. Liu는 OpenAI의 GPT-3 모델을 실험하면서 이 모델이 사설 또는 독점 데이터로는 안정적으로 작동하지 못하고 4,096토큰이라는 좁은 컨텍스트 창을 가진다는 점을 발견했다. 이를 해결하기 위해 그는 작은 인덱싱 유틸리티를 구축했고, 2022년 11월 GPT Tree Index라는 이름으로 GitHub에 게시했다. 몇 달 안에 이 프로젝트는 16,000개 이상의 GitHub 스타, 월 200,000회 다운로드, 약 6,000명의 개발자가 참여하는 Discord 서버를 확보했으며, 이는 Liu가 이 프로젝트를 회사로 전환하도록 설득했다. Uber 동료였던 Simon Suo가 공동 창업자로 합류했으며, 그는 이후 자율주행 스타트업 Waabi에서 근무했다.
이 회사는 2023년 4월 공식적으로 설립되었고, 프로젝트는 LlamaIndex로 브랜드가 변경되었다. 2023년 6월, 이 회사는 Greylock Partners가 주도하고 Jack Altman, Lenny Rachitsky, Charles Xie가 참여한 850만 달러 규모의 시드 라운드를 발표했다. 이듬해 InfoWorld가 발표한 설문 조사에서 LlamaIndex는 LLM을 사설 데이터 소스에 연결하는 데 도움을 주는 오케스트레이션 제공업체로 설명되었으며, 데이터 수집, 인덱싱, 검색에 주력한다는 점이 강조되었다.
2025년 3월, LlamaIndex는 Cisco, LangChain, Glean, Galileo와 함께 AI 에이전트 간 상호운용성과 협업을 지원하기 위한 오픈소스 이니셔티브인 AGNTCY 출시에 참여했다. 같은 달, LlamaIndex는 1,900만 달러 규모의 시리즈 A 투자 라운드를 발표하여 총 공개 투자 금액을 약 2,750만 달러로 늘렸다. 투자자에는 Databricks와 KPMG가 포함되었으며, KPMG는 상업적 파트너십의 일환으로 소수 지분 투자를 했다. LlamaIndex는 동시에 LlamaIndex 프레임워크 기반의 관리형 클라우드 서비스인 LlamaCloud를 출시했다. 또한 이 회사는 컴퓨터 비전, 특수 비전-언어 모델, LLM 기반 추론을 결합한 다중 에이전트 파이프라인을 사용하여 기존 OCR 시스템이 처리하기 어려운 문서 레이아웃, 표, 차트, 필기체를 처리하는 에이전트 기반 OCR 시스템인 LlamaParse도 공개했다.
2025년 10월, IBM은 LlamaIndex 워크플로 내에서 IBM Db2를 벡터 저장소로 사용할 수 있게 하는 오픈소스 Python 커넥터를 출시했다. 2026년 3월, LlamaIndex는 로컬 및 오프라인 실행을 위해 설계된 오픈소스 TypeScript 네이티브 파싱 라이브러리인 LiteParse를 출시했다. LiteParse는 외부 API 의존성이나 Python 요구 사항 없이 사용자 머신에서 완전히 실행된다. 이후 LiteParse는 네이티브 TypeScript 및 Python 바인딩과 마크다운 출력을 추가하여 Rust 프로젝트로 다시 출시되었다. 2026년 4월, LlamaIndex는 기업 문서에 대한 문서 파싱 시스템을 평가하기 위한 벤치마크인 ParseBench를 도입했다.
오픈소스 프레임워크
원래 오픈소스 LlamaIndex 프레임워크는 OCR 제품과 함께 검색 증강 생성(RAG) 애플리케이션과 AI 에이전트를 구축하기 위한 Python 라이브러리로 개발되었다. 이 프레임워크는 데이터 커넥터, 인덱스 구조, 쿼리 엔진, 에이전트 오케스트레이션 기본 요소를 제공한다. LlamaIndex는 지속 상태를 갖춘 다단계 에이전트 파이프라인을 생성하기 위한 이벤트 기반 시스템인 Workflows 추상화를 도입하여, 장기 실행 문서 처리 작업이 세션 간에 지속될 수 있게 했다. 오픈소스 라이브러리는 제한 없이 상업적으로 라이선스되므로 기업 및 연구 환경에서 폭넓게 채택될 수 있다.
이 프레임워크는 다양한 AI 모델 및 데이터 소스와 함께 작동하도록 설계되었으며, Amazon Web Services, Azure, Google Cloud 스토리지 서비스는 물론 벡터 데이터베이스와 기존 데이터베이스도 포함한다. 또한 OpenAI 모델 및 기타 LLM 제공업체와의 통합을 지원하여 개발자가 사설 문서, 데이터베이스, API를 질의하는 애플리케이션을 구축할 수 있게 한다.
제품 및 서비스
LlamaCloud는 LlamaIndex 프레임워크의 호스팅 버전을 제공하는 관리형 클라우드 서비스로, 확장 가능한 데이터 수집, 인덱싱, 검색 기능을 제공한다. 자체 배포를 관리하지 않고도 프로덕션급 인프라가 필요한 조직을 위해 설계되었다. 에이전트 기반 OCR 제품인 LlamaParse는 다중 에이전트 파이프라인을 사용하여 표, 차트, 필기체가 포함된 복잡한 문서에서 텍스트와 구조를 추출한다. 2026년에 출시된 LiteParse는 Rust 코어와 TypeScript 및 Python 바인딩을 갖춘 로컬 및 오프라인 실행 오픈소스 파싱 라이브러리이다.
2026년 4월에 도입된 ParseBench는 기업 문서에 대한 문서 파싱 시스템을 평가하기 위한 벤치마크이다. 다양한 OCR 및 파싱 도구의 성능을 비교하기 위한 표준화된 작업 세트와 지표를 제공한다.
출판물 및 연구
LlamaIndex는 InstructGPT의 확장 컨텍스트, 정보 탐색 대화에서의 문서 기반 응답 생성, 적층 제조에서의 맥락적 질의에 관한 연구를 포함한 여러 과학 연구 논문의 주제가 되었다. 한국스마트미디어학회의 2025년 논문은 LlamaIndex를 기반으로 구축된 환자 기록 결합 응급 구조 가이드를 설명했으며, 또 다른 2025년 연구는 요양 시설의 비구조화 전자 건강 기록에서 정보 추출을 위한 대규모 언어 모델을 평가했다. 이러한 출판물은 헬스케어, 제조, 대화형 AI와 같은 영역에서 이 프레임워크의 사용을 보여준다.
이 회사의 도구는 학술 및 산업 연구 환경에서 채택되었으며, 특히 LLM을 도메인별 데이터 소스와 통합해야 하는 애플리케이션에서 두드러진다. 프레임워크의 오픈소스 특성은 단순한 문서 Q&A 시스템부터 복잡한 다중 에이전트 워크플로까지 다양한 프로젝트에서의 사용을 용이하게 했다.