Ollama는 2023년 Jeffrey Morgan과 Michael Chiang이 개발한 오픈소스 소프트웨어 플랫폼으로, 로컬 컴퓨터와 호스팅된 클라우드 모델을 통해 대규모 언어 모델(LLM)을 실행하고 관리하기 위해 설계되었다. 명령줄 인터페이스, 네이티브 GUI, 로컬 REST API, 모델 관리 도구를 제공하며, Llama, Gemma, Mistral, Qwen, DeepSeek 등 다양한 오픈 가중치 모델을 지원한다. Ollama는 개인 개발자와 기업 환경 모두에서 널리 채택되었으며, Open WebUI와 같은 타사 도구 및 인공지능 코딩 어시스턴트와의 통합을 지원한다.
역사
Ollama는 2023년 6월에 처음 출시되었으며, 초기에는 macOS를 지원했다. 2025년 2월에는 Windows용 네이티브 버전이 출시되었고, 2025년 6월에는 Ollama WebAI가 출시되어 브라우저 기반 추론을 지원하게 되었다. 2025년 7월에는 Ollama, Inc.가 General Catalyst가 주도하는 시리즈 A 자금 조달에서 1억 달러를 모금했다. 2025년 10월에는 클라우드 호스팅 서비스인 Ollama Cloud가 출시되었으며, 2026년 1월에는 텍스트 기반 추론을 위한 추론 시간 확장(test-time compute) 기능이 도입되었다.
기능
Ollama는 로컬 및 클라우드 환경에서 LLM을 실행하고 관리하기 위한 다양한 기능을 제공한다. 사용자는 명령줄 인터페이스를 통해 모델을 다운로드, 실행, 사용자 지정할 수 있으며, 로컬 REST API를 통해 HTTP 요청으로 모델과 상호작용할 수 있다. 또한 Python, JavaScript, Go 등 여러 프로그래밍 언어용 공식 클라이언트 라이브러리를 제공한다. Ollama는 GPU 가속을 지원하며, CPU 전용 실행도 가능하다. 모델은 Modelfile이라는 구성 파일을 통해 사용자 지정할 수 있으며, 이 파일은 모델의 시스템 프롬프트, 매개변수, 템플릿 등을 정의한다. Ollama는 또한 모델의 양자화를 지원하여 메모리 사용량을 줄이고 성능을 최적화할 수 있다.
지원 모델
Ollama는 다양한 오픈 가중치 LLM을 지원한다. 주요 모델로는 Llama 3.1, Gemma 2, Mistral, Qwen 2.5, DeepSeek R1, Phi 3, Command R, Moondream 등이 있다. 또한 사용자는 Hugging Face와 같은 플랫폼에서 모델을 가져오거나 GGUF 형식의 모델을 직접 가져올 수 있다. Ollama는 모델 라이브러리에서 수천 개의 모델을 제공하며, 사용자는 태그를 통해 특정 모델 버전을 선택할 수 있다.
API 및 통합
Ollama는 OpenAI 호환 API를 제공하여 기존 OpenAI API를 사용하는 애플리케이션과의 호환성을 보장한다. 이를 통해 사용자는 OpenAI SDK를 그대로 사용하여 Ollama 서버에 연결할 수 있다. Ollama는 또한 LangChain, LlamaIndex와 같은 LLM 프레임워크와의 통합을 지원하며, Open WebUI, AnythingLLM과 같은 오픈소스 GUI 도구와도 호환된다. 2025년 10월부터는 클로드 코드(Claude Code), 코덱스(Codex), 코파일럿 CLI(Copilot CLI)와 같은 AI 코딩 어시스턴트와의 통합을 지원하기 시작했다.
보안
Ollama는 기본적으로 로컬 서버로 실행되며, 127.0.0.1 주소에서만 수신 대기하도록 설정되어 있다. 그러나 사용자가 서버를 네트워크에 노출시키는 경우 보안 위험이 발생할 수 있다. 2025년 1월, 보안 연구원들은 공개적으로 노출된 Ollama 서버에서 모델 탈취, 서비스 거부, 원격 코드 실행 등의 취약점을 발견했다. Ollama는 이러한 위험을 완화하기 위해 API 키 인증, CORS 정책, 모델 접근 제어 등의 보안 기능을 제공한다. 또한 Ollama는 모델 파일의 무결성을 검증하기 위한 체크섬 검증 기능을 포함한다.
같이 보기
- llama.cpp - Ollama의 추론 백엔드로 사용되는 C++ 라이브러리
- LM Studio - 로컬 LLM 실행을 위한 데스크톱 애플리케이션
- vLLM - 고성능 LLM 추론 엔진
- 오픈소스 인공지능 소프트웨어 목록