Ollama ist eine Open-Source-Softwareplattform, die 2023 von Jeffrey Morgan und Michael Chiang entwickelt wurde, um große Sprachmodelle auf lokalen Computern und über gehostete Cloud-Modelle auszuführen und zu verwalten. Sie bietet eine Befehlszeilenschnittstelle, eine native grafische Benutzeroberfläche, eine lokale REST-API, Werkzeuge zur Modellverwaltung sowie Integrationen zur Nutzung von Open-Weight-Modellen mit Programmierassistenten und anderen Anwendungen. Die Plattform soll den Prozess des Herunterladens, Ausführens und Verwaltens von Modellen wie Llama, Gemma, Mistral, Qwen und DeepSeek auf persönlicher Hardware vereinfachen und generative KI für einzelne Nutzer und Entwickler zugänglicher machen.
Ollama fungiert als Brücke zwischen den rohen Modellgewichten und dem Endnutzer, indem es die Komplexität der Modellbereitstellung und Inferenz abstrahiert. Standardmäßig läuft es lokal, was Datenschutz- und Datenkontrollbedenken adressiert, die bei cloudbasierten KI-Diensten auftreten. Das Projekt hat in der Open-Source-Community als Werkzeug für Experimente, Entwicklung und Bereitstellung von Open-Weight-Modellen an Bedeutung gewonnen, ohne dass umfangreiche Infrastruktur oder Cloud-Abonnements erforderlich sind.
Geschichte
Ollama wurde erstmals am 8. Juli 2023 veröffentlicht. Das Projekt wurde mit dem Wachstum lokaler Software für große Sprachmodelle in Verbindung gebracht, die es Nutzern ermöglicht, Modelle wie Llama, Gemma, Mistral, Qwen, gpt-oss, GLM und DeepSeek auf einem lokalen Rechner herunterzuladen und auszuführen. Diese Veröffentlichung fiel mit einem breiteren Trend zur lokalen Inferenz zusammen, der durch Verbesserungen bei der Modellquantisierung und den Fähigkeiten von Verbraucherhardware vorangetrieben wurde.
In den Jahren 2025 und 2026 fügte Ollama zusätzliche Anwendungs- und Cloud-Funktionen hinzu, darunter gehostete Cloud-Modelle, Websuchunterstützung, Tool- und Coding-Agent-Integrationen sowie Unterstützung für die Nutzung von Ollama mit Anwendungen wie Claude Code, Codex, OpenCode, Copilot CLI und OpenClaw. Im März 2026 kündigte Ollama Vorschauunterstützung für Apple-Silicon an und erweiterte damit die Kompatibilität mit Mac-Hardware. Im Juli 2026 sammelte das Unternehmen 65 Millionen US-Dollar an Finanzmitteln ein, was das Vertrauen der Investoren in das Wachstum und die Marktposition der Plattform signalisiert.
Funktionen
Ollama umfasst Werkzeuge zum Herunterladen, Ausführen, Importieren und Verwalten großer Sprachmodelle. Nutzer können Modelle über die Befehlszeile ausführen, über eine lokale HTTP-API mit ihnen interagieren oder Client-Bibliotheken für Programmiersprachen wie Python und JavaScript verwenden. Das Projekt bietet eine REST-API für Chat- und Modellverwaltungsfunktionen, wobei der standardmäßige lokale Dienst üblicherweise auf Port 11434 verfügbar ist. Ollama vertreibt außerdem ein offizielles Docker-Image und stellt Modellbibliotheken sowie Dokumentationen für die Ausführung unterstützter Modelle bereit.
Die Plattform verwendet das llama.cpp-Backend für lokale Modellinferenz, das die Ausführung quantisierter Modelle unterstützt, die weniger Speicher benötigen. Sie kann Grafikkarten (GPUs) nutzen, um Berechnungen zu beschleunigen, und setzt dabei auf Hardware von Anbietern wie NVIDIA, AMD und Intel. Ollama unterstützt ein Modellbibliotheksformat, das es Nutzern ermöglicht, Modellvarianten per Namen abzurufen, auszuführen und zu verwalten, was den Arbeitsablauf beim Wechsel zwischen verschiedenen Modellen oder Konfigurationen vereinfacht.
In der Zwischenzeit wird die herunterladbare Software des Projekts als Backend-Plattform für Low-Code/No-Code-Self-Hosting von LLMs untersucht, was möglicherweise Verarbeitung natürlicher Sprache für nichttechnische Endnutzer zugänglicher machen könnte. Ollama bietet außerdem experimentelle Unterstützung für Bildgenerierung mit Modellen wie Flux auf macOS, wobei Windows- und Linux-Unterstützung in Zukunft erwartet wird.
Sicherheit
Da Ollama häufig zur Ausführung lokaler oder selbst gehosteter KI-Modelle verwendet wird, haben Sicherheitsforscher Risiken durch fehlkonfigurierte öffentliche Bereitstellungen untersucht. Im Januar 2026 berichtete The Hacker News über Forschung von SentinelOne und Censys, die ergab, dass viele Ollama-Server öffentlich im Internet exponiert waren, hauptsächlich durch Bindung an die INADDR_ANY-Schnittstelle (0.0.0.0), was auf einem unzureichend gesicherten System den Zugriff von anderen lokalen oder entfernten Geräten ermöglichen würde, obwohl Ollama standardmäßig lokal laufen soll. Dies unterstreicht die Bedeutung einer ordnungsgemäßen Netzwerkkonfiguration und Firewall-Regeln für Nutzer, die Ollama in gemeinsamen oder Cloud-Umgebungen bereitstellen.
Ökosystem und Integrationen
Ollamas Design als lokaler Inferenzserver hat es zu einem beliebten Backend für verschiedene Anwendungen gemacht. Es integriert sich in Programmierassistenten wie Copilot und andere Entwicklerwerkzeuge, sodass Nutzer Open-Weight-Modelle für Codevervollständigung und -generierung ausführen können, ohne Code an externe Server zu senden. Die Plattform unterstützt außerdem Websuchfunktionen, die es Modellen ermöglichen, aktuelle Informationen während Gesprächen abzurufen, sowie Tool-Integrationen, die es Modellen ermöglichen, externe Funktionen oder APIs aufzurufen.
Die von Ollama gepflegte Modellbibliothek umfasst eine breite Palette von Open-Weight-Modellen von Organisationen wie Meta (Llama), Google (Gemma), Mistral AI (Mistral) und Alibaba Cloud (Qwen). Diese Vielfalt ermöglicht es Nutzern, Modelle basierend auf Leistung, Größe oder Lizenzanforderungen auszuwählen. Ollamas Befehlszeilenschnittstelle und REST-API machen es für Skripterstellung und Automatisierung geeignet, und sein Docker-Image erleichtert die Bereitstellung in containerisierten Umgebungen.
Siehe auch
- llama.cpp - das Inferenz-Backend, das von Ollama verwendet wird
- LM Studio - eine Desktop-Anwendung zum lokalen Ausführen und Interagieren mit LLMs
- vLLM - eine Inferenz-Engine mit hohem Durchsatz für LLMs
- SGLang - ein Framework zur strukturierten Generierung für LLMs
- Liste von Open-Source-Software für künstliche Intelligenz