Ollama是一个开源软件平台，由Jeffrey Morgan和Michael Chiang于2023年开发，用于在本地计算机上运行和管理大型语言模型，并支持通过托管云模型使用。它提供命令行界面、原生图形用户界面、本地REST API、模型管理工具，以及用于将开源模型与编码助手和其他应用程序集成的功能。该平台旨在简化在个人硬件上下载、运行和管理Llama、Gemma、Mistral、Qwen和DeepSeek等模型的过程，使生成式人工智能对个人用户和开发者更加易用。
Ollama充当原始模型权重与最终用户之间的桥梁，抽象化了模型服务和推理的复杂性。默认情况下，它在本地运行，从而解决了使用云AI服务时出现的隐私和数据控制问题。该项目已在开源社区中获得广泛关注，成为无需大量基础设施或云订阅即可实验、开发和部署开放权重模型的工具。
历史
Ollama于2023年7月8日首次发布。该项目的发展与本地大型语言模型软件的兴起密切相关，使用户能够在本地机器上下载并运行Llama、Gemma、Mistral、Qwen、gpt-oss、GLM和DeepSeek等模型。其发布恰逢本地推理的广泛趋势，这一趋势得益于模型量化技术的改进和消费级硬件性能的提升。
2025年和2026年，Ollama增加了更多应用和云功能，包括托管云模型、网络搜索支持、工具和编码代理集成，以及支持与Claude Code、Codex、OpenCode、Copilot CLI和OpenClaw等应用程序配合使用。2026年3月，Ollama宣布对Apple silicon提供预览支持，扩展了其对Mac硬件的兼容性。2026年7月，该公司筹集了6500万美元资金，显示出市场对该平台增长和定位的信心。
功能
Ollama提供用于下载、运行、导入和管理大型语言模型的工具。用户可以通过命令行运行模型，通过本地HTTP API与之交互，或使用Python和JavaScript等编程语言的客户端库。该项目提供用于聊天和模型管理功能的REST API，默认本地服务端口为11434。Ollama还分发官方Docker镜像，并提供模型库和文档，以支持运行各种模型。
该平台使用llama.cpp作为本地模型推理的后端，支持运行量化模型以减少内存占用。它可利用NVIDIA、AMD和Intel等厂商的显卡（GPU）来加速计算。Ollama支持一种模型库格式，允许用户按名称拉取、运行和管理模型变体，从而简化了在不同模型或配置之间切换的工作流程。
与此同时，该项目的可下载软件正被探索作为低代码/无代码自托管LLM的后端平台，可能使自然语言处理用例对非技术终端用户更加易用。Ollama还对图像生成提供了实验性支持，可使用Flux等模型，并计划在未来支持Windows和Linux平台。
安全性
由于Ollama常用于运行本地或自托管的AI模型，安全研究人员已对错误配置的公共部署风险进行了审查。2026年1月，The Hacker News报道了SentinelOne和Censys的研究，发现许多Ollama服务器暴露于公共互联网，主要原因是绑定了INADDR_ANY接口（0.0.0.0），在安全配置不当的系统上，这可能允许其他本地或远程设备访问，尽管Ollama默认设计为本地运行。这凸显了在共享或云环境中部署Ollama时，正确配置网络和防火墙规则的重要性。
生态系统与集成
Ollama作为本地推理服务器的设计使其成为各种应用的热门后端。它与Copilot等编码助手及其他开发者工具集成，使用户无需将代码发送到外部服务器即可运行开放权重模型进行代码补全和生成。该平台还支持网络搜索功能，使模型能够在对话中获取最新信息，并支持工具集成，使模型能够调用外部函数或API。
Ollama维护的模型库包含来自各组织的多种开放权重模型，如Meta（Llama）、Google（Gemma）、Mistral AI（Mistral）和阿里巴巴云（Qwen）。这种多样性使用户可以根据性能、许可要求或特定需求选择模型。Ollama的命令行界面和REST API使其适用于脚本编写和自动化，而其Docker镜像则便于在容器化环境中部署。