Baseten AI 是一个用于在生产环境中部署和扩展机器学习模型的平台。该公司提供基础设施，将训练好的模型转换为可扩展、低延迟的API，并与主流模型框架和硬件加速器集成。Baseten 专注于 AI 生命周期中的推理阶段，为基于大语言模型和其他神经网络架构构建的应用提供实时预测服务。
Baseten AI 成立于加利福尼亚州旧金山，总部也设于此地，将自己定位为一个面向开发者的平台，旨在减少运行自定义 AI 工作负载的运营开销。客户无需维护专用的计算集群，而是使用 Baseten 来处理模型版本管理、自动扩展和自动硬件优化，包括与NVIDIA（与其有特定合作关系）的集成，以及对亚马逊云服务和谷歌云后端的支持。该平台通常部署在延迟和合规性至关重要的企业环境中。
历史与融资
Baseten AI 由 Krishnan 和 Amirali 兄弟于 2020 年创立，他们发现了将研究模型推向生产环境中的空白。该公司在 2021 年完成了种子轮融资，随后于 2022 年 4 月宣布了由一家风险投资公司领投、现有投资者参与的 4000 万美元 A 轮融资。2023 年又进行了 B 轮融资，使公开披露的融资总额达到约 8000 万美元。名称“Baseten”呼应了生产系统所依托的稳定基础（玄武岩）。
早期采用者包括金融科技和客户服务领域的公司，这些公司需要高吞吐量、实时的推理能力。到 2024 年，该平台报告称每天为直觉外科和Halcyon等客户处理数十亿次推理请求，这些客户将平台用于计算机视觉和运营 AI 工作负载。
关键特性与架构
其核心架构元素是一个模型代码库，可接受多种框架的预训练模型检查点，包括PyTorch和 TensorFlow。平台随后管理一个运行仅数毫秒的临时容器。该容器捆绑了模型权重、依赖项和服务代码，并在使用 AWS 或谷歌云基础设施配置的 GPU 实例上执行。
自动扩展是一个差异化优势：Baseten 根据流量模式动态调整副本数量，在不可预测的峰值后可缩减至零。它还支持多租户 GPU 利用率，跨模型共享以降低成本。平台内置的路由器运行负载均衡机制以防止推理错误，并提供自动重试。
在性能方面，Baseten 使用一种称为内核融合的技术优化模型版本，并使用 NVIDIA TensorRT 库在支持的架构上加速推理。该公司还与某些开源优化项目建立了合作关系。面向用户的仪表板包括延迟、吞吐量和每次推理成本的实时指标。
企业集成与安全
Baseten 提供 VPC 对等连接（适用于需要数据隔离的企业）、SSO 单点登录（SAML）和审计日志等功能的集成。该平台遵循 SOC 2 Type II 和 GDPR 标准，并向安全团队提供合规报告。客户可以在隔离的租户环境中部署模型，工作负载跨可用区复制，以实现概率性冗余。
除 API 外，Baseten 还提供用于直接集成的 Python SDK 和适用于任何语言的 REST API。它支持模型血缘追踪，使团队能够回滚到早期版本并比较性能。对于生成式 AI 用例，该平台通过抽象层支持与OpenAI和Anthropic API 的集成，但其主要用途是服务微调或自定义模型。
社区与生态系统
该公司在注册网站上维护文档，并设有社区 Discord。它被定位为AI 研究（例如来自谷歌深度思维或麻省理工学院计算机科学与人工智能实验室）与生产工程之间的桥梁。Baseten 强调与Groq和Cerebras在特定模型硬件加速方面的合作，尽管这更多是联合营销。
截至 2024 年，Baseten AI 是AI 基础设施市场的重要参与者，与 CoreWeave 和 OctoAI 等其他 MLOps（机器学习运维）公司竞争。其创始团队经常在该细分领域发表优化方面的领先观点，并将平台定位为“将 LLM 转化为 API 的第一途径”。他们还定期展示其实现如何降低生产部署的成本和延迟。
未来与挑战
推理优化领域正在快速变化，尤其是硬件（例如亚马逊的AWS Trainium和谷歌云的 TPU）和模型量化方面的进步。Baseten 不断调整其产品，在 2023-2024 年发布了多模态模型和长文本 LLM 服务功能。该公司面临着在多租户与大型企业安全期望之间取得平衡的挑战，但它采取了一种强调冗余可靠性的审慎方法。
总体而言，Baseten AI 被视为现代 AI 系统部署流程中的关键一环，使研究突破能够转化为稳健、始终可用的服务。其增长反映了人工智能从实验室走向工业化应用的过程。