结构化输出是Generative AI和Large language model部署中的一种技术，它约束模型的响应以符合预定义的模式，最常见的是JSON，但也包括XML、YAML或形式文法等其他格式。这种方法通过确保模型的输出是机器可读的，并且可以直接被软件应用、API或数据库消费，而无需脆弱的解析，来解决自由形式文本生成固有的可变性。该技术对于需要确定性接口的生产系统至关重要，例如自动化数据提取、工具使用和多步骤代理工作流。
这一概念随着大型语言模型从研究原型过渡到生产系统而出现，特别是在2020年OpenAI发布GPT-3等模型之后。早期采用者使用提示工程来请求JSON响应，但这些往往不可靠，模型偶尔会遗漏字段、包含无关文本或产生无效语法。到2023年，提供商开始实现原生支持约束解码，通过改变采样过程本身来保证模式合规性。
约束解码
约束解码是结构化输出背后的核心机制。在标准的Transformer (architecture)解码器中，模型通过在每一步从词汇表上的概率分布中采样来生成文本。约束解码将此采样限制为根据用户提供的模式（如文法或JSON模式）有效的令牌子集。这确保了最终输出在语法上是正确的，并符合指定的结构。
最早推广这种方法的一个库是outlines库，由David Martin及其同事于2023年发布。它使用有限状态机来表示正则文法，并在解码过程中应用它们。类似地，Berkeley AI Research的guidance引入了一个基于模板的接口，允许用户定义交错的模型生成和控制流。这些开源工具证明了约束解码可以高效且实用，从而推动了更广泛的行业采用。
API支持和JSON模式
到2023年，主要云提供商将结构化输出集成到其LLM API中，通常以“JSON模式”或“结构化输出”为标签。例如，OpenAI于2023年6月为其GPT-3.5和GPT-4模型引入了JSON模式，该模式支持有效JSON响应，但不强制特定模式。2024年8月的后续更新增加了严格的模式执行，允许开发者提供模型必须满足的JSON Schema定义。Anthropic在2024年也跟随推出了自己的结构化输出能力，利用工具使用和显式XML输出格式。
Amazon Web Services通过其Bedrock服务提供结构化输出，支持多种模型上的JSON和其他格式。Microsoft Azure也为其OpenAI兼容端点和Azure AI中托管的模型提供JSON模式。这些平台通常暴露response_format或guided_json等参数，以便无需自定义代码即可启用该功能。
文法和形式语言
在约束解码中使用形式文法允许更表达性和可移植的模式定义。像llama.cpp这样的工具实现了GBNF（语法巴科斯-诺尔范式），使用户能够指定解码过程必须遵循的自定义文法。这种技术对于需要超出简单JSON的复杂数据结构（如嵌套数组或领域特定语言）的应用特别有用。
另一种方法称为“语法引导生成”，使用上下文无关文法来解析部分输出并过滤有效的下一个令牌。这种方法已被证明可以保证输出有效性，同时保持采样灵活性，如2023年论文“Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning”中由Carnegie Mellon University和Alibaba Damo Academy的研究人员所展示。
应用
结构化输出在多个领域已成为不可或缺的。在软件工程中，GitHub Copilot和TabNine等代码生成助手使用它来生成符合用户定义接口的完整函数或类。在数据科学中，分析师使用LLM从非结构化文本中提取结构化信息，例如将客户反馈转换为情感类别或提取命名实体以进行数据库插入。
在金融领域，Commure和其他健康科技公司部署结构化输出来解析医疗记录并生成结构化临床笔记。法律技术公司使用它来将合同总结为预定义的字段-值对。在新兴的代理AI领域，结构化输出允许模型通过发出与工具API签名匹配的参数来可靠地调用外部工具，减少自动化中的错误。
该技术还在模型评估中发挥作用，其中BLEU或ROUGE等指标要求输出一致地分词。通过强制特定格式，评估变得更加可复现。
与微调的比较
实现结构化响应的另一种方法是在遵循所需格式的输入-输出对数据集上微调模型。然而，这需要收集和标记数千个示例，并且计算成本高昂。通过约束解码的结构化输出提供了一种零样本解决方案，适用于任何预训练模型，无需额外训练数据。这使得部署更快且更易于更新，因为模式更改只需更新约束，而无需重新训练。
尽管有这些优势，微调有时可以在复杂模式上带来更高的准确性，因为模型在训练期间内化了格式化规则。OpenAI在2024年的研究表明，微调和结构化解码的组合产生了最佳的可靠性，表明这两种方法是互补的。
局限性和挑战
结构化输出施加的约束可能会降低模型的流畅性或使其在开放式推理中遇到困难。当模式过于严格时，模型可能无法产生有效输出，因为有效令牌空间变得太小，导致解码循环或空输出。开发者通常通过允许回退自由文本字段或使用两阶段过程（首先生成草稿，然后过滤或验证）来缓解这种情况。
另一个挑战是结构化输出不保证语义正确性。模型可能发出符合模式验证的JSON，但包含事实错误或逻辑不一致的数据。模式验证仅检查语法，不检查含义，因此下游验证仍然是必要的。
此外，约束解码可能比无约束生成更慢，因为令牌过滤器可能需要重复前向传递以找到有效令牌。优化技术，如缓存令牌掩码或使用早期拒绝，有助于但不会消除开销。提供商通常报告启用结构化输出时延迟增加10-20%。
未来方向
随着Deep learning模型继续扩展，结构化输出正在演进以支持更复杂的模式，包括嵌套条件类型和递归结构。multi-head attention的改进和推测解码等高效解码方法的引入预计将减少性能损失。
研究也在探索在多模态模型中使用结构化输出，其中输出可能是文本和结构化数据的组合，或在语音合成中，输出是波形但可以对韵律应用结构化约束。结构化输出与强化学习的集成，例如在RLHF微调中，是另一个有前景的途径，以教导模型更自然地遵循模式。
在Artificial intelligence的更广泛背景下，结构化输出充当neural networks和符号系统之间的桥梁，使混合AI架构成为可能，其中LLM产生可由基于规则的推理器处理的结构化轨迹。这与Joshua Tenenbaum和Brendan Lake等研究人员倡导的神经符号AI愿景一致，表明结构化输出将继续作为可靠AI集成的关键使能技术。
结论
结构化输出代表了一种实用且强大的技术，使大型语言模型不仅仅是文本生成器。通过将它们的响应约束到预定义模式，它实现了确定性、机器可读的输出，这对于健壮的软件系统至关重要。随着对可靠AI的需求增长，结构化输出很可能成为几乎所有LLM部署中的标准功能，支撑从简单数据输入到复杂自主代理的一切。