提示词是给予生成式AI模型(如大型语言模型或图像生成器)的自然语言输入,旨在引发期望的输出。提示词的范围从单一简短指令到包含示例、约束和格式要求的详尽多部分规格说明不等。
提示词的类型
根据交互方式的不同,提示词呈现出几种不同的形式。系统提示词为整个对话设定持久的指令和角色,通常对最终用户隐藏,而普通的对话输入通常被称为用户提示词。在图像和视频生成中,负面提示词单独指定应从输出中排除的内容,与主要的描述性提示词分开。包含期望输入-输出行为工作示例的提示词被称为少样本学习提示词,与之相对的是仅提供指令的零样本提示词。
提示词工程
刻意设计提示词以可靠地产生更好输出的实践被称为提示词工程。诸如思维链提示(要求模型在回答前逐步推理)等技术,源于经验观察,即提示词的措辞和结构可以显著改变模型的输出质量,即使底层模型不变。这种敏感性紧密关联于上下文学习,即语言模型根据提示词中呈现的信息调整其行为的能力,而无需更新其底层权重。
风险
由于提示词是用户以及日益增多的外部数据控制模型行为的主要接口,它们也构成了一个重要的攻击面。越狱是一种旨在绕过模型安全训练的提示词,而提示词注入则指隐藏在模型处理的内容(如网页或文档)中的恶意指令,能够在用户不知情的情况下劫持AI系统的行为。随着AI代理系统被赋予采取现实世界行动的能力,提示词注入已成为一个尤为严重的担忧,因为一次成功的注入可能导致代理滥用其工具,而不仅仅是产生糟糕的文本。
重要性
提示词在生成式AI系统使用方式中的核心地位,催生了致力于分享、优化和交易有效提示词的非正式社区和市场,同时也引发了学术界对理解特定措辞为何成功或失败的兴趣。一些研究者认为,随着模型能力的增强和意图推断能力的提升,手动提示词设计的价值将相对于有时被描述为上下文工程的更广泛实践而减弱,后者关注的是策划模型可访问的更完整的信息、工具和历史集合,而不仅仅是即时的指令。