文本到图像基准测试是用于评估根据文本描述生成图像的生成模型性能的标准化评价框架。这些基准测试通常由精选的提示集、参考数据集以及自动化或人工评估指标组成，用以量化模型的输出在语义内容、视觉质量和多样性方面与预期目标的匹配程度。它们为研究人员和开发者提供了关键工具，用于比较不同架构、追踪随时间推移的进展，并识别生成式人工智能系统中的具体弱点。
此类基准测试的需求伴随着文本到图像模型的快速发展而出现，这些模型利用了诸如变换器架构和基于扩散的方法等深度学习技术。早期模型往往生成视觉上吸引人但语义不正确的图像，因此，强有力的评估变得至关重要。基准测试为报告结果提供了通用语言，使得跨研究的可重复比较成为可能，并推动了提示理解、组合推理和照片级逼真度等领域的改进。
核心评估指标
自动化指标构成了大多数文本到图像基准测试的骨干。弗雷歇初始距离（FID）衡量生成图像分布与真实图像分布之间的统计相似性，分数越低表示视觉质量越高。初始分数（IS）评估图像的清晰度和多样性。对于文本与图像的对应关系，诸如CLIPScore之类的指标计算来自预训练神经网络（如CLIP）的图像和文本嵌入之间的余弦相似度，从而提供语义对应的代理指标。更新的指标（如VQAScore）使用视觉语言模型来回答有关图像内容的详细问题，提供更细粒度的对应关系评估。
人工评估仍然是黄金标准，尽管其成本高昂且速度较慢。基准测试通常纳入人工评分员，他们根据整体质量、提示遵循度和美学吸引力等标准对图像进行评判。众包平台支持大规模研究，但评分员间的差异和主观偏见要求精心设计实验。一些基准测试将自动化和人工评分结合成综合指数，以平衡客观性和感知相关性。
主要基准数据集
几个广泛采用的基准测试塑造了这一领域。COCO数据集，最初用于图像描述，经常被重新用于文本到图像评估，提供5,000条参考描述进行测试。由谷歌于2022年推出的DrawBench基准测试包含200个提示，涵盖颜色、计数和空间关系等类别，旨在探测特定模型能力。类似地，T2I-CompBench侧重于组合生成，测试模型在属性、关系和复杂场景方面的表现。2023年发布的GenEval基准测试强调对象计数和位置准确性，而来自开放人工智能的DALL-Eval基准测试则评估图像质量和偏见。由斯坦福人工智能实验室于2023年推出的HEIM（文本到图像模型整体评估）基准测试将评估扩展到包括毒性、公平性和效率在内的12个不同维度。
评估挑战与局限
尽管有其效用，文本到图像基准测试仍面临重大挑战。自动化指标往往与人类感知的关联不完善；例如，FID可能对语义错误不敏感，而CLIPScore可能偏向通用图像。基准测试还受到提示偏差的影响，因为精选的提示集可能无法代表真实世界中的使用情况。许多提示简短且简单，未能捕捉自然语言的复杂性。此外，模型可能过拟合基准测试提示，导致分数虚高而无法泛化。模型开发的快速步伐意味着基准测试很快就会过时，需要持续更新以保持相关性。
另一个局限是缺乏标准化报告。不同论文使用不同的提示子集、预处理步骤和指标实现，使得直接比较变得困难。解决此问题的努力包括创建排行榜，例如文本到图像基准测试社区维护的排行榜，在一致条件下汇总结果。然而，这些排行榜通常依赖自我报告的数字，可能引入选择性报告的潜在偏差。
近期发展与未来方向
最近的基准测试已朝着更全面和动态的评估方向发展。T2I-CompBench和GenEval推动了组合推理，而HEIM基准测试整合了包括安全性和环境影响在内的多个维度。人们越来越感兴趣于使用大型大型语言模型作为评判者，其中像GPT-4V这样的模型评估生成的图像，提供了可扩展的替代人类评分员的方法。然而，这种方法继承了评判模型的偏见和局限。
未来的基准测试很可能纳入更多样化和文化包容的提示，解决当前数据集中以西方为中心的问题。实时和交互式评估（用户可以在此提供反馈）是另一个新兴趋势。随着文本到图像模型更深入地融入创意工作流程，基准测试将需要不仅评估质量，还要评估可控性、可编辑性和与用户意图的一致性。开发标准化、开源的评价套件对于在这一快速发展的领域中保持科学严谨性至关重要。
对模型发展的影响
基准测试直接影响了文本到图像系统的设计。例如，早期模型在DrawBench的计数任务上的失败导致了更显式的空间和数值推理模块的引入。对组合基准测试的强调推动了更好的交叉注意力机制和位置编码策略的研究。像谷歌深度思维和开放人工智能这样的公司通常使用内部基准测试来指导训练决策，例如调整多样性和保真度之间的平衡。公共基准测试也作为营销工具，最先进的结果被用来展示技术领导力。因此，基准测试不仅仅是被动的测量工具，而是创新的主动驱动因素，塑造着人工智能领域的研究议程和商业优先事项。