构建真实评估的四条铁律

1. 不要基于当前模型的弱点来构建题库：模型能力参差不齐。如果你专门挑选模型今天答错的题目，你衡量的是这个特定版本的指纹缺陷，而非任务难度。下一代模型发布后，你的题库就失效了。 2. 即使最强模型在最大思考量下，得分也必须远低于100：如果你的测试集让最强模型轻松拿满分，说明题目太简单，你无法判断后续改动是提升了还是退化了。 3. 优先用程序作为评判者，其次才是LLM：任何能用代码检查的内容（单元测试、JSON Schema验证）都不应使用LLM评判。当必须使用LLM评判时，不要用模糊的1-5分评分；要编写可核查事实的检查清单，或进行盲测A/B对比。 4. 必须区分真实改进与随机噪声：如果每次运行得分都有波动，说明题目存在歧义，或环境残留了文件让AI作弊。