LLM工程精通检查清单

作为AI工程师，请学习 >利用工程，而不仅仅是提示工程 >上下文工程，而不仅仅是长提示 >提示缓存与语义缓存的权衡 >KV缓存管理、驱逐、复用以及大规模下的内存压力 >预填充与解码延迟，以及为何它们的优化方式不同 >连续批处理、分页注意力与吞吐量优化 >投机解码与量化与蒸馏的权衡 >INT8、INT4、FP8、AWQ、GPTQ，以及量化何时会损害质量 >结构化输出失败、模式验证、修复循环与回退链 >函数调用可靠性、工具契约、参数验证与幂等性 >代理护栏、循环预算、工具预算与终止条件 >模型路由、优雅回退逻辑与降级模式用户体验 >RAG架构：分块、嵌入、混合搜索、重排序与新鲜度 >检索评估：召回率、精确率、接地性、归因与引用质量 >评估：黄金集、回归测试、对抗性测试、LLM作为评判者与人工评估 >LLM可观测性作为首要学科：追踪、跨度、令牌、延迟、错误与漂移 >按功能、工作流、租户和用户旅程进行成本归因，而不仅仅是按模型 >安全工程：提示注入防御、数据泄露防护与权限边界 >多租户隔离、缓存安全与跨用户上下文污染预防 >微调与上下文学习与RAG与蒸馏，以及何时每种方法都是错误的工具 >整个推理栈中的延迟、质量、成本与可靠性权衡 >生产故障模式：幻觉工具调用、格式错误的JSON、过时检索、失控代理与静默评估回归