苦涩的教训是人工智能研究中的一个原则，由计算机科学家里奇·萨顿在2019年的一篇文章中提出，该原则认为该领域的进展始终来自于扩展利用增加的计算能力的通用方法，而非来自于融入人类知识或特定领域的归纳偏置。该原则主张，试图通过将人类理解编码到系统中来构建智能的研究人员，虽然能获得短期收益，但最终会被依赖大规模计算和简单学习算法的方法所超越。这个名称反映了这种模式给研究人员带来的挫败感，因为他们的专业知识被暴力扩展所淘汰。
萨顿的文章于2019年3月发布在他的个人网站上，借鉴了他在强化学习和机器学习领域数十年的经验。他观察到，在计算机国际象棋、语音识别和计算机视觉等领域，基于手工规则和特征构建的系统最初表现良好，但后来被使用大量数据和计算训练的神经网络所超越。这个教训被认为是“苦涩的”，因为它意味着人类在设计特征和算法方面的智力劳动，其价值不如扩展计算所需的工程努力。
历史先例
苦涩的教训源于早期关于扩展力量的观察。在20世纪60年代，伯纳德·威德罗及其在斯坦福大学的学生开发了Adaline和Madaline神经网络，这些网络使用简单的学习规则，并应用于模式识别和自适应滤波。尽管这些系统受到当时硬件条件的限制，但它们证明了在某些任务上，从数据中学习可以胜过手动编程的逻辑。
在20世纪70年代和80年代，诸如MYCIN和DENDRAL之类的专家系统以基于规则的形式编码了人类专业知识，并在狭窄领域取得了成功。然而，这些系统很脆弱且难以扩展。到20世纪80年代末，贝尔实验室及其他地方的研究人员开始将神经网络应用于语音识别，使用从原始声学数据中学习的联结主义方法，而不是依赖语音规则。向学习表示的转变，加上不断增长的计算资源，预示了萨顿后来所总结的模式。
国际象棋的例子
苦涩的教训中最常被引用的例子之一是计算机国际象棋。早期的程序，例如在20世纪50年代和60年代开发的那些，依赖于由国际象棋大师和程序员设计的启发式评估函数和搜索技术。这些系统，包括国际象棋程序（由阿列克谢·埃弗罗斯的前辈们开发），取得了适度的成功，但由于其手工编码的知识不完整而陷入停滞。
1997年，IBM的深蓝使用专用硬件、暴力搜索和手动调整的评估函数的组合，击败了世界冠军加里·卡斯帕罗夫。虽然深蓝不是神经网络，但其成功证明了大规模计算的力量。后来，在2017年，DeepMind的AlphaZero使用基于深度神经网络和自博弈的单一通用算法，在国际象棋、将棋和围棋中实现了超人类表现，除了规则之外没有提供任何人类领域知识。AlphaZero的方法体现了苦涩的教训：一种通用的学习方法，通过计算进行扩展，胜过数十年人类工程化的国际象棋知识。
对现代AI的应用
苦涩的教训在深度学习和大型语言模型时代尤其具有影响力。2017年论文《注意力就是一切》中引入的Transformer架构的成功，依赖于扩展模型规模、数据和计算，而非任务特定的工程。诸如OpenAI的GPT系列和Anthropic的Claude等模型表明，增加参数和训练数据会导致涌现能力，包括推理和翻译，而无需为这些任务进行显式编程。
这种模式延伸到其他领域。在计算机视觉中，残差网络（ResNets）和U-Nets通过实现更深网络的架构创新提高了性能，但其成功仍然依赖于数百万张图像的大规模训练。在强化学习中，诸如RLHF（基于人类反馈的强化学习）和课程学习等算法被用于指导训练，但核心收益来自于扩展模拟和计算。该原则也为关于人类监督作用的辩论提供了信息：虽然模型剪枝和数据增强等技术增加了效率，但它们并不能取代性能随计算提高的基本扩展规律。
批评与反驳
苦涩的教训并未被普遍接受。一些研究人员认为，人类知识和归纳偏置仍然至关重要，特别是在数据稀缺的领域或安全性和可解释性至关重要的地方。例如，约书亚·特南鲍姆和布伦丹·莱克倡导融入因果推理和直观物理的模型，认为纯扩展可能无法捕捉人类认知的结构。同样，梅兰妮·米切尔质疑仅靠扩展是否能实现通用智能，指出当前模型在理解和常识方面的局限性。
其他人指出，苦涩的教训可能是一个历史偶然，而非普遍规律。大规模数据集和专用硬件（如NVIDIA GPU和台积电制造的芯片）的可用性使扩展变得可行，但这可能不会无限期持续。能源约束和高质量数据的有限可用性可能限制未来的收益。此外，包括阿里·拉希米和萨米·本吉奥在内的一些研究人员呼吁对扩展为何有效进行更严格的理解，而不是将其作为经验事实接受。
遗产与持续相关性
苦涩的教训已成为关于AI研究策略讨论的试金石。它影响了资金决策，OpenAI、Anthropic和DeepMind等公司大力投资于计算基础设施。它还影响了开放与封闭研究的辩论：如果扩展是主要驱动力，那么访问大规模计算就成为一种战略优势，正如AWS、Azure和Google Cloud等云服务提供商的崛起所显示的那样。
该原则也已应用于AI之外的领域，如生物信息学和计算语言学，在这些领域，数据驱动的方法已取代基于规则的系统。截至2020年代中期，苦涩的教训仍然是理解AI发展轨迹的核心框架，即使研究人员继续探索将扩展与结构化知识相结合的混合方法。其持久的相关性在于它对研究人员的挑战：优先考虑随计算而改进的方法，即使这些方法不那么优雅或与人类直觉不太一致。