深度学习是机器学习的一个分支，它使用具有多个堆叠层的人工神经网络直接从原始数据（如像素、音频波形或文本）中学习分层表示，而无需手工设计的特征。“深度”一词指的是输入与输出之间的层数，此类系统的信用分配路径（CAP）深度通常大于二。深度学习可以是监督式、半监督式或无监督式的，它从生物大脑功能中汲取灵感，但并不旨在模拟其机制。
历史
深度学习的数学基础可追溯至20世纪80年代，当时反向传播被推广为训练多层网络的方法。由于数据有限、计算能力有限以及来自其他统计方法的竞争，进展在20世纪90年代和2000年代陷入停滞，这一时期有时被描述为连接主义方法所经历的更广泛人工智能寒冬的一部分。该领域的现代时代通常以2012年为起点，当时在图形处理单元上训练的深度卷积神经网络AlexNet以远超基于手工特征方法的优势赢得了ImageNet竞赛。研究人员杰弗里·辛顿、扬·勒昆和约书亚·本吉奥后来被称为该领域的奠基三人组，因其基础性工作获得了2018年图灵奖；辛顿与物理学家约翰·霍普菲尔德因相关基础性工作共同获得了2024年诺贝尔物理学奖。
“深度学习”一词于1986年由Rina Dechter引入机器学习社区，并于2000年由Igor Aizenberg及其同事在布尔阈值神经元的背景下引入人工神经网络领域。
架构
早期深度学习的成功来自用于图像的卷积网络和用于文本、语音等序列数据的循环神经网络（包括LSTM变体）。常见架构还包括全连接网络、深度信念网络、生成对抗网络（GAN）、Transformer和神经辐射场。2017年引入的Transformer架构使用注意力机制并行处理序列，而非逐步递归，在很大程度上取代了循环网络在语言任务中的地位，并成为现代大型语言模型的基础。网络通过梯度下降变体最小化损失函数来训练，其中使用反向传播来计算每个参数应如何变化。深度学习模型可以通过贪婪的逐层方法构建，并可应用于无监督学习任务。
规模化有效的原因
与早期统计方法相比，深度网络从更多数据和更多计算中获益不成比例，这种关系后来被形式化为缩放定律。这种缩放行为，加上最初为图形渲染而设计的GPU硬件的并行处理能力，使得从业者能够在2010年代和2020年代训练越来越大的模型。英伟达在AI能力GPU及其CUDA软件平台上的主导地位因此成为行业基础设施的核心部分。
解释
深度神经网络通常根据通用逼近定理或概率推断来解释。经典通用逼近定理指出，具有有限大小单隐藏层的前馈网络可以逼近连续函数；第一个证明由George Cybenko于1989年针对Sigmoid激活函数发表，并由Kurt Hornik于1991年推广到多层架构。最近的研究将通用逼近扩展到无界激活函数，如修正线性单元。概率解释将激活非线性视为累积分布函数，这导致了dropout作为正则化器的引入。
影响与批评
深度学习推动了计算机视觉、语音识别、机器翻译、自然语言处理以及最受公众关注的文本和图像生成领域的快速发展。该领域还被应用于生物信息学、药物设计、医学图像分析、气候科学、材料检测和棋类游戏程序，在某些情况下其结果已达到或超越人类专家水平。批评者指出，深度网络在很大程度上仍然不透明，作为统计模式匹配器其失败难以预测，并且需要巨大的能源和数据资源，引发了环境和版权方面的担忧。支持者反驳称，同样的缩放配方已反复产生并非明确设计的能力，这一模式是当前关于该领域向更通用智能发展轨迹的辩论核心。
近期发展
在2020年代，基于Transformer架构的大型语言模型（如GPT和Hugging Face Transformers库）成为主流产品。深度学习还扩展到生成模型，如用于图像合成的GAN和扩散模型，以及用于3D场景重建的神经辐射场。表示学习和无监督学习的进展继续减少对标注数据的依赖。该领域仍是深入研究和公众辩论的焦点，持续努力改进可解释性、效率以及与人类价值观的一致性。