深度朗伯网络是一类将朗伯反射（即表面在所有方向上均匀散射光的特性）的物理原理直接融入其计算图的神经网络架构。这些网络旨在模拟物体在漫射光照条件下的外观，因此特别适用于计算机视觉、图像合成和逆渲染等任务。通过在网络结构中嵌入基于物理的照明模型，深度朗伯网络旨在相比纯数据驱动方法提高泛化能力和可解释性。
这一概念源于机器学习与计算光学交叉领域的研究，建立在可追溯至约翰·海因里希·朗伯1760年著作的经典漫反射模型之上。在深度朗伯网络中，每一层或模块通常对应于渲染方程的一个组成部分，例如表面反照率估计、光照估计或最终图像形成过程。这种结构先验使网络能够将内在场景属性（如反射率和照明）与观测到的像素强度分离开来，而这一问题在其他情况下是不适定的。
架构设计
深度朗伯网络通常采用编码器-解码器结构。编码器（通常是卷积网络）接收输入图像，并预测逐像素反照率（表面颜色）和光照描述符（如球谐系数）。解码器随后使用一个可微渲染层，应用朗伯反射模型：出射辐射度是反照率与余弦加权入射辐照度的乘积。该渲染层完全可微，从而能够通过标准反向传播进行端到端训练。
与学习隐式表示的通用深度学习模型不同，深度朗伯网络在输出阶段强制执行硬物理约束。这一约束缩小了假设空间，从而可能带来更好的样本效率和更稳健的未见光照条件下的性能。一些变体结合了残差连接，以迭代优化反照率和光照估计，提高在具有阴影或相互反射的复杂场景中的准确性。
训练与优化
训练深度朗伯网络通常需要成对的图像和真实反照率或光照信息数据集，这些数据通常使用基于物理的渲染器合成生成。损失函数通常结合重建损失（如预测图像与实际图像之间的L1或L2损失）与正则化项，以鼓励反照率图的平滑性或低频光照。优化依赖于标准算法，如Adam或SGD变体，通常配合学习率调度和批归一化以稳定训练。
一个关键挑战是反照率与光照之间的模糊性：暗表面在强光下可能产生与亮表面在弱光下相同的图像。为缓解这一问题，研究者引入了先验，例如假设反照率分段恒定或使用具有变化光照条件的数据增强。一些架构还采用多头注意力机制来捕捉图像中的长距离依赖，从而提高复杂几何场景的光照估计。
应用
深度朗伯网络在多个领域找到了应用。在生成式AI中，它们用于可控图像编辑，用户可以通过修改光照参数同时保持反照率来重新照亮场景。在增强现实中，这些网络帮助将虚拟物体以一致的着色插入真实场景。它们还支持用于3D重建的逆渲染管线，从而能够从照片中提取材质属性。
在人工智能研究背景下，深度朗伯网络体现了向物理信息机器学习发展的更广泛趋势，其中领域知识被编码到网络架构中以提高可解释性和数据效率。MIT CSAIL和斯坦福AI实验室等机构的研究者已探索这些模型用于人脸重光照和材质识别等任务，尽管该方法仍不如纯学习方法被广泛采用。
局限性与扩展
深度朗伯网络的主要局限性在于其假设表面为纯漫反射，这无法处理镜面或半透明材质。已提出扩展方案以纳入微面模型或使用交叉注意力层来处理视角相关效应。另一个局限性是可微渲染层的计算成本，这可以通过模型剪枝或在专用硬件（如AWS Trainium或Graphcore IPU）上的高效实现来缓解。
近期工作还探索了将深度朗伯网络与Transformer结合用于全局光照上下文，或与U-Net骨干结合用于高分辨率输出的混合方法。这些扩展旨在弥合物理准确性与现代深度学习灵活性之间的差距，表明深度朗伯网络将继续作为计算机视觉工具包中一个小众但有价值的工具而发展。
参见
参考文献
- Lambert, J. H. (1760). Photometria.
- 关于内在图像分解和基于物理的深度学习的学术论文。
- 来自学术实验室关于可微渲染的技术报告。