胶囊神经网络（CapsNet）是一种用于机器学习的人工神经网络，旨在更好地建模数据中的层次关系，尤其是在图像识别领域。该方法通过引入称为胶囊的结构，试图更紧密地模拟生物神经组织，这些胶囊是由一组神经元组成，共同编码实体存在的概率及其姿态（如位置、大小和方向）。CapsNet的开发旨在解决传统卷积神经网络（CNN）的局限性，特别是其对池化层的依赖以及处理对象部件间空间关系的困难。
CapsNet利用了一个事实：虽然视点变化在像素层面具有非线性效应，但在部件/对象层面却具有线性效应。这一特性使网络能够无论对象姿态如何都能识别对象，类似于反转由多个部件组成的对象的渲染过程。在其他优点中，CapsNet解决了图像识别中的“毕加索问题”，即图像包含所有正确部件但空间关系不正确（例如，眼睛和嘴巴互换的脸）。
历史
胶囊网络的概念可追溯至2000年，当时杰弗里·辛顿及其同事描述了一种将分割和识别结合到单一推理过程中的成像系统，使用解析树。该系统称为可信度网络，对潜在变量和可能解析树的联合分布进行建模，并在MNIST手写数字数据库上证明有用。在辛顿的原始构想中，一个微柱体将表示并检测一个多维实体。
2017年，辛顿及其团队引入了胶囊网络的动态路由机制。据称，这种方法降低了MNIST上的错误率，并减少了训练集大小，在高度重叠的数字上，其结果明显优于CNN。自那时起，CapsNet已被研究用于各种应用，尽管它们并未像变换器等其他架构那样被广泛采用。
变换
在计算机视觉中，理解变换至关重要。不变量是在变换下不变的对象属性，例如圆在平移时的面积。等变量是以可预测方式变化的属性，例如圆心随圆移动。非等变量是不以可预测方式变化的属性，例如圆变换为椭圆时的周长。
对于对象识别，对象的类别通常在许多变换下是不变的（猫在平移或缩放时仍是猫），但其他属性是等变的，例如猫在缩放时的体积。等变属性，包括空间关系，被捕获在姿态中，姿态描述了平移、旋转、缩放和反射。
无监督CapsNet学习对象与其姿态之间的全局线性流形作为权重矩阵。这使网络能够独立于姿态识别对象，而不是学习包含空间关系的对象识别。姿态还可以包含非空间属性，如颜色。将对象乘以流形即可在空间中定位对象。
池化
CapsNet摒弃了传统CNN的池化层策略，该策略减少了高层处理的信息量。池化提供了平移不变性，并允许更多特征类型，但CapsNet的支持者认为池化有几个缺点：它通过缺乏内在坐标框架而违反生物形状感知；它提供不变性（丢弃位置信息）而非等变性（解缠该信息）；它忽略了图像变化下的线性流形；它静态路由而非将潜在的“发现”传达给能欣赏它们的特征；并且它通过删除邻近特征检测器所依赖的信息而损害它们。
CapsNet不使用池化，而是使用路由协议来动态地在层间传递信息，保留详细的空间信息。
胶囊
胶囊是一组神经元，每个神经元针对某种类型对象的各种属性（如位置、大小和色调）单独激活。形式上，胶囊产生一个活动向量，每个神经元对应一个元素，持有该神经元的实例化值（例如，色调）。图形程序使用实例化值来绘制对象，CapsNet试图从输入中推导这些值。实体存在的概率是向量的长度，而向量的方向量化了胶囊的属性。
传统人工神经元输出标量激活，但CapsNet用向量输出胶囊替换标量输出特征检测器，并用路由协议替换最大池化。由于胶囊是独立的，当多个胶囊一致时，正确检测的概率要高得多。例如，考虑一个六维实体，两个胶囊的最小集群仅在百万次试验中才有10%的偶然一致性；随着维度的增加，偶然一致的可能性呈指数下降。
高层胶囊接收低层胶囊的输出，并接受那些输出聚类的胶囊。一个聚类导致高层胶囊输出高概率的实体存在和高维（20-50+）姿态。高层胶囊忽略异常值，专注于聚类，类似于经典数字图像处理中的霍夫变换、RHT和RANSAC。
路由协议
路由协议是一种机制，通过该机制，一个胶囊（子）的输出根据其预测父胶囊输出的能力被路由到下一层（父）的胶囊。经过几次迭代，每个父胶囊的输出可能与某些子的预测收敛，而与另一些子的预测发散，表明该父胶囊是否存在。
对于每个可能的父胶囊，每个子胶囊通过将其输出乘以由反向传播训练的权重矩阵来计算预测向量。然后，父胶囊的输出被计算为预测的加权和，其中权重表示子胶囊属于该父胶囊的概率。预测接近最终输出的子胶囊会增加其与该父胶囊的耦合系数，同时减少与其他父胶囊的耦合。这一迭代过程使网络能够动态分配资源并提高识别准确性。