在计算机视觉中，术语“长方体”描述的是为行为识别目的而提取的小型时空体积。它被视为一种基本的几何图元类型，用于在二维图像的二维表示中描绘三维物体。长方体提供了物体的简化体积近似，使软件能够通过几何描述来分析场景，而不是依赖详细的外观模型。
这一概念借鉴了计算机视觉和机器学习中几何图元的更广泛使用，其中盒子、圆柱体和球体等基本形状作为场景理解的构建块。长方体具体地提供围绕物体或感兴趣区域的矩形盒状拟合，捕捉其在空间和时间上的空间范围。这使得它们对于需要跨视频帧跟踪或识别动作的任务特别有用，因为时空体积编码了短时间间隔内的运动和形状变化。
生成
长方体可以从二维和三维图像中生成。一种方法使用场景理解（SUN）图元数据库，这些数据库是已经包含长方体的图片集合。通过使用机器学习工具对SUN图元数据库进行排序，计算机观察长方体在图像中生成的条件，并学习从其他图像生成长方体。这种方法依赖于监督学习，其中标记示例教会算法识别并将长方体拟合到新数据。
RGB-D图像（即同时记录每个像素深度的RGB图像）偶尔用于生成长方体。由于深度已经记录，计算机不再需要估计物体到相机的距离，从而简化了拟合过程。这在室内环境中尤其有利，因为深度传感器在机器人和增强现实应用中很常见。
长方体生成对颜色和光照变化、遮挡以及背景杂乱敏感。这意味着计算机难以生成多色、不规则光照或部分遮挡物体，或背景中出现许多物体时的长方体。这一限制部分是因为生成长方体的算法仍然相对简单，通常依赖于可能被视觉噪声干扰的边缘检测和颜色分割。
使用
长方体是为基于点云的三维地图创建的，可用于各种场景，如增强现实、汽车、无人机和机器人的自动控制以及物体检测。在这些上下文中，长方体作为紧凑表示，降低了原始点云数据的复杂性，使系统能够高效地推理空间关系。
长方体允许软件通过“对象无关”方式的几何描述来识别场景。这意味着系统不识别特定对象类别，而是关注空间布局和体积占用，这可以应用于不同类型的物体和环境。这一特性对于导航和地图绘制很有价值，其中目标是理解自由空间和障碍物，而不是识别每个物品。
兴趣点（计算机识别为对图像识别至关重要的图像内位置）从二维图像创建后，可与长方体一起用于图像匹配、识别房间或场景以及实例识别。从三维图像创建的兴趣点可与长方体一起用于识别活动。这是因为兴趣点帮助软件只关注图像中最重要的方面，减少计算负载并提高鲁棒性。
与SLAM和CAD的集成
RGB-D图像和同步定位与地图构建（SLAM）系统在RGB-D SLAM系统中一起使用，该系统被计算机辅助设计（CAD）系统用于生成基于点云的三维地图。在此类系统中，可以从重建的点云中提取长方体，以提供语义或几何锚点，促进物体放置和场景编辑等任务。
大多数工业多轴加工工具使用计算机辅助制造，随后在长方体工作空间中工作。这是该术语的独立但相关的使用，其中可用于加工的物理体积通常近似为长方体，用于刀具路径规划和碰撞避免。长方体的几何简单性使其在这些工业应用中计算上易于处理。
挑战与未来方向
尽管有其效用，基于长方体的方法在复杂场景中面临挑战。对光照和遮挡的敏感性限制了它们在户外或动态环境中的可靠性。研究人员正在探索更鲁棒的算法，包括基于深度学习和神经网络的算法，以改进长方体检测和拟合。例如，残差网络和U-Net架构已被应用于可以输出长方体提议的语义分割任务。
另一个方向涉及将长方体与数据增强技术集成，以训练在光照条件和物体外观上更好泛化的模型。此外，在训练流程中使用批归一化和丢弃有助于在处理噪声深度数据时稳定学习。
相关概念
长方体与计算机视觉中使用的其他几何图元密切相关，如边界框和定向边界框。虽然边界框是轴对齐的，通常用于二维物体检测，但长方体将其扩展到三维空间和时间。在活动识别中，长方体可以被视为一种时空特征提取形式，类似于Harris3D或尺度不变特征变换（SIFT）等兴趣点检测器适应视频的方式。
长方体的生成通常采用机器学习技术，包括监督学习和无监督学习方法。特别是，卷积神经网络已被用于直接从图像预测长方体参数，绕过了传统的手工特征。这与人工智能中深度学习模型取代手动流程的更广泛趋势一致。