自联想记忆,又称自动关联记忆或自联协网络,是一种仅凭数据的微小样本即可检索出该数据的记忆类型。这一能力使其在去除输入噪声、消除干扰以及基于存储模式判断给定输入是“已知”还是“未知”方面非常有效。在人工神经网络中,示例包括变分自编码器、去噪自编码器和霍普菲尔德网络。在计算机内存系统中,这一概念也被称为内容可寻址内存(CAM)。如果网络产生的输出激活模式与存储向量之一完全相同,则称该网络识别出“已知”向量。
背景
标准数据存储通过位置内存地址进行索引,并用于检索。相比之下,自联想记忆以图状结构组织,其中连接权重反映了记忆之间的固有联想联系。这允许使用记忆片段作为键进行查询,同时检索该记忆及其紧密相关的记忆。霍普菲尔德网络已被证明可充当自联想记忆,因为它们能通过观察数据的一部分来记住数据。
迭代自联想网络
在某些情况下,自联想网络不会在首次尝试时重现存储模式,但如果将输出反馈为输入,存储模式便会显现。另外还有三种类型:循环线性自联想器、“盒中脑”网络和离散霍普菲尔德网络。霍普菲尔德网络是自联想记忆最著名的示例。
霍普菲尔德网络
霍普菲尔德网络作为具有二进制阈值节点的内容可寻址(联想)记忆系统。它们已被证明可充当自联想记忆,因为能从部分输入中回忆完整模式。其网络动态收敛到存储的吸引子,从而实现模式完成和噪声去除。
异联想记忆
相比之下,异联想记忆在呈现来自一个类别的数据时,能回忆起来自另一类别的相关数据。例如,模式“香蕉”可能触发对“猴子”这一不同模式的回忆。双向联想记忆(BAM)是长期用于异联想回忆的人工神经网络。
示例
以下句子片段足以让大多数英语为母语的成年人回忆起缺失信息:
- “生存还是毁灭,这是个_____。”
- “我来,我见,_____。”
许多读者会意识到缺失的信息是:
- “生存还是毁灭,这是个问题。”
- “我来,我见,我征服。”
这展示了自联想网络从部分中回忆整体的能力。
应用
自联想记忆广泛用于机器学习中的任务,如图像去噪、数据压缩和异常检测。深度学习架构(如神经网络)在生成模型和大型语言模型中融入了自联想原理,用于上下文补全。在硬件方面,内容可寻址内存在AMD和英特尔处理器中实现,用于高速查找操作。
相关概念
自联想记忆与联想记忆和内容可寻址内存密切相关。在人工智能中,它支撑了去噪自编码器和霍普菲尔德网络等技术。这一概念还涉及异联想记忆和双向联想记忆。