即时训练神经网络是一类前馈人工神经网络，它为遇到的每个新训练样本创建一个新的隐藏神经元节点。分配给这个新创建隐藏神经元的权重旨在不仅分离特定训练样本，还分离位于其附近的其他样本，从而提供一种泛化形式。这种分离通过最近超平面实现，该超平面可以即时写出，无需迭代优化。在两种最突出的实现中，泛化邻域要么随训练样本变化（CC1网络），要么保持不变（CC4网络）。这些网络通常采用一元编码来有效表示输入数据集。
这一概念最早在Subhash Kak于1993年的一篇论文中提出。自该介绍以来，即时训练神经网络已被提议作为生物系统中短期学习的模型，并已应用于实际任务，如网络搜索、金融时间序列预测、文档即时分类，以及作为深度学习和数据挖掘流水线的组成部分。与大多数神经网络一样，它们的正常使用是作为软件，但它们也已通过现场可编程门阵列（FPGA）和光学实现方式在硬件中实现。
CC4网络架构
CC4网络是一种三级前馈架构。其输入层包含的节点数等于训练向量的大小加一个额外节点，该额外节点作为偏置节点，其输入始终设置为1。对于二进制输入向量，从输入节点到对应已训练向量的隐藏神经元（索引为j）的权重由特定公式定义。对于每个输入分量xi，如果xi等于0，则权重wij设置为-1；如果xi等于1，则设置为+1。对于偏置节点（i = n+1），权重设置为r - s + 1，其中r是泛化半径，s是二进制序列的汉明权重（即1的数量）。
隐藏层神经元和输出层神经元都使用阈值激活函数：如果其输入的加权和为0或正数，则输出1；如果加权和为负数，则输出0。从隐藏层到输出层，权重为1或-1，具体取决于相应向量是否属于给定输出类别。这种架构允许网络根据新输入与先前存储训练样本的接近程度对其进行分类，其中半径r控制泛化邻域的大小。
CC1网络及变体
CC1网络与CC4网络的不同之处在于，泛化半径不是恒定的，而是随每个训练样本变化。这允许网络在局部调整其泛化行为，可能在输入空间中数据密度变化的区域提供更好的性能。CC4网络也已修改为接受非二进制输入向量，并具有变化的泛化半径，实际上在CC4框架内提供了CC1实现。这些修改将即时训练神经网络的适用性扩展到纯二进制数据之外。
相关即时学习模型
除了前馈架构，其他神经网络模型也表现出即时学习能力。Willshaw网络是一种联想记忆类型，可以在单次呈现中存储和检索模式。类似地，Hopfield网络是一种用于联想记忆和优化的递归神经网络，可以通过一次性Hebbian学习规则即时学习模式。这些反馈网络与前馈即时训练神经网络共享快速、单遍学习的特性，尽管它们的操作原理和应用有所不同。
应用与实现
即时训练神经网络因其快速训练速度和简单性已被应用于多个领域。在网络搜索中，它们被用于文档即时分类，允许快速分类网页或搜索结果。在金融时间序列预测中，它们能够从新数据点学习而无需重新训练整个网络，使其适用于自适应预测。它们也已被探索作为认知科学中短期学习的模型，其中快速获取新信息是关键特征。使用FPGA的硬件实现已被展示，并且已提出光学实现，利用网络计算的并行特性。