组合模式生成网络（CPPN）是一种人工神经网络，旨在从少量输入坐标生成复杂、结构化的模式。与为特定任务训练以将输入映射到输出的传统神经网络不同，CPPN通常通过进化或优化来生成具有空间规律性、对称性和重复性的输出。它们是进化计算和程序化内容生成中的关键组成部分，可以在没有显式训练数据的情况下创建图像、3D形状和其他制品。
该概念由Kenneth O. Stanley于2007年在增强拓扑神经进化（NEAT）框架中提出。CPPN的显著特点是使用通常为几何或周期性的激活函数，如正弦、余弦、高斯和S形函数。这些函数使网络能够将简单模式组合成复杂且通常对称的输出。网络的拓扑结构是进化的，而非固定的，这意味着连接和节点可以随时间变化，以产生日益复杂的模式。
架构与功能
CPPN接收一组坐标作为输入，通常在多维空间中，并输出一个或多个值，这些值可以解释为像素颜色、形状属性或其他属性。例如，要生成2D图像，网络接收x和y坐标，并输出红、绿、蓝值。网络的内部结构由具有激活函数和加权连接的节点组成，类似于标准神经网络。然而，关键区别在于拓扑结构是使用NEAT等算法进化的，这些算法可以添加节点和连接以增加复杂性。
CPPN中的激活函数被选择以鼓励模式生成。例如，正弦函数可以产生重复的条纹，而高斯函数可以创建局部斑点。通过以组合方式结合这些函数，网络可以生成既规则又多变的模式，例如Picbreeder项目中看到的对称、有机形态，该项目使用CPPN进化图像。
进化优化
CPPN通常使用进化算法（特别是NEAT）进行优化。在此过程中，随机生成一组CPPN，并根据适应度函数评估每个CPPN，该函数衡量其满足期望标准的程度，例如生成目标图像或特定形状。表现最好的网络被选择、变异和交叉以产生下一代。变异可以改变连接权重、添加新节点或更改激活函数。这个过程允许网络探索大量可能的模式空间，通常会发现人类设计师不明显的解决方案。
一个显著的应用是在生成艺术领域，CPPN已被用于创建美观的图像。Picbreeder平台于2007年推出，允许用户通过选择他们喜欢的图像来进化图像，这些图像随后被用作下一代的父本。这种交互式进化展示了CPPN产生多样且复杂视觉内容的能力。
应用
除了艺术之外，CPPN已被应用于各个领域。在机器人学中，它们被用于生成腿式机器人的步态，其中网络随时间输出关节角度。在游戏设计中，CPPN可以程序化生成关卡、纹理和其他内容。例如，游戏《Galactic Arms Race》使用CPPN进化武器系统及其视觉效果。在机器学习研究中，CPPN已被用于生成神经网络架构本身，这一概念称为HyperNEAT，它进化CPPN以产生更大网络的权重。
CPPN也被探索用于生成3D形状和动画。通过将3D坐标作为输入，CPPN可以输出密度或颜色等属性，从而创建复杂的体积结构。这在计算机图形学和虚拟现实中具有潜在应用。
与其他神经网络的关系
CPPN与标准神经网络的不同之处在于它们不通过反向传播或梯度下降进行训练。相反，它们依赖进化搜索，这在梯度不可用或搜索空间高度具有欺骗性的问题中可能是有利的。它们也不同于生成模型，如大型语言模型或变换器，这些模型在大型数据集上训练以生成文本或图像。CPPN更类似于程序化生成器，基于数学函数而非学习的统计模式产生输出。
尽管存在差异，CPPN与其他网络类型共享一些概念上的相似性。例如，它们可以被视为残差网络的一种形式，因为它们通常使用跳跃连接，允许信息跨层流动。然而，拓扑和权重的进化方法使它们与众不同。
局限性与未来方向
CPPN的一个局限性是它们主要用于进化设置，这对于复杂任务可能计算成本高昂。可能网络的搜索空间巨大，评估适应度可能需要许多代。此外，由于维度灾难，CPPN不易扩展到高维输入，如完整视频序列。
研究继续探索将CPPN与其他技术结合的方法。例如，一些研究已将CPPN与深度学习方法集成，在对抗框架中用作生成器或作为神经网络的初始化器。组合性和模式生成的原则也影响了其他领域，如现代网络中激活函数的设计。
总之，组合模式生成网络提供了一种通过进化生成结构化模式的独特方法。它们从简单输入创建复杂、对称和规则输出的能力使其成为进化计算和程序化内容生成中的宝贵工具，并具有持续的新应用潜力。