委员会机器是一种采用分而治之策略的人工神经网络类型，它将多个神经网络（称为专家）的响应组合成统一的响应。其基本原则是，委员会的联合输出优于任何单个专家的输出，利用专业化模型的多样性来提高整体准确性和鲁棒性。这种方法与一般的分类器集成密切相关，但又有区别，它特别关注神经网络架构。
委员会机器通常分为两大类结构：静态结构和动态结构。区别在于个体专家响应如何被整合。静态结构使用固定的组合机制，不依赖于输入信号，而动态结构则利用输入信号本身来调节整合过程，从而实现更具适应性和上下文敏感性的决策。
静态结构
在静态委员会机器中，专家输出的组合由不考虑输入信号的机制执行。此类包括两种主要方法：集成平均和提升。
集成平均是最简单的方法，其中不同预测器的输出被线性组合以产生整体输出。例如，如果有N个专家，每个产生一个输出向量，则最终输出通常是这些向量的加权和或简单平均值。此方法减少方差并通常改善泛化能力，因为个体专家的错误往往会相互抵消。权重可以是均匀的，也可以基于验证数据进行优化，但无论输入如何，它们都保持固定。
提升是一种更复杂的静态技术，它将弱学习算法转换为能够达到任意高精度的算法。在委员会机器的背景下，提升顺序训练专家，每个新专家专注于先前集成所犯的错误。最终委员会输出是所有专家的加权组合，其中权重反映每个专家的整体准确性。此方法特别有效于减少偏差，并且是AdaBoost等算法的基础。
动态结构
动态委员会机器将输入信号直接纳入整合专家输出的机制中。这允许委员会根据正在处理的特定输入调整其组合策略。主要有两种类型：专家混合和层次专家混合。
专家混合使用单个门控网络，非线性地组合个体专家的响应。门控网络接收与专家相同的输入信号，并输出一组权重，通常通过softmax函数归一化，这些权重决定每个专家对最终输出的贡献。这允许不同专家在输入空间的不同区域中专门化，门控网络有效地将每个输入路由到最合适的专家或专家组合。
层次专家混合通过使用多个门控网络以层次方式排列来扩展此概念。专家不是由单个门控网络组织，而是组织成树结构，其中较高级别的门控网络组合较低级别门控网络及其相关专家的输出。此架构特别适用于具有复杂、多层次结构的问题，因为它允许从粗到细的专门化。层次结构的每个级别可以专注于输入的不同方面，最终输出是专家响应的嵌套非线性组合。
应用与意义
委员会机器已应用于各种对准确性和鲁棒性至关重要的领域，包括语音识别、医学诊断和金融预测。通过组合多个专业化模型，它们可以比单个整体网络更有效地处理复杂、高维数据。分而治之策略还促进了并行训练，因为个体专家可以在整合之前独立训练。
此概念影响了现代机器学习实践，特别是在深度学习架构的发展中。例如，变换器模型通常使用多个注意力头，这可以被视为单个网络内的委员会形式。类似地，大型语言模型训练通常涉及集成技术以提高性能。委员会机器的原理也与生成式人工智能系统相关，其中组合多个模型可以增强输出质量和多样性。
与集成的关系
虽然委员会机器通常与分类器集成进行比较，但存在细微区别。集成通常指任何多个模型的组合，可以包括bagging和随机森林等方法。然而，委员会机器特别基于神经网络，并强调分而治之策略，通常侧重于层次或门控整合。静态和动态结构为理解不同组合策略如何影响性能提供了正式框架，这在一般集成文献中较少被形式化。
在实践中，静态和动态结构的选择取决于问题。静态结构更简单且计算效率高，适用于专家最优组合相对均匀的问题。动态结构虽然更复杂，但提供更大的灵活性，并可以通过适应输入特定特征来实现更高的准确性。研究继续探索委员会机器的新架构和训练方法，特别是在大规模神经网络系统的背景下。