커미티 머신은 인공 신경망의 한 유형으로, 분할 정복 전략을 사용하여 여러 신경망(전문가라고 함)의 응답을 하나의 통합된 응답으로 결합한다. 기본 원리는 위원회의 결합된 출력이 개별 전문가의 출력보다 우수하다는 것이며, 특화된 모델의 다양성을 활용하여 전반적인 정확성과 견고성을 향상시킨다. 이 접근 방식은 일반적인 분류기 앙상블과 밀접하게 관련되어 있지만, 신경망 아키텍처에 특히 초점을 맞춘다는 점에서 구별된다.
커미티 머신은 일반적으로 정적 구조와 동적 구조의 두 가지 주요 구조적 클래스로 분류된다. 차이는 개별 전문가 응답이 통합되는 방식에 있다. 정적 구조는 입력 신호에 의존하지 않는 고정된 결합 메커니즘을 사용하는 반면, 동적 구조는 입력 신호 자체를 사용하여 통합 과정을 조정함으로써 더 적응적이고 상황에 민감한 의사 결정을 가능하게 한다.
정적 구조
정적 커미티 머신에서 전문가 출력의 결합은 입력 신호를 고려하지 않는 메커니즘에 의해 수행된다. 이 클래스에는 앙상블 평균화와 부스팅의 두 가지 주요 방법이 포함된다.
앙상블 평균화는 가장 간단한 접근 방식으로, 서로 다른 예측기의 출력을 선형적으로 결합하여 전체 출력을 생성한다. 예를 들어, N개의 전문가가 각각 출력 벡터를 생성하는 경우 최종 출력은 일반적으로 이러한 벡터의 가중 합 또는 단순 평균이다. 이 방법은 분산을 줄이고 일반화를 개선하는 경우가 많으며, 개별 전문가의 오류가 상쇄되는 경향이 있기 때문이다. 가중치는 균일하거나 검증 데이터를 기반으로 최적화될 수 있지만, 입력과 관계없이 고정된 상태로 유지된다.
부스팅은 약한 학습 알고리즘을 임의로 높은 정확도를 달성하는 알고리즘으로 변환하는 더 정교한 정적 기법이다. 커미티 머신의 맥락에서 부스팅은 전문가를 순차적으로 훈련시키며, 각 새 전문가는 이전 앙상블이 저지른 실수에 초점을 맞춘다. 최종 커미티 출력은 모든 전문가의 가중 결합이며, 가중치는 각 전문가의 전반적인 정확도를 반영한다. 이 방법은 편향을 줄이는 데 특히 효과적이며 AdaBoost와 같은 알고리즘의 기초가 된다.
동적 구조
동적 커미티 머신은 전문가 출력을 통합하는 메커니즘에 입력 신호를 직접 포함시킨다. 이를 통해 커미티는 처리되는 특정 입력에 따라 결합 전략을 적응시킬 수 있다. 두 가지 주요 유형이 있다: 전문가 혼합과 계층적 전문가 혼합.
전문가 혼합은 단일 게이팅 네트워크를 사용하여 개별 전문가의 응답을 비선형적으로 결합한다. 게이팅 네트워크는 전문가와 동일한 입력 신호를 수신하고, 일반적으로 소프트맥스 함수를 통해 정규화된 가중치 집합을 출력하여 각 전문가의 최종 출력 기여도를 결정한다. 이를 통해 서로 다른 전문가가 입력 공간의 서로 다른 영역을 특화할 수 있으며, 게이팅 네트워크는 각 입력을 가장 적절한 전문가 또는 전문가 조합으로 효과적으로 라우팅한다.
계층적 전문가 혼합은 여러 게이팅 네트워크를 계층적으로 배열하여 이 개념을 확장한다. 단일 게이팅 네트워크 대신 전문가는 트리 구조로 구성되며, 상위 수준 게이팅 네트워크는 하위 수준 게이팅 네트워크와 관련 전문가의 출력을 결합한다. 이 아키텍처는 복잡하고 다중 수준 구조를 가진 문제에 특히 유용하며, 대략적인 수준에서 세부적인 수준으로의 특화를 가능하게 한다. 계층의 각 수준은 입력의 서로 다른 측면에 초점을 맞출 수 있으며, 최종 출력은 전문가 응답의 중첩된 비선형 결합이다.
응용 및 중요성
커미티 머신은 정확성과 견고성이 중요한 다양한 영역에서 적용되어 왔으며, 음성 인식, 의료 진단, 금융 예측 등이 포함된다. 여러 특화된 모델을 결합함으로써 단일 모놀리식 네트워크보다 복잡하고 고차원적인 데이터를 더 효과적으로 처리할 수 있다. 분할 정복 전략은 또한 병렬 훈련을 용이하게 하며, 개별 전문가는 통합 전에 독립적으로 훈련될 수 있다.
이 개념은 현대 머신 러닝 관행, 특히 딥 러닝 아키텍처 개발에 영향을 미쳤다. 예를 들어, 트랜스포머 모델은 종종 여러 어텐션 헤드를 사용하며, 이는 단일 네트워크 내의 커미티 형태로 볼 수 있다. 마찬가지로 대규모 언어 모델 훈련은 성능을 개선하기 위해 앙상블 기법을 포함하는 경우가 많다. 커미티 머신의 원리는 생성형 AI 시스템에도 관련이 있으며, 여러 모델을 결합하면 출력 품질과 다양성을 향상시킬 수 있다.
앙상블과의 관계
커미티 머신은 종종 분류기 앙상블과 비교되지만, 미묘한 차이가 있다. 앙상블은 일반적으로 배깅과 랜덤 포레스트와 같은 방법을 포함하여 여러 모델의 모든 조합을 의미한다. 그러나 커미티 머신은 특히 신경망 기반이며 분할 정복 전략을 강조하고, 종종 계층적 또는 게이팅 통합에 초점을 맞춘다. 정적 및 동적 구조는 서로 다른 결합 전략이 성능에 어떻게 영향을 미치는지 이해하기 위한 공식적인 프레임워크를 제공하며, 이는 일반적인 앙상블 문헌에서 덜 공식화되는 경우가 많다.
실제로 정적 구조와 동적 구조 사이의 선택은 문제에 따라 달라진다. 정적 구조는 더 간단하고 계산 효율적이므로, 전문가의 최적 결합이 상대적으로 균일한 문제에 적합하다. 동적 구조는 더 복잡하지만 더 큰 유연성을 제공하며 입력별 특성에 적응함으로써 더 높은 정확도를 달성할 수 있다. 연구는 특히 대규모 신경망 시스템의 맥락에서 커미티 머신을 위한 새로운 아키텍처와 훈련 방법을 계속 탐구하고 있다.