Infomax는 인공지능과 기계 학습에서 모델이 입력과 출력 간의 상호 정보를 최대화하도록 훈련을 안내하는 원리이다. 이 용어는 "정보 최대화(information maximization)"에서 유래했으며, 1990년대에 명시적 레이블 없이 데이터로부터 유용한 표현을 학습하는 방법으로 공식화되었다. 시스템이 수신하는 것과 생성하는 것 사이의 공유 정보를 최대화함으로써, Infomax는 모델이 입력의 가장 관련 있는 특징을 보존하면서 노이즈나 중복을 제거하도록 장려한다.
이 개념은 1940년대 클로드 섀넌이 개척한 정보 이론에 깊은 뿌리를 두고 있다. 신경망의 맥락에서 Infomax는 처음으로 비지도 학습에 적용되었으며, 여기서 네트워크는 감각 데이터를 컴팩트한 특징 집합으로 인코딩하는 법을 학습한다. 이 원리는 랄프 린스커와 같은 연구자들의 작업을 통해 두각을 나타냈는데, 그는 이를 자기 조직화 시스템에 적용했고, 앤서니 벨과 테렌스 세즈노스키는 1995년 독립 성분 분석(ICA)을 위한 Infomax 알고리즘을 개발했다. 이 알고리즘은 혼합된 오디오 신호 분리와 같은 블라인드 소스 분리의 표준 도구가 되었다.
정보 이론적 기초
상호 정보는 한 확률 변수가 다른 확률 변수에 대해 포함하는 정보의 양을 측정한다. Infomax에서 목표는 입력 데이터 X와 학습된 표현 Y 사이의 상호 정보를 최대화하는 것이다. 수학적으로 이는 I(X; Y) = H(Y) - H(Y|X)로 표현되며, 여기서 H는 엔트로피를 나타낸다. 이 양을 최대화하면 표현이 입력에 대해 정보를 제공하면서 다른 요인에 대해 예측 불가능하도록 유도되며, 이는 종종 출력에서 통계적으로 독립적인 성분을 초래한다.
결정적 신경망의 경우, I(X; Y)를 최대화하는 것은 제약 조건 하에서 출력의 엔트로피를 최대화하는 것과 동일하다. 매핑이 고정되면 H(Y|X)가 0이기 때문이다. 실제로 연구자들은 출력이 상수가 되는 사소한 해를 피하기 위해 노이즈를 추가하거나 확률적 유닛을 사용한다. 따라서 Infomax 원리는 입력에서 정보를 보존하는 것과 다양하고 높은 엔트로피의 출력을 생성하는 것이라는 두 가지 목표를 균형 있게 조정한다.
표현 학습에서의 응용
Infomax는 비지도 및 자기 지도 학습 방법의 발전에 영향을 미쳤다. 주목할 만한 응용 중 하나는 다운스트림 작업을 위한 임베딩을 학습하는 딥 러닝 아키텍처에 있다. 예를 들어, SimCLR 및 CPC(대비 예측 코딩)와 같은 대비 학습 방법은 Infomax에서 영감을 받았다. 이러한 방법은 동일한 데이터 포인트의 서로 다른 증강 뷰 간의 상호 정보를 최대화하여, 모델이 관련 없는 변형을 무시하면서 기본 구조를 포착하도록 효과적으로 가르친다.
컴퓨터 비전에서 Infomax 기반 목표는 레이블 없이 합성곱 네트워크를 훈련하는 데 사용되어, 분류 작업에 잘 전이되는 특징을 학습할 수 있게 한다. 자연어 처리에서는 마스킹된 토큰이나 다음 단어를 예측하는 대규모 언어 모델의 훈련에 유사한 원리가 기반이 되며, 이는 맥락과 출력 간의 정보를 암묵적으로 최대화한다. 이 접근 방식은 강화 학습에도 적용되어 에이전트가 높은 정보 이득을 제공하는 상태를 탐색하도록 장려한다.
다른 원리와의 관계
Infomax는 알려진 제약 조건 하에서 가장 높은 엔트로피를 가진 모델이 최상의 모델이라고 말하는 최대 엔트로피 원리와 밀접하게 관련되어 있다. Infomax에서 제약 조건은 입력 데이터이며, 목표는 출력 엔트로피를 최대화하는 것이다. 이러한 연결은 Infomax를 중복 감소의 한 형태로 해석하게 했으며, 여기서 네트워크는 입력의 통계적 의존성을 제거하여 요인적 코드를 생성한다.
이 원리는 또한 신경과학의 자유 에너지 원리와 교차하는데, 이는 생물학적 시스템이 놀라움을 최소화한다고 가정한다. Infomax가 정보 최대화에 초점을 맞추는 반면, 두 접근 방식 모두 효율적 코딩과 예측적 처리를 강조한다. 생성형 AI의 맥락에서 Infomax는 변이 오토인코더와 생성적 적대 신경망의 목표를 설계하는 데 사용되었지만, 이러한 모델은 종종 다른 손실 함수에 의존한다.
실제 구현
현대 기계 학습 프레임워크에서 Infomax를 구현하려면 상호 정보 추정기를 정의해야 한다. 고차원 데이터의 정확한 상호 정보는 계산이 불가능하기 때문에, 연구자들은 대비 학습에서 사용되는 InfoNCE 손실과 같은 근사치를 사용한다. InfoNCE는 양성 쌍을 음성 샘플과 구별함으로써 상호 정보의 하한을 최대화한다. 이 접근 방식은 이미지와 텍스트를 정렬하는 OpenAI의 CLIP과 같은 모델을 훈련하는 데 성공적이었다.
또 다른 실제 구현은 Infomax ICA 알고리즘으로, 비선형성을 사용하여 소스의 누적 분포 함수를 근사한다. 이 방법은 계산적으로 효율적이며 신호 처리에서 널리 사용되어 왔다. 신경망 훈련에서 Infomax 목표는 일반화를 개선하기 위해 드롭아웃이나 배치 정규화와 같은 다른 정규화 기법과 결합되는 경우가 많다.
한계 및 비판
이론적 매력에도 불구하고 Infomax에는 한계가 있다. 상호 정보를 최대화하는 것은 추정기 선택에 민감할 수 있으며, 부실한 근사치는 불안정한 훈련을 초래할 수 있다. 또한 이 원리는 항상 작업별 목표와 일치하지 않는다. 입력에 대한 정보를 최대화하는 표현이 분류나 생성에 최적이 아닐 수 있기 때문이다. 일부 연구자들은 Infomax만으로는 고수준 추상화를 학습하기에 충분하지 않다고 주장하는데, 이는 저수준 통계에 집중할 수 있기 때문이다.
비판자들은 또한 Infomax의 생물학적 타당성에 대해 논쟁이 있다고 지적한다. 이는 시각 피질의 가장자리 감지와 같은 감각 처리의 특정 측면을 설명하지만, 하향식 영향이나 주의를 설명하지는 못한다. 2020년대 현재 Infomax는 여전히 기초 개념으로 남아 있지만, 최첨단 결과를 달성하기 위해 커리큘럼 학습이나 Reinforcement Learning from AI Feedback (RLAIF)와 같은 다른 학습 신호와 결합되어 사용되는 경우가 많다.
미래 방향
연구는 트랜스포머 아키텍처와 멀티 헤드 어텐션의 맥락에서 Infomax를 계속 탐구하고 있다. 최근 작업은 어텐션 메커니즘이 쿼리와 키 간의 정보를 암묵적으로 최대화하는 방식을 조사하여, 그 효과성에 대한 이론적 기반을 제공할 가능성을 제시한다. 또한 Infomax는 모델 가지치기와 데이터 증강에 적용되어 더 효율적이고 견고한 모델을 만드는 데 사용되고 있다.
인공지능 분야에서 Infomax에서 영감을 받은 목표는 비전, 언어, 오디오와 같은 다양한 소스의 데이터를 정렬하는 모델인 다중 모달 학습에 통합되고 있다. 이는 다양한 데이터에서 학습하는 대규모 모델을 개발하는 OpenAI 및 Google DeepMind와 같은 기업의 목표와 일치한다. 정보 보존에 대한 이 원리의 강조는 AI 시스템이 더 복잡하고 데이터 중심이 됨에 따라 계속 관련성을 유지할 가능성이 높다.