다층 퍼셉트론(MLP)은 완전 연결된 뉴런들이 계층으로 구성되고 비선형 활성화 함수를 사용하는 피드포워드 신경망의 한 유형이다. 선형적으로 분리 가능한 데이터만 분류할 수 있는 단일 퍼셉트론과 달리, MLP는 선형적으로 분리되지 않는 데이터도 구별할 수 있어 딥러닝의 기초 아키텍처가 된다. 현대의 MLP는 역전파를 사용하여 훈련되며, 흔히 "바닐라" 신경망이라고도 불린다.
MLP는 헤비사이드 계단 함수를 활성화 함수로 사용했던 단일 퍼셉트론의 한계를 극복하려는 노력에서 발전했다. 그러나 역전파는 시그모이드 또는 정류 선형 유닛(ReLU)과 같은 연속 활성화 함수를 요구한다. MLP는 딥러닝의 기초를 형성하며 이미지 인식, 자연어 처리, 시계열 예측 등 광범위한 영역에 적용된다.
역사적 발전
인공 뉴런의 개념은 1943년 워런 매컬러와 월터 피츠가 생물학적 신경망의 논리적 모델로서 이진 뉴런을 제안하면서 시작되었다. 1958년 프랭크 로젠블랫은 입력 계층, 학습하지 않는 무작위 가중치를 가진 은닉 계층, 학습 가능한 연결을 가진 출력 계층으로 구성된 다층 퍼셉트론 모델을 도입했다. 로젠블랫의 1962년 저서 신경역학의 원리는 "오류 역전파"를 통해 최대 두 개의 학습 가능한 계층을 가진 변형을 설명했지만, 이는 현대의 역전파 알고리즘이 아니었고 당시 다중 계층을 훈련하는 일반적인 방법은 존재하지 않았다.
1965년 알렉세이 그리고레비치 이바흐넨코와 발렌틴 라파는 최초의 딥러닝 방법 중 하나인 데이터 처리 그룹 방법을 발표했으며, 1971년에는 8계층 신경망을 훈련하는 데 사용되었다. 1967년 아마리 슌이치는 확률적 경사 하강법으로 훈련된 최초의 다층 신경망을 보고했으며, 이는 비선형적으로 분리 가능한 패턴 클래스를 분류할 수 있었다. 그의 학생 사이토는 두 개의 학습 계층을 가진 5계층 피드포워드 네트워크를 사용하여 컴퓨터 실험을 수행했다.
역전파는 1970년대 초에 여러 차례 독립적으로 개발되었다. 가장 이른 출판 사례는 1970년 세포 린나이마의 석사 논문이었다. 폴 워보스는 1971년에 독립적으로 개발했지만 1982년까지 출판에 어려움을 겪었다. 1986년 데이비드 E. 러멜하트와 동료들이 역전파를 대중화하면서 널리 채택되었다. 역전파 네트워크에 대한 관심은 2003년 요슈아 벤지오와 공동 저자들의 언어 모델링 딥러닝 성공으로 다시 부활했다.
아키텍처 및 활성화 함수
MLP는 입력 계층, 출력 계층, 하나 이상의 은닉 계층으로 구성된 세 개 이상의 계층으로 이루어진다. 한 계층의 각 노드는 다음 계층의 모든 노드와 특정 가중치로 연결되어 네트워크가 완전 연결된다. 모든 뉴런이 선형 활성화 함수를 사용한다면, 선형 대수학에 따르면 임의의 계층 수는 두 계층의 입력-출력 모델로 축소될 수 있다. 따라서 MLP는 생물학적 뉴런의 발화 빈도를 모델링하기 위해 개발된 비선형 활성화 함수를 사용한다.
역사적으로 두 가지 일반적인 활성화 함수는 시그모이드였다: -1에서 1 범위의 하이퍼볼릭 탄젠트와 0에서 1 범위의 로지스틱 함수이다. 최근에는 정류 선형 유닛(ReLU)이 딥러닝에서 널리 사용되며, 이는 시그모이드와 관련된 수치적 문제를 극복하는 데 도움이 된다. 다른 대안으로는 소프트플러스와 방사 기저 함수가 있으며, 후자는 방사 기저 네트워크에서 사용된다.
역전파를 통한 학습
MLP에서 학습은 각 데이터 포인트를 처리한 후 출력과 기대 결과 사이의 오류를 기반으로 연결 가중치를 조정함으로써 이루어진다. 이는 선형 퍼셉트론에서 사용되는 최소 평균 제곱 알고리즘의 일반화인 역전파를 통해 수행되는 지도 학습이다. n번째 훈련 예제에서 출력 노드 j의 오류는 e_j(n) = d_j(n) - y_j(n)으로 정의되며, 여기서 d_j(n)은 목표 값이고 y_j(n)은 실제 출력이다. 알고리즘은 이 오류를 네트워크를 통해 역방향으로 전파하여 가중치를 업데이트하며, 일반적으로 확률적 경사 하강법과 같은 최적화 방법을 사용한다.
현대 변형 및 영향
2021년 연구자들은 스킵 연결과 계층 정규화를 결합한 두 개의 심층 MLP로 구성된 간단한 아키텍처인 MLP-믹서를 설계했다. 1,900만에서 4억 3,100만 개의 매개변수를 가진 그 구현은 ImageNet 및 유사한 이미지 분류 작업에서 비슷한 크기의 비전 트랜스포머와 비교 가능한 성능을 보였다. 이는 Transformer (architecture) 모델의 부상에도 불구하고 MLP가 현대 딥러닝에서 경쟁력을 유지하고 있음을 보여주었다. MLP는 또한 Large language model 아키텍처의 구성 요소와 Deep learning 프레임워크를 포함한 많은 Neural network 시스템에 필수적이다. 그 단순성과 효율성은 Machine learning 연구 및 응용에서 표준 기준선으로 만든다.
한계 및 확장
MLP는 강력하지만 한계가 있다. 완전 연결 구조로 인해 이미지와 같은 고차원 입력에 대해 많은 매개변수와 계산 비용이 발생한다. 또한 공간적 또는 순차적 구조를 본질적으로 포착하지 못하며, 이는 Residual Network (ResNet) 및 Sequence-to-Sequence (Seq2Seq) 모델과 같은 아키텍처를 동기부여했다. Dropout, Batch Normalization, Layer Normalization과 같은 기법은 훈련 안정성과 일반화를 개선하기 위해 자주 적용된다. 이러한 과제에도 불구하고 MLP는 Artificial intelligence의 기본 구성 요소로 남아 있으며 더 복잡한 아키텍처 설계에 계속 영향을 미친다.