표현 학습(representation learning)은 특징 학습(feature learning)이라고도 하며, 기계 학습에서 시스템이 원시 데이터로부터 특징 탐지 또는 분류에 필요한 표현을 자동으로 발견할 수 있게 하는 일련의 기법이다. 이는 수동적인 특징 공학을 대체하며, 기계가 특징을 학습하고 이를 특정 작업을 수행하는 데 사용할 수 있게 한다. 동기는 분류와 같은 많은 기계 학습 작업이 수학적 및 계산적으로 처리하기 편리한 입력을 요구하지만, 이미지, 비디오, 센서 데이터와 같은 실제 세계 데이터는 알고리즘적으로 정의된 특징에 잘 부합하지 않는다는 점이다. 대신 표현은 명시적 알고리즘에 의존하지 않고 검토를 통해 발견된다.
특징 학습은 지도 학습, 비지도 학습 또는 자기 지도 학습이 될 수 있다. 지도 특징 학습에서는 각 입력에 정답 레이블이 있는 레이블된 입력 데이터를 사용하여 특징을 학습한다. 비지도 특징 학습에서는 레이블이 없는 데이터에서 데이터 포인트 간의 관계를 분석하여 특징을 학습한다. 자기 지도 특징 학습에서는 각 데이터 포인트에서 입력-레이블 쌍을 구성하여 경사 하강법과 같은 지도 방법을 통해 학습을 가능하게 하며, 이는 단어 임베딩과 오토인코더에서 볼 수 있다.
지도 특징 학습
지도 특징 학습은 레이블된 데이터를 사용하여 시스템이 올바른 레이블을 생성하지 못하는 정도를 측정하는 오류 항을 계산한다. 이 오류는 학습 과정을 조정하는 피드백으로 사용된다. 접근 방식에는 지도 사전 학습과 신경망이 포함된다.
지도 사전 학습
사전 학습은 입력 데이터에서 대표 요소 집합, 즉 사전을 개발하여 각 데이터 포인트가 이러한 요소의 가중 합으로 표현될 수 있게 한다. 사전과 가중치는 평균 표현 오류를 최소화하여 찾으며, 종종 희소성을 장려하기 위해 L1 정규화를 사용한다. 지도 사전 학습에서는 데이터 구조와 레이블을 모두 사용하여 사전을 최적화한다. 분류의 경우 목적 함수에는 분류 오류, 표현 오류, 가중치에 대한 L1 정규화, 분류기 매개변수에 대한 L2 정규화가 포함된다.
신경망
신경망은 동물 신경계에서 영감을 받은 학습 알고리즘 계열로, 상호 연결된 노드(뉴런)와 연관된 가중치를 가진 엣지(시냅스)의 계층으로 구성된다. 네트워크는 입력 계층에서 출력 계층으로 입력 데이터를 전달하는 계산 규칙을 정의한다. 다층 신경망은 은닉 계층에서 표현을 학습하며, 이는 출력 계층에서 분류 또는 회귀에 사용된다. 주목할 만한 아키텍처로는 가중치를 공유하여 입력을 비교하는 방법을 학습하는 샴 네트워크가 있다.
비지도 특징 학습
비지도 특징 학습은 레이블 없이 고차원 입력 데이터의 구조를 포착하는 저차원 특징을 발견한다. 이러한 특징은 이후 반지도 방식으로 사용되어 지도 작업을 개선할 수 있다. 일반적인 방법에는 k-평균 클러스터링과 주성분 분석이 있다.
K-평균 클러스터링
K-평균 클러스터링은 n개의 벡터를 k개의 클러스터로 그룹화하며, 각 벡터는 가장 가까운 평균을 가진 클러스터에 속한다. 이 문제는 NP-난해하지만 탐욕 알고리즘이 존재한다. 특징 학습에서 k-평균은 가장 가까운 중심에 대한 이진 지표를 추가하거나 중심까지의 거리를 사용하여 특징을 생성할 수 있으며, 이는 방사 기저 함수로 변환될 수 있다. Coates와 Ng의 연구에 따르면 특정 k-평균 변형은 희소 코딩과 유사하게 동작한다. 비교 평가에서 Coates, Lee, Ng는 적절한 변환을 가진 k-평균이 이미지 분류에서 오토인코더와 제한 볼츠만 머신보다 우수함을 발견했다. k-평균은 또한 자연어 처리에서 개체명 인식을 개선하며, Brown 클러스터링 및 신경 단어 임베딩과 경쟁한다.
주성분 분석
주성분 분석(PCA)은 데이터 행렬의 가장 큰 p개의 특이값에 해당하는 p개의 오른쪽 특이 벡터를 생성하는 차원 축소 기법이다. 이러한 벡터는 가장 큰 분산을 포착하는 저차원 부분 공간을 정의하여 후속 작업에 대한 간결한 표현을 제공한다.
자기 지도 특징 학습
자기 지도 특징 학습은 레이블이 없는 데이터에서 입력-레이블 쌍을 구성하여 지도 훈련 방법이 데이터 구조를 학습할 수 있게 한다. 고전적인 예로는 단어 임베딩과 오토인코더가 있다. 대규모 언어 모델에서 사용되는 것과 같은 단어 임베딩은 단어를 의미 관계를 포착하는 밀집 벡터로 매핑한다. 오토인코더는 병목 현상을 통해 입력을 재구성하는 방법을 학습하여 네트워크가 효율적인 표현을 학습하도록 강제한다. 자기 지도 학습은 합성곱 신경망 및 트랜스포머와 같은 심층 아키텍처를 사용하여 많은 양식에 적용되었다.
응용 및 영향
표현 학습은 현대 딥러닝과 생성형 AI의 기초이다. 이는 시스템이 원시 데이터에서 직접 특징을 학습할 수 있게 하여 수동 특징 공학의 필요성을 줄인다. 이는 컴퓨터 비전, 자연어 처리, 음성 인식에서 혁신을 가져왔다. 인공지능에서 표현 학습은 OpenAI, Google DeepMind, Anthropic과 같은 조직이 개발한 모델을 포함한 많은 최첨단 모델의 기반이 된다. 유용한 표현을 자동으로 학습하는 능력은 신경망의 성공의 핵심 요소이며, 의료에서 자율 주행에 이르는 분야의 발전을 주도했다.
도전 과제 및 미래 방향
성공에도 불구하고 표현 학습은 해석 가능성, 데이터 효율성, 일반화와 같은 도전 과제에 직면한다. 학습된 표현은 종종 해석하기 어렵고, 모델은 많은 양의 데이터를 요구할 수 있다. 연구자들은 표현을 더 견고하고 작업 간 전이 가능하게 만드는 방법을 탐구하고 있다. 2020년대 초반 기준으로 자기 지도 학습과 다중 양식 학습은 활발한 연구 분야이며, 레이블 데이터에 대한 의존도를 더 줄이고 다양한 작업에서 성능을 개선할 잠재력이 있다.