커리큘럼 학습은 Machine learning에서 모델이 점점 더 어려운 예제로 훈련되는 기법으로, "난이도"의 정의는 외부에서 제공되거나 훈련 과정의 일부로 발견될 수 있다. 이는 더 빠르게 좋은 성능을 달성하거나, 전역 최적해를 찾지 못할 경우 더 나은 지역 최적해로 수렴하기 위한 것이다. 인간과 동물의 학습에서 비롯된 직관적 아이디어, 즉 더 간단한 문제로 시작하면 학습자가 더 복잡한 작업을 다루기 전에 기반을 다질 수 있다는 개념에 기반한다.
이 방법은 현대 Deep learning과 Artificial intelligence에서 중요한 도구가 되었으며, 자연어 처리부터 자율 주행까지 다양한 응용 분야를 포함한다. 모든 문제가 커리큘럼 학습의 이점을 얻는 것은 아니지만, 여러 영역에서 성공을 보여주었으며, 종종 나쁜 지역 최소값을 피하는 데 도움이 되는 정규화의 한 형태로 작용한다. 핵심 아이디어는 동일하다: 훈련 데이터가 한 번에 또는 무작위로 제시되는 대신, 난이도가 증가하는 순서로 제시된다는 것이다.
난이도 정의
커리큘럼 학습의 핵심 과제는 무엇이 예제를 "쉽게" 또는 "어렵게" 만드는지 정의하는 것이다. 이는 도메인과 사용 가능한 자원에 따라 여러 방식으로 수행될 수 있다. 일반적인 접근 방식 중 하나는 인간 주석을 사용하는 것으로, 전문가가 복잡성에 따라 예제를 분류한다. 예를 들어, Large language model 훈련에서 더 짧은 문장은 더 긴 문장보다 쉬운 것으로 분류될 수 있다. 또는 외부 휴리스틱이 단어 빈도, 이미지 해상도, 장면의 객체 수와 같은 속성에 기반하여 난이도 점수를 할당할 수 있다.
또 다른 접근 방식은 별도의 모델의 성능을 사용하여 난이도를 자동화하는 것이다. 사전 훈련된 모델이 정확히 예측하는 예제는 쉬운 것으로 간주되고, 잘못 분류된 예제는 어려운 것으로 간주된다. 이 방법은 약한 학습자가 오류에 초점을 맞춰 결합되는 부스팅과 밀접한 관련이 있다. 난이도는 또한 훈련 중에 동적으로 측정될 수 있으며, 예를 들어 모델이 개별 예제에 대한 손실을 추적하여 자기 주도 학습 전략으로 이어질 수 있다.
난이도 정의의 변형은 결과에 상당한 영향을 미칠 수 있다. 예를 들어, 이미지 인식에서 모델은 겹치는 객체가 있는 복잡한 장면으로 이동하기 전에 사각형과 원과 같은 더 간단한 모양을 먼저 학습할 수 있다. Reinforcement learning에서 게임은 적의 수를 줄이거나 장애물을 제거하여 단순화할 수 있으며, 에이전트가 기본을 학습함에 따라 점차 전체 환경을 복원한다.
스케줄링 전략
난이도가 정의되면 다음 단계는 난이도를 증가시키는 스케줄을 결정하는 것이다. 간단한 접근 방식은 고정 스케줄을 사용하는데, 예를 들어 훈련 반복의 전반부에 쉬운 예제를 제시하고 후반부에 모든 예제를 혼합하는 것이다. 이는 효과적일 수 있지만 모델이 아직 준비되지 않은 어려운 예제를 조기에 도입할 수 있다.
자기 주도 학습이라고도 불리는 더 적응적인 방법은 모델의 현재 성능에 기반하여 난이도를 증가시킨다. 모델이 쉬운 예제에서 높은 정확도를 달성하면 알고리즘은 자동으로 더 어려운 예제를 도입하고, 성능이 떨어지면 더 쉬운 데이터로 되돌아갈 수 있다. 이는 학습과 망각 사이의 동적 균형을 제공한다. 또 다른 변형은 확률적 스케줄을 사용하는데, 시간이 지남에 따라 어려운 예제에 더 초점을 맞추는 분포에서 예제를 추출한다.
각 단계에서 다양성도 중요하다. 쉬운 예제가 서로 비슷하게 불균형적으로 많은 데이터 세트에서 유사성만 보상하는 커리큘럼은 모델이 과도하게 전문화되게 만들 수 있다. 이를 피하기 위해 일부 전략은 각 미니 배치에 다양한 난이도가 포함되도록 명시적으로 보장한다. 이는 데이터 세트에 종종 내재적 편향이 있는 Computer vision 또는 Natural language processing과 같은 분야에서 특히 관련이 있다.
이론적 고려 사항
커리큘럼 학습은 전이 학습의 개념과 밀접하게 연결되어 있다: 쉬운 예제에서 학습한 모델이 더 어려운 예제로 일반화할 수 있다는 성공 가정에 기반한다. 예를 들어, 기본 기하학적 모양을 식별하는 법을 학습한 후 모델은 더 간단한 모양으로 구성된 보트나 자동차를 더 쉽게 식별할 수 있다. 이러한 의미에서 쉬운 예제는 일종의 귀납 또는 프라이밍을 제공하고, 어려운 예제는 새로운 패턴을 도입한다.
이 기법은 종종 정규화의 한 형태로 간주되는데, 복잡한 데이터를 점진적으로 도입하여 과적합 가능성을 줄이기 때문이다. 2009년 Yoshua-Bengio와 동료들의 초기 연구는 커리큘럼 학습이 특히 테스트 세트에서 일반화를 향상시킨다는 것을 보여주었다. 그러나 효과가 항상 유익한 것은 아니다; 일부 작업에서는 가장 어려운 예제를 먼저 제시하는 안티 커리큘럼 학습이 전통적인 커리큘럼보다 우수했으며, 특히 최종 목표가 쉬운 버전과 매우 다를 때 그렇다.
기본 원리는 작게 시작하면 모델이 노이즈나 복잡한 세부 사항에 얽매이지 않고 일반 원칙을 학습할 수 있다는 것이다. 이는 인간의 인지 학습을 반영하는데, 아이들은 읽기나 대수학을 배우기 전에 숫자와 문자와 같은 간단한 개념을 먼저 배운다. 일부 연구자들은 커리큘럼 학습이 많은 아키텍처에서 수렴 속도와 최종 정확도를 일관되게 향상시키는 몇 안 되는 훈련 기법 중 하나라고 제안했다.
자연어 처리에서의 응용
자연어 처리에서 커리큘럼 학습은 품사 태깅, 의도 감지, 감정 분석, 기계 번역과 같은 작업에 적용되었다. 예를 들어, Machine translation에서 커리큘럼은 짧고 간단한 문장으로 시작하여 길이와 언어적 복잡성을 점차 증가시킬 수 있다. 품사 태깅에서 모델은 흔하지 않은 문법 구조를 가진 더 큰 말뭉치로 이동하기 전에 간단한 영어 문장으로 훈련되는 경우가 많다.
GPT와 같은 대규모 언어 모델도 커리큘럼을 사용한 사전 훈련의 이점을 얻었다. 일부 접근 방식은 문장 길이나 희귀 단어 빈도로 훈련 말뭉치를 정렬한다. 이는 모델이 구문과 기본 의미론을 더 안정적으로 습득하는 데 도움이 될 수 있다. 감정 분석에서 쉬운 예제는 "great"와 같은 명확한 긍정 단어가 있는 영화 리뷰일 수 있고, 어려운 예제는 모호한 언어로 비꼬는 것일 수 있다. 커리큘럼은 특히 미세 조정과 결합될 때 벤치마크에서 더 빠른 훈련과 더 나은 성능으로 이어지는 것으로 나타났다.
음성 인식에서도 커리큘럼 학습이 사용되었다. 예를 들어, ACCAN 방법은 신호 대 잡음비가 가장 낮은 예제를 먼저 훈련하는데, 이는 잡음이 많은 음성 작업에서 안티 커리큘럼의 예이다. 이는 최적의 순서가 도메인과 잡음 유형에 따라 달라질 수 있음을 보여준다.
컴퓨터 비전에서의 응용
이미지 인식 작업은 커리큘럼의 이점을 크게 얻는다. 얼굴 인식에서 모델은 먼저 정면, 조명이 밝은 방향의 얼굴을 학습한 다음 측면 각도, 마지막으로 마스크나 그림자가 있는 얼굴을 학습할 수 있다. 유사하게, 객체 감지에서 모델은 이미지당 하나의 객체로 시작하여 나중에 많은 객체가 있는 복잡한 장면으로 이동할 수 있다. 두 경우 모두 점진적인 확장은 모델이 시각적 복잡성에 압도되지 않고 기본 특징을 학습하는 데 도움이 된다.
2009년 Bengio 등의 논문의 고전적인 예는 모양이 점차 더 많은 차이를 추가하는 기하학적 모양 분류를 포함했는데, 예를 들어 모델이 겹치는 모양으로 이동하기 전에 사각형과 삼각형을 구별하는 방법을 학습한 것이다. MIT-CSAIL 또는 Stanford-AI-Lab과 같은 이미지 데이터 세트를 사용한 초기 실험은 커리큘럼이 수렴과 최종 정확도를 향상시킬 수 있음을 보여주었다. 그 이후로 많은 비전 도구 키트에서 표준 옵션이 되었다.
강화 학습 및 그 너머
커리큘럼 학습은 종종 Reinforcement learning과 결합되어 단순화된 게임 버전에서 에이전트를 훈련하는 데 사용된다. 예를 들어, 로봇은 복잡한 환경에서 잡기 전에 빈 방에서 객체를 잡는 법을 학습할 수 있다. 게임 플레이의 경우 에이전트는 먼저 약한 상대나 더 짧은 시간 제한으로 플레이한 다음 점차 난이도를 높일 수 있다. 이는 체스 컴퓨터나 다른 비디오 게임에서 일반적인 관행이다.
이 방법은 그래프 학습, 행렬 분해, 심지어 모델 매개변수 수가 변하는 경우에도 적용될 수 있다. 일부 저자는 예를 들어 Neural network의 레이어 수를 커리큘럼의 일부로 점진적으로 증가시키는 것을 포함하는데, 더 큰 모델은 최적화하기 더 어렵기 때문이다. Machine translation과 질문 응답에서 대규모 모델은 동일한 아이디어의 이점을 얻는다.
역사와 영향
"커리큘럼 학습"이라는 용어는 2009년 Yoshua Bengio와 동료들에 의해 도입되었으며, 그들은 심리적 기법인 셰이핑과 인간의 구조화된 교육에 비유했다. 그들은 또한 1993년에 신경망에서 작게 시작하는 것의 중요성을 언급한 Jeffrey Elman의 초기 연구를 인정했다. 그 이후로 이 방법은 여러 분야에서 탐구되었으며, 설문 조사에 따르면 커리큘럼이 잘 설계되면 효율성과 최종 성능 모두에서 이점을 제공한다.
오늘날 커리큘럼 학습은 학술 연구뿐만 아니라 실용적인 딥 러닝에서 널리 사용된다. 대규모 모델의 데이터 파이프라인에 통합되었으며, 많은 오픈 소스 라이브러리가 샘플 스케줄링을 지원한다. 그러나 보편적인 해결책은 아니다; 일부 작업은 이점을 얻지 못하거나 잘못 설계된 커리큘럼으로 인해 손해를 볼 수 있다. 커리큘럼과 그 스케줄의 선택은 여전히 활발한 연구 영역이며, 모델 행동에서 커리큘럼을 자동으로 구축하는 작업이 진행 중이다.
대규모 사전 훈련 시대, 예를 들어 large-language-models와 같은 경우, 데이터 양이 증가함에 따라 예제 순서가 더욱 중요해진다. 테라바이트 단위의 데이터에서 좋은 커리큘럼은 훈련 비용을 줄이고 모델이 중요한 특징에 집중하는 데 도움이 될 수 있다. 결과적으로 커리큘럼 학습은 Generative AI 및 그 너머의 미래 발전에서 핵심 요소로 계속될 가능성이 높다.