합성 데이터는 일반적으로 모델이나 시뮬레이션에 의해 인공적으로 생성된 데이터로, 실제 세계의 사건이나 인간이 만든 콘텐츠에서 수집된 것이 아니라 기계 학습 시스템을 훈련, 미세 조정 또는 평가하는 데 사용된다. 현대 대규모 언어 모델의 맥락에서 합성 데이터는 보통 기존 AI 모델이 생성한 텍스트, 코드 또는 대화를 의미하며, 종종 필터링을 거친 후 다른 모델의 훈련 데이터로 사용된다. 이러한 관행은 더 강력한 모델의 출력이 더 약한 모델을 가르칠 때 증류의 한 형태로 설명되기도 한다.
합성 데이터는 2020년대 중반에 걸쳐 주요 연구소들이 연구자들이 데이터 벽이라고 부르는 현상, 즉 인터넷에서 쉽게 구할 수 있는 고품질의 인간 생성 텍스트의 성장 둔화에 직면하면서 중요성이 커졌다. 이로 인해 모델 생성 데이터는 지속적인 스케일링을 위해 인간이 만든 텍스트를 보완하는 점점 더 중요한 요소가 되었다.
용도
합성 데이터는 AI 개발에서 여러 목적으로 사용된다. 희귀한 데이터 범주를 보강할 수 있는데, 예를 들어 드문 언어, 수학이나 코드 같은 전문 분야, 또는 인간으로부터 대규모로 수집하기 비용이 많이 드는 다중 턴 대화의 추가 예시를 생성하는 것이다. 또한 인간 피드백 기반 강화 학습 파이프라인과 그 후속 모델에서 광범위하게 사용되며, 여기서 모델 또는 모델 앙상블이 후보 응답을 생성한 다음 순위를 매기거나 필터링하여 훈련 신호를 만든다. 합성 데이터는 추론 모델 훈련에서도 핵심적인 역할을 하는데, 수학과 프로그래밍 같은 검증 가능한 영역에서 모델이 스스로 생성한 솔루션을 자동으로 확인하고 올바른 것을 훈련 예시로 재사용할 수 있게 하며, 이는 DeepSeek-R1 같은 시스템의 기반이 되는 강화 학습 방법의 중심이다. 텍스트 외에도 합성 데이터는 컴퓨터 비전과 로봇 공학에서 널리 사용되며, 시뮬레이션 환경이 물리적으로 수집하기 비용이 많이 드는 레이블이 지정된 이미지나 상호작용 데이터를 생성한다.
모델 붕괴 논쟁
2023년경 시작된 일련의 연구는 모델 붕괴에 대한 우려를 제기했는데, 이는 모델이 이전 모델이 생성한 데이터에 반복적이고 무차별적으로 훈련될 경우 발생할 수 있는 모델 품질 저하를 가리키는 가설로, 각 세대가 오류를 증폭하고 원래 인간 생성 분포에서 드물지만 중요한 패턴의 적용 범위를 잃을 것이라는 이론에 기반한다. 이후의 연구와 업계 관행은 모델 붕괴가 주로 합성 데이터를 품질 필터링이나 실제 데이터와의 혼합 없이 부주의하게 사용할 때 실질적인 위험이며, 신중하게 선별되거나 검증된 합성 데이터, 특히 검증 가능한 영역에서는 동일한 저하를 나타내지 않고 모델 품질을 크게 향상시킬 수 있음을 시사했다. 2025년까지 대부분의 최첨단 연구소는 합성 데이터를 피하기보다는 표준 훈련 과정의 일부로 상당량의 선별된 합성 데이터를 사용했다.
품질 및 검증
합성 데이터는 이를 생성한 모델의 편향, 오류 및 문체적 특성을 상속하고 증폭할 수 있기 때문에, 실무자들은 일반적으로 훈련 세트에 생성된 예시를 포함하기 전에 별도의, 종종 더 유능한 모델이나 규칙 기반 검사기를 사용하여 품질을 점수화하거나 검증하는 필터링 단계를 적용한다. 실행할 수 있는 코드나 확인할 수 있는 수학처럼 정확성을 자동으로 검증할 수 있는 영역은 저품질 예시를 알고리즘적으로 걸러낼 수 있기 때문에 합성 데이터 생성에 특히 적합한 것으로 간주되는 반면, 개방형 창의적 또는 사실적 텍스트는 자동 검증이 더 어렵고 이를 기반으로 훈련된 모델을 조용히 저하시킬 위험이 더 크다.