추론 모델은 최종 답변을 생성하기 전에 확장된 내부 추론 단계 시퀀스를 생성하도록, 일반적으로 강화 학습으로 훈련된 대규모 언어 모델로, 초기 세대 모델처럼 즉시 답변하는 대신 추론 과정을 거친다. 이 범주는 프롬프트의 지침을 통해 기존에 훈련된 모델이 단계별로 추론하도록 요청하는 일반적인 사고 사슬 프롬프팅과 구별되는데, 추론 모델은 자신의 추론 과정을 생성하고 개선하도록 특별히 훈련되었으며, 프롬프트된 모델보다 훨씬 더 많은 중간 텍스트를 생성하는 경우가 많다.
기원
OpenAI는 2024년 9월 첫 번째로 널리 알려진 추론 모델인 OpenAI o1을 출시했으며, 수학 및 프로그래밍과 같이 최종 답변을 자동으로 확인할 수 있는 문제에 대한 강화 학습을 사용하여 응답 전에 "생각"하도록 훈련되었다고 설명했다. OpenAI는 o1의 내부 추론 사슬을 사용자에게 대부분 숨기고 요약된 버전만 표시했는데, 이는 모델이 잘못된 경로를 탐색하는 것을 포함하여 자유롭게 추론할 수 있는 능력을 보존하고, 다듬어지지 않은 추론이 최종적으로 승인된 답변으로 오인되지 않도록 하기 위한 결정이라고 회사는 밝혔다. 이 접근 방식은 다단계 추론이 필요한 벤치마크, 즉 경쟁 수학 및 SWE-bench와 같은 코딩 작업에서 상당한 정확도 향상을 가져왔다.
DeepSeek-R1 및 오픈 추론 모델
2025년 1월, 중국 연구소 DeepSeek는 대규모 강화 학습으로 훈련된 오픈 가중치 추론 모델인 DeepSeek-R1을 출시했으며, 이 모델은 여러 벤치마크에서 OpenAI의 추론 모델 성능과 일치하거나 근접하면서도 보고된 훈련 비용의 일부만으로 성능을 달성했고, o1과 달리 사용자에게 전체 추론 사슬을 공개했다. 이 출시는 DeepSeek 시장 충격으로 알려진 사태를 촉발하여 AI 인프라 주식의 대규모 매도를 초래했고, 최첨단 추론 모델을 훈련하는 데 필요한 컴퓨팅 자원에 대한 가정을 광범위하게 재평가하게 했다. DeepSeek는 또한 R1의 더 작은 증류 버전을 출시하여 추론 스타일 동작을 적당한 하드웨어에서 실행할 수 있을 만큼 저렴한 모델에서 사용할 수 있게 했다.
테스트 시점 컴퓨팅
추론 모델의 핵심 트레이드오프는 추가적인 테스트 시점 컴퓨팅, 즉 훈련 중이 아닌 답변 시점에 더 많은 계산을 사용하여 어려운 문제에서 더 높은 정확도를 얻을 수 있다는 것이다. 이는 모델 크기, 훈련 데이터 및 훈련 컴퓨팅에 초점을 맞춘 스케일링 법칙으로 설명된 전통적인 스케일링 관계와 다르며, 추론 모델은 더 큰 새 모델을 훈련하지 않고도 성능을 향상시킬 수 있는 추가 축을 제공했다. OpenAI의 추론 모델 노력에 합류하기 전에 추론 및 전략 게임 플레이 시스템을 연구한 Noam Brown을 포함한 연구자들은 이를 인간 전문가가 생각할 시간이 더 주어지면 즉시 응답해야 할 때보다 더 나은 답변을 생성하는 방식과 유사하다고 설명했다.
평가 및 한계
추론 모델은 객관적으로 확인 가능한 답변이 있는 작업에서 특히 뛰어난 성능을 보이며, 이는 평가를 ARC-AGI 및 경쟁 수학과 같은 벤치마크로 이끌었고, 추론의 이점이 덜 일관되고 추가 추론 시간과 비용을 정당화하기 어려운 주관적인 작성 또는 대화 작업보다는 이러한 벤치마크에 집중하게 되었다. 추론 모델은 또한 다른 언어 모델과 동일한 환각 위험에 노출되어 있으며, 더 긴 추론이 사실적으로 정확한 최종 답변을 보장하지 않고, 엄격해 보이지만 잘못된 단계를 포함하는 추론 과정을 가끔 생성할 수 있다.