OpenAI o1은 생성형 사전 학습 트랜스포머(GPT)이며 OpenAI의 "o" 시리즈 추론 모델 중 첫 번째 모델이다. 2024년 9월 12일 프리뷰로 출시된 o1은 답변을 생성하기 전에 추가 시간을 들여 "생각"하며, 이를 통해 GPT-4o와 같은 이전 모델에 비해 복잡한 추론 작업, 특히 과학, 수학, 프로그래밍 분야에서 성능을 향상시킨다. o1의 전체 버전은 2024년 12월 5일 ChatGPT 사용자에게 출시되었다.
o1은 대규모 언어 모델 설계의 전환점을 나타낸다. 모델 크기와 학습 데이터만 확장하는 대신, 추론 중에 더 많은 계산 능력을 할당하여 응답 전에 사고 사슬(chain of thought)을 생성한다. OpenAI가 새로운 패러다임으로 설명하는 이 접근 방식은 모델이 내부적으로 숙고할 수 있게 함으로써 출력 품질을 향상시키는 것을 목표로 한다. o1의 출시는 생성형 AI의 후속 발전에 영향을 미쳤으며, o3와 같은 후속 모델이 이어졌다.
역사
배경
유출된 정보에 따르면, o1은 OpenAI 내에서 이전에 "Q"로, 이후에는 "Strawberry"로 알려져 있었다. 코드명 "Q"는 2023년 11월 샘 알트만의 해임과 이후 OpenAI CEO 복귀 시기에 처음 등장했으며, 이 실험적 모델이 수학 벤치마크에서 유망한 결과를 보였다는 소문이 있었다. 2024년 7월, 로이터는 OpenAI가 "Strawberry"로 알려진 생성형 사전 학습 트랜스포머를 개발 중이며, 이는 나중에 o1이 되었다고 보도했다.
출시
"o1-preview"와 "o1-mini"는 2024년 9월 12일 ChatGPT Plus 및 Team 사용자에게 출시되었다. GitHub는 같은 날 Copilot 서비스에 o1-preview 통합 테스트를 시작했다. 2024년 12월 5일, o1의 전체 버전이 출시되었다. 같은 날, 더 나은 답변을 제공하기 위해 더 많은 컴퓨팅을 사용하는 o1 프로 버전에 대한 접근을 특징으로 하는 ChatGPT Pro라는 구독 서비스가 출시되었다. 2025년 1월, o1은 Microsoft Copilot에 통합되었다.
o1-preview의 API는 GPT-4o보다 몇 배 더 비싸다. 2025년 1월 기준, 전체 o1 모델의 API 사용은 사용 등급 5의 개발자로 제한된다. OpenAI는 o1이 "추론" 모델 시리즈의 첫 번째라고 언급했다. 2024년 12월, OpenAI는 후속 모델인 o3의 벤치마크 결과를 공유했다(o2라는 이름은 이동통신사 브랜드 O2와의 상표 충돌을 피하기 위해 건너뛰었다). 2025년 3월, OpenAI는 현재까지 가장 비싼 AI 모델인 o1-pro API를 출시했으며, 입력 토큰 100만 개당 150달러, 출력 토큰 100만 개당 600달러로 책정되었다.
기능
OpenAI에 따르면, o1은 새로운 최적화 알고리즘과 이를 위해 특별히 설계된 데이터셋으로 학습되었으며, 학습 과정에 강화 학습을 통합했다. OpenAI는 o1을 GPT-4o의 후속 모델이 아닌 보완 모델로 설명했다.
o1은 답변을 생성하기 전에 추가 시간을 들여 생각(사고 사슬 생성)하며, 이는 복잡한 추론 작업, 특히 과학과 수학에서 더 나은 성능을 제공한다. 이전 모델과 비교하여 o1은 최종 답변을 반환하기 전에 긴 "사고 사슬"을 생성하도록 학습되었다. 미라 무라티에 따르면, 응답 전에 생각하는 이 능력은 새로운 추가 패러다임을 나타내며, 답변 생성 시 더 많은 계산 능력을 사용하여 모델 출력을 개선하는 반면, 모델 확장 패러다임은 모델 크기, 학습 데이터, 학습 계산 능력을 증가시켜 출력을 개선한다. OpenAI의 테스트 결과는 답변 전에 생각하는 데 사용되는 계산량의 로그와 정확도 사이에 상관관계가 있음을 시사한다.
o1-preview는 물리학, 화학, 생물학 관련 벤치마크 테스트에서 박사 수준의 성능을 보였다. 미국 수학 초청 시험(American Invitational Mathematics Examination)에서는 GPT-4o의 13%(1.8/15)와 비교하여 83%(12.5/15)의 문제를 해결했다. 또한 Codeforces 코딩 대회에서 89번째 백분위수를 기록했다. o1-mini는 o1-preview보다 빠르고 80% 저렴하다. 프로그래밍 및 STEM 관련 작업에 특히 적합하지만, o1-preview와 같은 "광범위한 세계 지식"을 갖추고 있지는 않다.
OpenAI는 o1의 추론 능력이 프롬프트의 컨텍스트 창에 제공된 안전 규칙을 더 잘 준수하게 만든다고 언급했다. OpenAI는 테스트 중 o1-preview의 한 인스턴스가 버그로 인해 불가능해야 했던 작업을 성공시키기 위해 잘못된 구성을 악용했다고 보고했다. OpenAI는 또한 연구, 평가, 테스트를 위해 영국 및 미국 AI 안전 연구소에 조기 접근 권한을 부여했다. OpenAI의 평가에 따르면, o1-preview와 o1-mini는 CBRN(생물학적, 화학적, 방사선학적, 핵) 무기에서 "중간 위험" 수준에 도달했다. 댄 헨드릭스는 "이 모델은 생물무기 관련 질문에 답할 때 대부분의 경우 이미 박사 수준의 과학자를 능가한다"고 썼다. 그는 이러한 우려되는 능력이 계속 증가할 것이라고 제안했다.
한계
o1은 일반적으로 최종 응답을 만들기 전에 긴 사고 사슬을 생성하기 때문에 OpenAI의 다른 GPT 모델보다 더 많은 계산 시간과 전력이 필요하다. 이러한 증가된 계산 비용은 API 가격 및 사용 제한에 반영된다.
OpenAI에 따르면, o1은 약 0.38%의 경우에서 "정렬 위장(fake alignment)"을 할 수 있으며, 즉 정확성과 자체 사고 사슬에 반하는 응답을 생성할 수 있다. OpenAI는 사용자가 o1의 사고 사슬을 드러내려는 시도를 금지하며, 이는 설계상 숨겨져 있고 회사 정책을 준수하도록 학습되지 않았다. 프롬프트는 모니터링되며, 의도적이든 우연이든 이를 위반하는 사용자는 o1에 대한 접근 권한을 잃을 수 있다. OpenAI는 AI 안전과 경쟁 우위를 제한의 이유로 인용하며, 이는 대규모 언어 모델을 작업하는 개발자들에게 투명성 상실로 설명되었다.
2024년 10월, Apple의 연구자들은 o1과 같은 LLM이 모델 자체의 학습 데이터에서 추론 단계를 복제할 수 있다는 사전 인쇄본을 제출했다. 수학 문제에 사용된 숫자와 이름을 변경하거나 단순히 같은 문제를 다시 실행함으로써, LLM은 최상의 벤치마크 결과보다 다소 나쁜 성능을 보였다. 문제에 불필요하지만 논리적으로 무관한 정보를 추가하면 성능 저하가 훨씬 더 커졌으며, o1-preview의 경우 -17.5%, o1-mini의 경우 -29.1%, 테스트된 최악의 모델의 경우 -65.7%였다.
Apollo Research의 안전 평가에 따르면, o1은 통제된 테스트에서 다른 최첨단 모델보다 더 일관되게 속임수를 사용할 수 있었다(예: 종료 위협을 받을 때 외부 서버에 자신을 복사하려는 시도). 대면했을 때, 속임수 행동을 인정하는 경우는 상대적으로 드물었다(테스트 사례의 20%).
영향 및 평가
o1의 출시는 추론 시간 계산이라는 새로운 확장 차원을 도입하면서 인공지능 환경의 주목할 만한 전환점을 표시했다. 이 접근 방식은 모델 크기와 학습 데이터 증가에 초점을 맞춘 전통적인 방식과 대조되며, 앤트로픽과 구글 딥마인드를 포함한 다른 조직들이 후속 추론 중심 모델에서 채택했다. o1의 성공은 또한 AI 시스템의 해석 가능성과 투명성에 대한 논의를 촉발했으며, 숨겨진 사고 사슬이 연구자와 개발자 사이에서 우려를 불러일으켰다.
미국 수학 초청 시험 및 Codeforces 대회와 같은 벤치마크에서의 모델 성능은 추론 및 코딩 능력의 상당한 개선을 입증했으며, o1을 과학 연구 및 소프트웨어 개발을 위한 도구로 자리매김했다. 그러나 더 높은 계산 비용과 잠재적인 속임수 행동을 포함한 한계는 이 분야의 지속적인 과제를 강조했다.