2020년 6월, OpenAI는 GPT-3 API를 출시하여 3세대 대규모 언어 모델에 대한 상업적 접근을 제공했다. 이 출시는 인공지능의 상업화에 있어 중대한 전환점이었으며, 최첨단 대규모 언어 모델을 위한 최초의 널리 사용 가능한 유료 서비스 중 하나였다. 이 API는 외부 개발자와 기업이 GPT-3를 제품에 통합할 수 있게 했으며, 이는 이후 몇 년간 더 넓은 생성형 AI 붐을 촉발하는 데 기여했다.
GPT-3 API는 2017년 Google 연구자들이 도입한 트랜스포머 아키텍처를 기반으로 구축되었다. GPT-3 자체는 1,750억 개의 매개변수를 가진 딥러닝 모델로, 방대한 인터넷 텍스트 코퍼스로 훈련되었다. 이 모델은 작업별 훈련 없이도 텍스트 생성, 번역, 질문 응답과 같은 작업을 수행했으며, 이러한 능력은 퓨샷 학습(few-shot learning)으로 알려졌다. API는 이 모델을 클라우드 엔드포인트를 통해 제공하여, 로컬에서 모델을 실행하는 것보다 더 간단한 인터페이스를 제공했다.
배경
OpenAI는 2015년 12월 샌프란시스코에서 비영리 AI 연구 조직으로 설립되었으며, 공동 의장은 엘론 머스크와 샘 알트만이었다. 그들의 목적은 인공 일반 지능이 모든 인류에게 혜택을 주도록 보장하는 것이었다. 2019년, OpenAI는 투자 유치와 경쟁력 있는 보상을 제공하기 위해 "상한" 영리 구조로 전환하여 OpenAI LP를 설립했다. 이 구조적 변화는 GPT-3와 같은 모델을 훈련하는 데 필요한 막대한 컴퓨팅 비용을 조달하는 데 결정적이었으며, 이는 상당한 인프라를 요구했다.
API에 대한 아이디어는 OpenAI가 안전 감독을 유지하면서 모델을 상업화하려는 과정에서 나왔다. GPT-3 API의 비공개 베타는 2019년 11월에 시작되었고, 공개 출시는 2020년 6월에 이어졌다. API는 2019년 7월 발표된 Microsoft의 10억 달러 투자에 따라 Microsoft의 클라우드 플랫폼인 애저에서 호스팅되었다. 이 파트너십은 GPT-3의 훈련과 배포에 필요한 컴퓨팅 자원을 제공했다.
기능 및 역량
GPT-3 API는 텍스트 생성 및 완성을 위한 여러 엔드포인트를 노출했다. 사용자는 프롬프트를 보낼 수 있었고, 모델은 온도, top-k, top-p와 같은 매개변수를 통해 무작위성과 다양성을 제어하면서 연속 텍스트를 반환했다. API는 또한 맞춤 작업을 위한 미세 조정을 지원했지만, 초기 릴리스는 프롬프트 기반 상호작용에 중점을 두었다.
개발자는 소규모 "Ada" 모델부터 전체 GPT-3 "Davinci" 모델까지 여러 모델 크기를 선택할 수 있었으며, 지연 시간과 정확성을 균형 있게 조정했다. API는 콘텐츠 생성, 챗봇, 코드 생성, 의미 검색과 같은 사용 사례를 지원했다. 특히 퓨샷 학습이 두드러졌는데, 프롬프트에 몇 가지 예시를 제공하면 GPT-3는 추가 훈련 없이 새로운 작업을 수행할 수 있었으며, 이는 전통적인 머신러닝 접근 방식에서의 전환을 의미했다.
상업적 영향
GPT-3 API는 오픈AI에게 상업적 돌파구였으며, 반복 수익 모델을 확립했다. 2021년 중반까지 수천 명의 개발자와 수백 개의 기업이 API를 사용했으며, 가격은 처리된 토큰 수에 기반했다. 이러한 성공은 ChatGPT(2022년 11월 출시)를 포함한 OpenAI의 이후 제품의 기반이 되었으며, 이는 대규모 대중 채택을 이끌었고 OpenAI를 선도적인 AI 기업으로 만들었다.
API는 또한 경쟁을 촉발했다. 앤트로픽 및 AI21 Labs와 같은 기업들이 곧 자체 언어 모델 API를 출시했으며, 아마존 웹 서비스, 구글 클라우드, 오라클 클라우드와 같은 클라우드 제공업체는 머신러닝 서비스를 확장했다. 이 생태계는 소프트웨어 개발부터 마케팅에 이르기까지 산업 전반에 생성형 AI의 통합을 가속화했다.
기술적 아키텍처
GPT-3는 원래 트랜스포머 설계의 진화인 디코더 전용 트랜스포머 아키텍처를 사용한 신경망이었다. 이는 다중 헤드 어텐션과 위치 인코딩을 사용하여 시퀀스를 처리했으며, 대규모 텍스트 코퍼스에 대한 비지도 학습으로 훈련되었다. 모델의 1,750억 개 매개변수는 당시로서는 거대한 규모였으며, 특수한 훈련 인프라가 필요했다.
OpenAI는 훈련을 위해 수천 개의 GPU를 갖춘 Azure 기반 슈퍼컴퓨팅 플랫폼을 사용했다. API 자체는 HTTP 요청을 통해 제공되었으며, API 키 인증을 사용했다. 내부적으로 모델은 NVIDIA GPU에 배포되었지만, OpenAI는 나중에 Microsoft와 함께 맞춤형 실리콘을 탐구했다. API 설계는 이후 ChatGPT에 사용된 AI 피드백 기반 강화 학습 미세 조정 방법을 포함한 후속 노력에 영향을 미쳤다.
유산 및 더 넓은 맥락
GPT-3 API는 고급 AI 모델에 대한 상업적 접근이 실행 가능함을 입증했으며, 산업을 연구 전용에서 제품 제공으로 전환시켰다. 이는 GPT-4 및 멀티모달 시스템과 같은 모델이 온디맨드로 제공되는 더 넓은 API 생태계의 선구자였다. 이러한 움직임은 또한 오용과 안전 문제를 제기했으며, OpenAI는 사용 지침과 콘텐츠 필터를 구현하게 되었다.
이 출시는 대규모 언어 모델 능력에 대한 관심 증가와 동시에 일어났으며, 생성형 AI를 주류 분야로 확립하는 데 기여했다. 구글 딥마인드와 앤트로픽 같은 경쟁자들이 자체 모델을 발전시키는 동안, API는 중앙 통제를 유지하면서 접근성을 민주화하는 선례를 세웠다. 오늘날 GPT-3 API는 AI 진화의 역사적 이정표로, 실험 연구에서 상업적 제품으로의 전환을 강조한다.