Together AI는 오픈소스 대규모 언어 모델의 훈련, 미세 조정, 추론 실행을 위한 인프라와 서비스를 제공하는 클라우드 기반 플랫폼이다. 2022년에 설립된 이 회사는 관리형 컴퓨팅, 최적화된 모델 서빙, 다양한 개발 도구를 제공하여 고급 생성형 AI를 개발자와 기업이 쉽게 이용할 수 있도록 하는 것을 목표로 한다.
이 플랫폼은 NVIDIA GPU( H100 및 A100 가속기 포함)를 활용하는 고성능 컴퓨팅 스택을 기반으로 빠르고 비용 효율적인 추론을 제공한다. Together AI는 또한 Llama 및 Mistral과 같은 사전 훈련된 다양한 오픈소스 모델을 제공하며, 사용자는 간단한 API 호출로 이를 배포할 수 있다. 이 회사는 OpenAI 및 Anthropic과 같은 폐쇄 소스 제공업체의 대안으로 자리매김하며, 투명성, 사용자 지정 가능성, 커뮤니티 주도 혁신을 강조한다.
역사와 설립
Together AI는 머신 러닝 및 분산 시스템 분야의 배경을 가진 연구원과 엔지니어 팀에 의해 2022년에 설립되었다. 이 회사는 스탠포드 AI 연구소에서 시작되었으며, 처음에는 대규모 모델의 분산 훈련에 초점을 맞춘 연구 프로젝트로 인큐베이팅되었다. 창립 팀에는 Vipul Ved Prakash, Ce Zhang, Percy Liang 등이 포함되었다.
2023년, Together AI는 RedPajama 데이터셋과 분산 훈련 플랫폼인 Together Computer를 포함한 오픈소스 모델과 도구를 출시하여 상당한 주목을 받았다. 이 회사는 2023년 11월 Kleiner Perkins가 주도한 시리즈 A 자금 조달 라운드에서 1억 250만 달러를 모금하여 총 평가액이 5억 달러를 초과했다. 2024년까지 Together AI는 스타트업과 포춘 500대 기업을 포함한 고객 기반을 확장했으며, 온디맨드 및 전용 컴퓨팅 옵션을 모두 제공했다.
핵심 서비스
Together AI는 추론, 미세 조정, 훈련의 세 가지 주요 서비스를 제공한다. 추론 서비스는 연속 배치 및 양자화를 지원하는 최적화된 서빙 엔진을 사용하여 개발자가 낮은 지연 시간과 높은 처리량으로 오픈소스 모델을 배포할 수 있게 한다. 미세 조정 서비스는 사용자가 자체 데이터를 사용하여 기본 모델을 특정 도메인이나 작업에 맞게 조정할 수 있게 하며, LoRA와 같은 매개변수 효율적인 방법을 지원한다.
훈련 서비스는 데이터 준비, 작업 스케줄링, 모니터링 도구와 함께 사용자 지정 모델 사전 훈련을 위한 관리형 클러스터를 제공한다. Together AI는 또한 트랜스포머 및 신경망을 포함한 인기 있는 아키텍처를 갖춘 모델 라이브러리를 제공하며, PyTorch 및 Hugging Face와 같은 인기 있는 프레임워크와 통합된다. 이 플랫폼은 REST API, Python SDK, 웹 콘솔을 통해 접근할 수 있어 프로토타이핑과 프로덕션 워크로드 모두에 적합하다.
기술 및 인프라
Together AI의 인프라는 성능과 확장성을 위해 설계되었다. 이 회사는 미국과 유럽을 포함한 여러 지역에 데이터 센터를 운영하며, 고속 네트워킹을 사용하여 GPU 클러스터를 상호 연결한다. Together Inference Engine이라고 불리는 서빙 엔진은 텐서 병렬 처리, 추측 디코딩, 커널 융합과 같은 기술을 통합하여 처리량을 극대화한다.
미세 조정을 위해 Together AI는 전체 미세 조정과 LoRA 및 QLoRA와 같은 효율적인 방법을 모두 지원하며, 이는 메모리와 컴퓨팅 요구 사항을 줄인다. 이 플랫폼은 또한 사용자가 분산 네트워크에서 유휴 GPU 용량을 임대할 수 있는 "Together Computer"라는 기능을 제공하며, 이는 CoreWeave와 유사하지만 오픈소스 모델에 중점을 둔다. 2024년 기준으로 Together AI는 수천 대의 GPU를 배포하고 매일 수십억 개의 토큰을 서빙한다.
생태계 및 파트너십
Together AI는 오픈소스 AI를 중심으로 활기찬 생태계를 구축했다. 이 회사는 AI21 Labs 및 Inflection AI를 포함한 모델 개발자와 협력하여 플랫폼에서 모델을 호스팅한다. 또한 Amazon Web Services 및 Google Cloud와 같은 클라우드 제공업체와 파트너십을 맺어 통합 솔루션을 제공하지만, 자체 독립 인프라는 유지한다.
이 회사는 LLaMA 훈련 데이터의 재현인 RedPajama 데이터셋과 대화형 모델 모음인 OpenChatKit과 같은 오픈소스 프로젝트에 적극적으로 기여한다. Together AI는 또한 인공지능 분야의 혁신을 촉진하기 위해 연구를 후원하고 해커톤 및 미트업을 포함한 커뮤니티 이벤트를 주최한다. 2024년에는 플랫폼을 기반으로 구축하는 스타트업을 지원하기 위해 1천만 달러 펀드를 출시했다.
평가 및 영향
Together AI는 오픈소스 모델로 작업하려는 개발자에게 접근 가능한 진입점을 제공하며 AI 민주화의 핵심 플레이어로 인정받고 있다. 업계 분석가들은 성능과 비용 효율성을 칭찬하며, 지연 시간 벤치마크에서 폐쇄 소스 대안보다 종종 우수하다고 언급한다. 그러나 일부 비평가들은 대규모 GPU 컴퓨팅의 환경 영향과 오픈소스 모델의 오용 가능성에 대한 우려를 제기했다.
이러한 과제에도 불구하고 Together AI는 금융, 의료, 기술 분야의 주목할 만한 기업을 포함한 고객 기반을 통해 계속 성장하고 있다. 오픈소스 원칙에 대한 회사의 헌신은 연구자와 개발자 사이에서 충성도 높은 지지층을 확보했으며, 생성형 AI 환경에서 중요한 세력으로 자리매김하고 있다. 2025년 기준으로 Together AI는 클라우드 추론 및 미세 조정 서비스의 선도적 제공업체로 남아 있으며, 더 전문화된 도구와 엔터프라이즈 기능을 포함하도록 서비스를 확장할 계획이다.
같이 보기
참고 문헌
- Together AI 공식 웹사이트 및 보도 자료.
- TechCrunch, "Together AI raises $102.5M to build open-source AI models," 2023년 11월.
- VentureBeat, "Together AI launches inference engine for open-source models," 2024년 3월.