Together AI는 인공지능 모델을 개발하고 실행하기 위한 플랫폼을 제공하는 클라우드 서비스 제공업체로, 특히 대규모 언어 모델과 생성형 AI에 중점을 둔다. 이 회사는 GPU 클러스터에 대한 접근성과 모델 훈련, 미세 조정, 배포 과정을 간소화하도록 설계된 일련의 소프트웨어 도구를 제공한다. 제공 사항에는 RedPajama 시리즈의 오픈소스 모델이 포함되며, 이는 독점 시스템에 대한 투명하고 접근 가능한 대안 역할을 하기 위한 것이다.
이 플랫폼은 개방형 연구와 재현성의 원칙을 기반으로 구축되었으며, Machine learning 분야에서 일하는 조직과 연구자들의 진입 장벽을 낮추는 것을 목표로 한다. 원시 컴퓨팅 성능과 관리형 소프트웨어 스택을 결합함으로써, Together AI는 AI 개발을 종종 방해하는 인프라 관리의 복잡성을 해결하고자 한다. 이 회사의 접근 방식은 Amazon Web Services, Microsoft Azure, Google Cloud와 같은 주요 제공업체가 포함된 AI 클라우드 서비스의 경쟁 구도에서 주목할 만한 플레이어로 자리매김하게 했다.
역사와 설립
Together AI는 2022년 인공지능 및 분산 시스템 분야의 배경을 가진 연구자와 엔지니어 그룹에 의해 설립되었다. 설립 팀에는 이전에 저명한 기술 기업과 연구 기관에서 근무한 개인들이 포함되어 있었으며, 대규모 모델 훈련 및 배포에 대한 경험을 가져왔다. 이 회사는 일부 선도적인 AI 연구소의 점점 더 폐쇄적인 성격과 대조되는, AI 개발을 위한 보다 협력적이고 개방적인 환경을 만들고자 하는 열망에서 출발했다.
초기 자금 조달 라운드는 2022년에 완료되었으며, 벤처 캐피털 회사와 주목할 만한 기술 업계 인사들의 투자가 이루어졌다. 이러한 초기 지원 덕분에 회사는 클라우드 인프라 구축과 초기 소프트웨어 도구 개발을 시작할 수 있었다. 2023년 초까지 Together AI는 공개 플랫폼을 출시하여 GPU 클러스터와 다양한 오픈소스 모델에 대한 접근을 제공했다.
RedPajama 모델
Together AI의 가장 중요한 기여 중 하나는 완전히 오픈소스인 대규모 언어 모델을 만드는 이니셔티브인 RedPajama 프로젝트이다. 이 프로젝트의 목표는 사용이 자유로울 뿐만 아니라 훈련 데이터와 방법론에 있어 투명한 모델을 제공하는 것이다. 이는 훈련 데이터와 내부 작동 방식이 종종 독점적인 많은 상용 모델과 대조된다.
RedPajama 데이터셋은 2023년 4월에 공개되었으며, 1.2조 개 이상의 토큰으로 구성된 텍스트 데이터로 이루어져 있다. 이 데이터셋은 OpenAI의 GPT-3를 훈련하는 데 사용된 데이터의 구성을 재현하도록 설계되었으며, 책, 위키백과, 웹 페이지와 같은 출처에서 가져왔다. 이 데이터셋의 공개는 대규모 모델을 위한 고품질 훈련 데이터에 대한 접근을 민주화하는 중요한 단계였다.
데이터셋 공개에 이어, Together AI는 RedPajama-INCITE 모델 제품군을 도입했다. 30억 개에서 70억 개의 매개변수 크기로 제공되는 이 모델들은 RedPajama 데이터셋으로 훈련되었다. 이들은 개방형 라이선스로 제공되어 연구 및 상업적 사용을 모두 허용했다. 이 모델들은 다양한 벤치마크에서 경쟁력 있는 성능을 입증하여, 오픈소스 모델이 특정 작업에서 독점 모델과 견줄 수 있음을 보여주었다.
클라우드 플랫폼 및 인프라
Together AI의 핵심 제품은 사용자에게 고성능 컴퓨팅 리소스에 대한 주문형 접근을 제공하는 클라우드 플랫폼이다. 이 플랫폼은 AMD 및 NVIDIA를 포함한 다양한 GPU 유형을 지원하여, 사용자가 자신의 필요와 예산에 가장 잘 맞는 하드웨어를 선택할 수 있게 한다. 이러한 유연성은 비용 효율적인 실험과 확장을 가능하게 하는 핵심 판매 포인트이다.
이 플랫폼에는 대규모 모델 훈련 과정을 간소화하는 관리형 훈련 서비스가 포함되어 있다. 사용자는 모델 아키텍처와 훈련 매개변수를 지정할 수 있으며, 플랫폼은 여러 GPU에 걸친 분산 훈련을 포함한 기본 인프라를 처리한다. 이러한 추상화는 연구자와 개발자의 기술적 부담을 줄여, 클러스터 관리보다는 모델 설계에 집중할 수 있게 한다.
추론의 경우, Together AI는 사용자가 최소한의 설정으로 훈련된 모델을 프로덕션 환경에서 실행할 수 있게 하는 배포 서비스를 제공한다. 이 서비스에는 자동 확장 및 부하 분산과 같은 기능이 포함되어, 애플리케이션이 다양한 수준의 트래픽을 처리할 수 있도록 보장한다. 이 플랫폼은 또한 미세 조정을 지원하여, 사용자가 사전 훈련된 모델을 특정 도메인이나 작업에 적응시킬 수 있게 한다.
소프트웨어 및 도구
원시 인프라 외에도, Together AI는 AI 개발 워크플로우를 향상시키도록 설계된 일련의 소프트웨어 도구를 제공한다. 이러한 도구에는 단일 GPU의 메모리 용량을 초과하는 매우 큰 모델의 효율적인 훈련을 가능하게 하는 모델 병렬화 라이브러리가 포함된다. 이 회사는 분산 훈련을 위한 PyTorch 기반 라이브러리와 같은 이 분야의 오픈소스 프로젝트에 기여했다.
이 플랫폼은 또한 Transformer (architecture) 아키텍처 및 Deep learning 라이브러리와 같은 인기 있는 프레임워크와 통합되어, 기존 워크플로우와의 호환성을 보장한다. 사용자는 Hugging Face의 Transformers 라이브러리와 같은 표준 도구를 활용하여 Together AI에서 호스팅되는 모델을 로드하고 사용할 수 있다. 이러한 상호 운용성은 팀이 기존 코드를 최소한의 변경으로 마이그레이션할 수 있게 하므로 채택에 중요하다.
Together AI는 또한 저지연 및 고처리량에 최적화된 자체 추론 엔진을 개발했다. 이 엔진은 대규모 모델을 효율적으로 서비스하여 사용자당 토큰 비용을 줄이도록 설계되었다. 이 회사는 일반적인 서빙 솔루션보다 상당한 성능 향상을 주장하며, 실시간 요구 사항이 있는 애플리케이션에 매력적인 옵션이 된다.
오픈소스 기여
Together AI는 오픈소스 AI의 강력한 지지자이며, 그 기여는 RedPajama 모델을 넘어 확장된다. 이 회사는 더 넓은 AI 커뮤니티에 혜택을 주기 위해 여러 소프트웨어 라이브러리와 도구를 오픈소스 라이선스로 공개했다. 여기에는 데이터 처리, 모델 평가 및 훈련 최적화를 위한 유틸리티가 포함된다.
이 회사는 또한 대규모 모델 훈련과 관련된 주제에 대한 논문과 기술 보고서를 게시하는 협력 연구 노력에 참여한다. 이 연구는 종종 Stanford AI Lab 및 BAIR (Berkeley AI Research)와 같은 학술 기관과의 파트너십으로 수행된다. Together AI는 연구 결과를 공유함으로써 해당 분야의 집단적 지식 기반에 기여한다.
주목할 만한 기여 중 하나는 Stanford AI Lab의 연구자들과 협력하여 개발된 FlashAttention 라이브러리이다. FlashAttention은 메모리 사용을 줄이고 트랜스포머 모델의 훈련 속도를 높이는 효율적인 어텐션 메커니즘이다. 이 라이브러리는 AI 커뮤니티에서 널리 채택되어 많은 훈련 파이프라인에서 표준 구성 요소가 되었다.
경쟁 구도
Together AI는 확립된 클라우드 제공업체와 전문 AI 스타트업 모두로부터 도전을 받는 고도로 경쟁적인 시장에서 운영된다. Amazon Web Services, Microsoft Azure, Google Cloud와 같은 주요 클라우드 플랫폼은 관리형 머신 러닝 플랫폼과 사전 훈련된 모델을 포함한 자체 AI 서비스를 제공한다. 이러한 제공업체는 방대한 인프라와 기존 고객 기반이라는 이점을 가지고 있다.
전문 경쟁업체로는 Groq, SambaNova, Graphcore가 있으며, 이들은 AI 워크로드를 위한 맞춤형 하드웨어와 소프트웨어 개발에 중점을 둔다. 이러한 회사들은 종종 전통적인 GPU 기반 시스템에 대한 대안을 제공하며 고성능 추론 및 훈련을 목표로 한다. Together AI는 오픈소스 모델에 대한 강조와 사용자 친화적인 플랫폼을 통해 차별화한다.
이 회사는 또한 AI21 Labs 및 Inflection AI와 같은 다른 오픈소스 모델 제공업체와의 경쟁에 직면한다. 그러나 Together AI의 클라우드 인프라와 모델 개발의 독특한 조합은 이를 차별화한다. 이 회사는 맞춤형 AI 솔루션을 구축하고 배포하려는 조직을 위한 원스톱 상점이 되는 것을 목표로 한다.
애플리케이션 및 사용 사례
Together AI의 플랫폼은 다양한 산업과 애플리케이션에서 사용된다. 의료 분야에서 조직은 의료 텍스트 분석 및 진단 지원을 위한 모델을 개발하기 위해 이 플랫폼을 사용한다. 독점 데이터에 대한 모델 미세 조정 기능은 데이터 개인 정보 보호가 가장 중요한 이 도메인에서 특히 가치가 있다.
금융 산업에서 Together AI는 사기 탐지, 위험 평가 및 알고리즘 트레이딩을 위한 모델을 구축하는 데 도움을 준다. 플랫폼의 확장성 덕분에 이러한 조직은 대량의 데이터를 처리하고 실시간으로 모델을 배포할 수 있다. 모델의 오픈소스 특성은 또한 규제 준수에 중요한 더 큰 투명성과 감사 가능성을 제공한다.
스타트업과 연구 기관의 경우, Together AI는 대규모 AI 개발에 대한 접근 가능한 진입점을 제공한다. 종량제 가격 모델은 팀이 상당한 선행 투자 없이 실험할 수 있게 한다. 접근성의 이러한 민주화는 회사 사명의 핵심 부분이며, 더 넓은 범위의 목소리가 AI 혁신에 기여할 수 있게 한다.
향후 방향
앞으로 Together AI는 플랫폼과 모델 제공을 계속 확장하고 있다. 이 회사는 훈련 및 추론의 계산 비용을 줄이는 데 중점을 두고 대규모 언어 모델의 효율성과 기능을 개선하기 위한 연구에 투자하고 있다. 여기에는 성능을 크게 잃지 않으면서 모델을 더 작고 빠르게 만들 수 있는 모델 가지치기 및 양자화와 같은 기술 탐구가 포함된다.
이 회사는 또한 텍스트와 이미지를 모두 처리할 수 있는 멀티모달 모델에 대한 지원을 강화하는 작업을 하고 있다. 이는 컴퓨터 비전 및 로보틱스와 같은 분야의 애플리케이션과 함께 AI 커뮤니티에서 관심이 증가하는 영역이다. Together AI는 기능을 확장함으로써 생성형 AI 혁명의 최전선에 남는 것을 목표로 한다.
2024년 현재, Together AI는 성장하는 고객 기반과 오픈소스 기여에 대한 강력한 평판을 가진 AI 클라우드 시장의 핵심 플레이어로 자리매김했다. 이 회사의 지속적인 성공은 인공지능의 빠르게 진화하는 환경에 혁신하고 적응하는 능력에 달려 있을 것이다.