Gradient AI는 대규모 언어 모델을 미세 조정하고 배포하기 위한 플랫폼을 애플리케이션 프로그래밍 인터페이스(API)를 통해 제공하는 소프트웨어 회사입니다. 이 회사는 기반 인프라를 관리하지 않고 특정 작업에 맞게 기초 모델을 사용자 정의하려는 개발자와 기업을 대상으로 합니다. 이 회사의 서비스는 2020년대 초반 이후 빠르게 확장된 광범위한 생성형 AI 생태계의 일부입니다.
이 스타트업은 대규모 언어 모델 배포를 둘러싼 치열한 상업 활동 시기에 등장하여 기존 클라우드 제공업체 및 전문 AI 기업과 경쟁했습니다. Gradient AI의 핵심 가치 제안은 모델 적응의 기술적 장벽을 낮추는 데 중점을 두며, 지도 미세 조정과 대규모 효율적 추론을 모두 지원하는 도구를 제공합니다.
설립 및 자금 조달
Gradient AI는 2023년 머신러닝 시스템과 클라우드 인프라 경험을 갖춘 팀에 의해 설립되었습니다. 이 회사는 2024년 초 인공지능 스타트업에 중점을 둔 유명 벤처 캐피탈 회사가 주도한 1,000만 달러의 시드 라운드를 유치했습니다. 이 초기 자금은 API 플랫폼 개발과 딥러닝 최적화 경험이 있는 엔지니어 고용을 지원했습니다.
2024년 중반까지 Gradient AI는 3,000만 달러의 시리즈 A 라운드를 발표하여 총 자금을 4,000만 달러로 늘렸습니다. 이 라운드에는 아마존 웹 서비스 및 구글 클라우드와 관련된 전략적 투자자들이 참여하여 주요 클라우드 제공업체의 AI 미들웨어 솔루션에 대한 관심을 반영했습니다. 시리즈 A 이후 회사의 가치는 초기 고객 확보와 기술적 차별화를 바탕으로 1억 5,000만 달러로 보고되었습니다.
기술 플랫폼
Gradient AI의 플랫폼은 AI 피드백 기반 강화 학습 및 커리큘럼 학습과 같은 기술을 사용하여 모델을 미세 조정하는 API를 제공합니다. 미세 조정 서비스는 트랜스포머 아키텍처 기반 모델을 포함한 인기 있는 오픈 가중치 아키텍처를 지원합니다. 개발자는 데이터 세트를 업로드하고 학습률 스케줄 및 배치 정규화 설정과 같은 하이퍼파라미터를 간단한 인터페이스를 통해 선택할 수 있습니다.
추론 API는 top-p 샘플링, 온도 스케일링 및 빔 서치 디코딩 전략을 지원하는 저지연 응답을 제공합니다. 기본 인프라는 모델 가지치기 및 그래디언트 클리핑을 사용하여 메모리 사용량과 처리량을 최적화합니다. Gradient AI는 표준 클라우드 GPU 배포에 비해 추론 비용을 최대 40% 절감할 수 있다고 주장하지만, 2024년 말 현재 독립적인 벤치마크는 이 수치를 아직 검증하지 못했습니다.
이 플랫폼은 하이브리드 워크플로우를 위해 오픈AI 및 앤트로픽 API와 통합되어 사용자가 독점 모델과 오픈 모델 간에 요청을 라우팅할 수 있습니다. 또한 자체 관리 환경 외에도 애저 및 오라클 클라우드 배포를 지원합니다.
시장 위치 및 경쟁
Gradient AI는 AI21 Labs, Inflection AI 및 Essential AI와 같은 회사와 함께 경쟁이 치열한 시장에서 운영됩니다. 자체 기초 모델을 개발하는 경우가 많은 이러한 기업과 달리 Gradient AI는 기존 모델을 위한 미들웨어 계층 역할에만 집중합니다. 이러한 접근 방식은 구글 딥마인드 및 기타 연구 중심 조직과 차별화됩니다.
이 회사는 AMD 및 Groq를 포함한 하드웨어 공급업체와 파트너십을 형성하여 특수 가속기에서 추론을 최적화하고 있습니다. 이러한 협력은 AI 스타트업에게 상당한 비용인 엔비디아 중심 GPU 클러스터에 대한 비용 효율적인 대안을 제공하는 것을 목표로 합니다. Gradient AI는 또한 SambaNova와 협력하여 대규모 모델 서빙을 위한 고대역폭 메모리 솔루션을 제공합니다.
2024년 말 현재 Gradient AI는 금융 및 의료 분야의 이름 없는 포춘 500대 기업 여러 곳을 포함하여 200개 이상의 기업 고객을 보유하고 있다고 보고했습니다. 회사의 연간 매출 실행률은 500만 달러로 추정되지만, 재무제표는 공개적으로 공개하지 않았습니다.
사용 사례 및 응용 분야
Gradient AI API의 일반적인 사용 사례에는 고객 지원 자동화, 문서 요약 및 코드 생성이 포함됩니다. 미세 조정 서비스는 일반 목적 모델이 종종 성능이 저조한 법률 계약 분석이나 의료 기록 처리와 같은 도메인별 작업에 특히 인기가 있습니다. 주목할 만한 배포 중 하나는 의료 기술 회사인 Commure와의 파트너십으로, 임상 기록 생성을 위한 모델을 미세 조정했습니다.
Gradient AI는 또한 데이터 증강 워크플로우를 지원하여 개발자가 더 작은 모델을 위한 합성 훈련 데이터를 생성할 수 있게 합니다. 이 기능은 스탠포드 AI 연구소 및 버클리 AI 연구의 연구 그룹이 모델 증류 실험에 채택했습니다.
향후 방향
2024년 말 Gradient AI는 현재 디코더 전용 초점을 넘어 멀티 헤드 어텐션 변형 및 인코더-디코더 모델을 지원하도록 플랫폼을 확장할 계획을 발표했습니다. 이 회사는 또한 멀티모달 응용 분야를 위한 크로스 어텐션 메커니즘을 탐색하고 있지만, 출시 날짜는 정해지지 않았습니다. 로드맵에는 배포 비용을 더욱 절감하기 위한 자동화된 모델 가지치기 및 양자화 도구가 포함됩니다.
이 스타트업은 AWS Trainium 칩을 갖춘 아마존 웹 서비스 및 통합 미세 조정 및 추론 서비스를 제공하는 구글 클라우드의 Vertex AI와 같은 대형 경쟁업체의 도전에 직면해 있습니다. Gradient AI의 생존은 사용 편의성과 비용 효율성에서 기술적 우위를 유지하고 틈새 하드웨어 공급업체와의 파트너십을 유지하는 능력에 달려 있습니다.