xAI는 2023년 3월 엘론 머스크가 설립한 인공지능 기업으로, "우주의 진정한 본질을 이해하는 것"을 표방하는 사명을 내걸었다. 이 회사는 대규모 언어 모델과 생성형 AI 시스템을 개발하며, 특히 Grok 시리즈 챗봇으로 잘 알려져 있다. 2024년에 xAI는 업데이트된 모델을 출시하고 상당한 투자를 유치하며 컴퓨팅 자원을 빠르게 확장하면서 AI 업계의 주요 경쟁자로 부상했다.
이 회사는 AI 분야의 인지된 위험과 경쟁 압력, 특히 OpenAI와 Google DeepMind에 대응하기 위해 설립되었다. xAI의 창립 팀에는 Deep learning 기관인 University of Toronto, Carnegie Mellon University, Stanford AI Lab 출신의 연구원들이 포함되었다. 이 회사는 엄격한 기술 개발과 차별화된 AI 안전 담론에 초점을 맞추며, 모델 행동에서 투명성과 진실 추구를 강조하는 방식으로 자리매김했다.
Grok-1.5 출시
2024년 3월, xAI는 주력 Large language model의 업그레이드 버전인 Grok-1.5를 출시했다. 이 모델은 이전 모델에 비해 추론, 코딩, 수학 능력에서 상당한 개선을 보여주었다. Grok-1.5는 훨씬 더 큰 데이터 세트로 훈련되었으며, 고급 Transformer (architecture) 아키텍처를 채택하고 Multi-Head Attention 및 Positional Encoding의 혁신을 통합하여 맥락 이해를 향상시켰다.
이번 출시에는 128,000 토큰 컨텍스트 창이 포함되어 모델이 한 번에 전체 책이나 긴 기술 문서를 처리할 수 있게 되었다. 벤치마크 결과에 따르면 Grok-1.5는 코드 생성을 위한 humanEval 및 수학적 추론을 위한 GSM8K를 포함한 표준 평가에서 여러 현대 모델을 능가하는 성능을 보였다. 이 모델은 xAI의 독점 인터페이스를 통해 초기 테스터에게 제공되었으며, 연말에는 더 광범위한 접근이 계획되었다.
Grok-1.5V 및 멀티모달 기능
2024년 4월, xAI는 Grok-1.5 모델의 멀티모달 확장 버전인 Grok-1.5V를 도입했다. 이 버전은 비전 기능을 추가하여 모델이 이미지, 다이어그램, 문서를 처리하고 추론할 수 있게 했다. Grok-1.5V는 사진에 대한 질문에 답하고, 차트를 해석하며, 이미지에서 텍스트를 전사할 수 있었으며, 이는 Generative AI의 멀티모달 이해 추세에 부합하는 것이었다.
비전 구성 요소는 Data Augmentation 기술과 선별된 이미지-텍스트 쌍의 조합을 사용하여 훈련되었다. xAI는 이 모델이 MathVista 및 DocVQA와 같은 벤치마크에서 경쟁력 있는 점수를 달성했다고 주장했지만, 출시 당시 독립적인 검증은 제한적이었다. 멀티모달 기능은 이미 자사 주력 모델에 비전을 통합한 OpenAI 및 Anthropic의 제품과 직접 경쟁할 수 있는 위치를 xAI에 제공했다.
자금 조달 및 기업 가치
2024년 5월, xAI는 약 240억 달러의 기업 가치로 60억 달러 규모의 시리즈 B 자금 조달 라운드를 마감했다. 이 라운드는 주요 벤처 캐피탈 회사가 주도했으며, 기존 투자자와 Andreessen Horowitz 및 Sequoia Capital을 포함한 새로운 후원자들이 참여했다. 이 자금은 컴퓨팅 인프라 확장, 최고 인재 고용, 연구 개발 가속화에 사용될 예정이었다.
이 투자는 2023년 말 약 75억 달러의 기업 가치로 평가된 이전 15억 달러 라운드에 이은 것이었다. 기업 가치의 급격한 상승은 Generative AI에 대한 투자자의 열광과 xAI의 기술적 궤적에 대한 신뢰를 반영했다. 2024년 중반까지 xAI의 기업 가치는 가장 가치 있는 민간 AI 기업 중 하나로 자리매김했지만, 전체 자금 조달 및 시장 입지 측면에서는 여전히 OpenAI와 Anthropic에 뒤처져 있었다.
컴퓨팅 인프라 및 Colossus
2024년 xAI 전략의 핵심 요소는 차세대 모델 훈련을 위해 설계된 대규모 슈퍼컴퓨터 클러스터인 Colossus의 구축이었다. 테네시주 멤피스에 위치한 Colossus는 NVIDIA 및 Broadcom과 협력하여 구축되었으며, 수만 개의 고성능 GPU를 활용했다. 이 시설은 기록적인 시간 안에 가동되었으며, xAI는 착공부터 완전 배포까지 4개월 미만이 걸렸다고 주장했다.
클러스터 설계는 처리량을 극대화하기 위해 Model Pruning 및 효율적인 Learning Rate Scheduling 전략을 강조했다. xAI는 또한 보조 클라우드 용량을 위해 Oracle Cloud Infrastructure 및 Microsoft Azure와 협력했지만, 핵심 훈련 실행에는 자체 인프라를 우선시했다. Colossus는 Grok-3 및 후속 모델 훈련을 지원하기 위한 것이었으며, xAI는 2024년 말까지 컴퓨팅 성능을 10배로 늘리는 것을 목표로 했다.
Grok-2 및 소비자 통합
2024년 8월, xAI는 이미지 생성 기능과 개선된 대화 능력을 도입한 주요 업그레이드인 Grok-2를 출시했다. Grok-2는 X 플랫폼(이전 트위터)에 통합되어 프리미엄 구독자가 채팅 인터페이스에서 직접 이미지를 생성할 수 있게 했다. 이 모델은 또한 xAI 기술을 기반으로 애플리케이션을 구축하려는 타사 개발자를 위한 새로운 API를 지원했다.
Grok-2의 이미지 생성 기능은 경쟁사에 비해 상대적으로 허용적인 콘텐츠 정책으로 주목을 받았으며, Artificial intelligence 안전 및 검열에 대한 논쟁을 촉발했다. 이 모델의 출시는 이전에 X 프리미엄 사용자에게만 제한되었던 xAI의 소비자용 챗봇 확장과 동시에 이루어졌다. 2024년 말까지 xAI는 플랫폼 전반에 걸쳐 수백만 명의 활성 사용자를 보고했지만, 정확한 수치는 공개되지 않았다.
Grok-3 및 기술 발전
2024년 말, xAI는 가장 야심찬 모델인 Grok-3 훈련을 시작했다. 훈련 실행은 Colossus의 전체 용량을 활용했으며, 새로운 Neural network 아키텍처와 Reinforcement learning 기술을 통합했다. DeepMind 및 OpenAI 출신 베테랑을 포함한 xAI의 연구 팀은 추론 일관성 개선과 환각 비율 감소에 중점을 두었다.
기술 혁신에는 모델이 각 토큰에 대해 관련 매개변수만 활성화하여 용량을 희생하지 않고 효율성을 향상시키는 Mixture of experts 레이어 사용이 포함되었다. xAI는 또한 문제 해결 능력을 향상시키기 위해 Chain-of-thought 프롬프팅 및 자기 일관성 방법을 실험했다. Grok-3는 2024년 말까지 완전히 출시되지는 않았지만, 초기 벤치마크는 OpenAI 및 Google DeepMind의 주요 모델과 경쟁력이 있을 것임을 시사했다.
경쟁 구도 및 시장 위치
2024년 내내 xAI는 Large language model 분야에서 OpenAI 및 Anthropic의 직접적인 도전자로 자리매김했다. 이 회사는 훈련 및 평가를 위한 대규모 사용자 기반과 실시간 데이터를 제공하는 X 플랫폼과의 통합을 통해 차별화했다. xAI는 또한 콘텐츠 생성에 대한 덜 제한적인 접근 방식을 강조하여 더 적은 안전장치를 선호하는 사용자에게 어필했다.
그러나 xAI는 경쟁사에 비해 상대적으로 작은 팀과 급속한 인프라 구축의 지속 가능성에 대한 의문을 포함한 과제에 직면했다. 이 회사는 또한 특히 유럽 연합에서 데이터 개인정보 보호 및 AI 투명성과 관련된 규제 조사를 탐색해야 했다. 이러한 장애물에도 불구하고, xAI의 2024년 궤적은 상당한 재정적 지원과 향후 개발을 위한 명확한 로드맵을 갖춘 Generative AI 분야의 주요 플레이어로 자리매김하게 했다.
파트너십 및 생태계
xAI는 2024년에 생태계를 강화하기 위해 여러 전략적 파트너십을 구축했다. NVIDIA와의 협력은 최첨단 하드웨어에 대한 우선적 접근을 보장했으며, Dell Technologies와의 계약은 Colossus용 서버 제조를 지원했다. xAI는 또한 API 및 소비자 제품의 콘텐츠 전송을 최적화하기 위해 cloudflare와 협력했다.
연구 측면에서 xAI는 해석 가능성과 정렬을 탐구하기 위해 MIT CSAIL 및 BAIR (Berkeley AI Research)를 포함한 학술 기관과 협력했다. 이 회사는 훈련 방법론을 자세히 설명하는 여러 기술 논문을 발표하여 더 넓은 Machine learning 커뮤니티에 기여했다. 이러한 노력은 신뢰도를 구축하고 최고 수준의 연구원을 조직으로 유치하는 것을 목표로 했다.
2025년 및 그 이후 전망
2024년 말 현재, xAI는 인력을 두 배로 늘리고 Colossus를 추가 사이트로 확장할 계획으로 지속적인 확장을 준비하고 있었다. 이 회사는 2025년 초에 Grok-3를 출시할 가능성을 시사했으며, 잠재적으로 다단계 작업을 자율적으로 수행할 수 있는 고급 에이전트 기능을 갖출 수 있다고 암시했다. xAI는 또한 Tesla을 포함한 머스크의 다른 벤처와의 시너지를 활용하여 Robotics 및 자율 주행 분야의 응용을 모색했다.
더 넓은 AI 업계는 xAI의 급속한 부상이 경쟁 역학의 변화를 예고하면서 주목했다. 상당한 자금, 공격적인 인프라 투자, 독특한 제품 철학을 바탕으로 xAI는 Artificial intelligence의 진화하는 환경에서 지속적인 위치를 확보하는 것을 목표로 했다. 이러한 모멘텀을 유지할 수 있을지 여부는 여전히 열린 질문이었지만, 2024년의 성과는 이미 신규 진입자가 이 분야에서 달성할 수 있는 것에 대한 기대를 재편했다.