2022년, 미국 캘리포니아주 멘로파크에 본사를 둔 미국의 다국적 기술 기업인 메타 플랫폼스(Meta Platforms, Inc.)는 인공지능 슈퍼컴퓨팅에 10억 달러를 투자하겠다고 발표했다. 이 계획은 가상현실과 증강현실 기술을 아우르는 상호 연결된 디지털 생태계인 메타버스 개발로 회사의 광범위한 전략적 전환을 추진하는 일환이다. 이 투자는 고급 머신러닝 워크로드를 지원하고 자연어 처리 및 컴퓨터 비전 분야의 연구를 가속화하도록 설계된 대규모 AI 슈퍼컴퓨터인 리서치 슈퍼클러스터(RSC)의 구축과 배치에 중점을 두었다.
2021년 페이스북(Facebook, Inc.)에서 사명을 변경한 메타는 수년간 AI 역량을 확장해 왔다. 회사의 연구개발 지출은 2022년 353억 달러에 달해 세계에서 세 번째로 큰 연구개발 투자처가 되었다. 슈퍼컴퓨터 투자는 이러한 지출의 핵심 요소로, AI 분야에서 다른 주요 기술 기업들과 경쟁하려는 메타의 야망을 반영한다. RSC는 수조 개의 매개변수를 가진 모델을 훈련시켜 페이스북, 인스타그램, 왓츠앱을 포함한 메타의 플랫폼 전반에 걸쳐 더 정교한 애플리케이션을 가능하게 하는 것을 목표로 했다.
배경 및 전략적 맥락
메타의 AI 슈퍼컴퓨팅으로의 전환은 인공지능 분야에서 업계 경쟁이 심화되는 가운데 이루어졌다. OpenAI, Google DeepMind, Anthropic과 같은 기업들은 대규모 언어 모델과 생성형 AI에서 빠른 진전을 이루고 있었다. 메타는 방대한 사용자 데이터와 컴퓨팅 자원을 활용하여 사용자 참여, 광고, 가상현실 경험을 향상시킬 수 있는 독점 AI 시스템을 개발하고자 했다. 이 투자는 또한 AI가 몰입형이고 상호 작용적인 디지털 환경을 만드는 데 핵심 역할을 할 메타버스 비전과도 일치했다.
이 발표는 내부고발자 유출과 규제 문제를 포함한 메타에 대한 집중적인 조사 기간 이후에 나왔다. 회사는 또한 잘못된 정보 처리와 개인정보 보호 문제에 대한 비판에 직면했다. AI 인프라에 투자함으로써 메타는 핵심 소셜 미디어 사업이 성숙 시장에서 포화 상태에 직면했음에도 불구하고 기술 혁신과 장기적 성장에 대한 의지를 보여주고자 했다.
리서치 슈퍼클러스터(RSC)
메타의 주요 AI 슈퍼컴퓨팅 프로젝트는 2021년에 개발을 시작하여 2022년 1월에 공개한 리서치 슈퍼클러스터였다. RSC는 세계에서 가장 빠른 AI 슈퍼컴퓨터 중 하나가 되도록 설계되었으며, 1조 개 이상의 매개변수를 가진 모델을 훈련할 수 있는 능력을 갖추었다. 이 시스템은 고대역폭 네트워크를 통해 상호 연결된 수천 개의 엔비디아 A100 그래픽 처리 장치(GPU)를 활용하여 효율적인 병렬 처리를 가능하게 했다.
RSC는 단계적으로 구축되었으며, 첫 번째 단계는 2022년 초에 완료되었다. 메타는 초기 구성에 6,080개의 GPU가 포함되었으며, 이후 단계에서 16,000개의 GPU로 확장되었다고 보고했다. 슈퍼컴퓨터는 미국의 데이터 센터에 설치되었으며, 다른 지역에 추가 시설을 계획하고 있었다. 메타는 RSC가 자연어 처리, 컴퓨터 비전, 음성 인식을 포함한 다양한 AI 작업과 메타버스용 AI 시스템 개발에 사용될 것이라고 밝혔다.
RSC가 해결한 주요 기술적 과제 중 하나는 대규모 데이터 세트의 처리였다. 메타의 플랫폼은 텍스트, 이미지, 비디오를 포함한 엄청난 양의 사용자 생성 콘텐츠를 생성한다. 슈퍼컴퓨터는 이러한 데이터 세트를 효율적으로 처리하여 인간과 유사한 응답을 이해하고 생성할 수 있는 모델을 훈련할 수 있도록 설계되었다. 메타는 또한 훈련 중 사용자 데이터를 보호하기 위한 조치와 함께 RSC 설계에서 보안과 개인정보 보호의 중요성을 강조했다.
투자 및 인프라
AI 슈퍼컴퓨팅에 대한 10억 달러 투자는 데이터 센터, 네트워킹 및 기타 인프라에 대한 투자를 포함한 메타의 광범위한 자본 지출 프로그램의 일부였다. 회사의 2022년 총 자본 지출은 약 314억 달러로 컴퓨팅 용량의 공격적인 확장을 반영했다. AI 슈퍼컴퓨터 투자는 제3자 클라우드 제공업체에 대한 의존도를 줄이고 사내 역량을 구축하기 위한 전략적 움직임으로 여겨졌다.
자체 슈퍼컴퓨팅 인프라에 투자하기로 한 메타의 결정은 Amazon Web Services 및 Microsoft Azure와 같은 일부 경쟁업체가 클라우드 기반 AI 서비스를 제공하는 접근 방식과 대조되었다. RSC를 구축함으로써 메타는 AI 개발 파이프라인에 대한 더 큰 통제권을 확보하고 외부 제공업체로부터 컴퓨팅 성능을 임대하는 비용을 줄이는 것을 목표로 했다. 회사는 또한 학술 기관 및 다른 조직과의 연구 협력을 지원하기 위해 RSC를 사용할 계획이었다.
이 투자는 전 세계적으로 AI 컴퓨팅에 대한 수요가 급격히 증가하는 시기에 발표되었다. Large language model 및 Generative AI 애플리케이션의 확산은 고성능 컴퓨팅 자원의 부족을 초래했다. 메타의 투자는 회사가 이 추세를 활용하여 향후 다른 기업에 AI 역량을 제공할 수 있는 위치를 확보했다.
기술 사양 및 성능
메타는 RSC에 대한 제한적인 기술 세부 사항만 공개했지만, 슈퍼컴퓨터가 혼합 정밀도 컴퓨팅에서 5엑사플롭스를 초과하는 성능 수준을 달성할 것이라고 밝혔다. 이 수치가 실현된다면 RSC는 전 세계에서 가장 강력한 AI 시스템 중 하나가 될 것이다. 슈퍼컴퓨터는 엔비디아 GPU와 특정 AI 워크로드용 가속기를 포함한 메타의 맞춤 설계 하드웨어의 조합을 활용했다.
RSC의 아키텍처는 고속 상호 연결을 통해 연결된 GPU 클러스터를 기반으로 한 계층적 설계를 기반으로 했다. 메타는 대규모 모델을 여러 GPU에 분산하여 효율적인 훈련을 가능하게 하는 모델 병렬화라는 기술을 사용했다. 회사는 또한 성능을 최적화하고 훈련 시간을 줄이기 위해 특수 소프트웨어 프레임워크를 개발했다.
벤치마크 테스트에서 메타는 RSC가 이전 시스템에 비해 상당한 개선을 달성했다고 보고했다. 예를 들어, 회사는 RSC가 1,750억 개의 매개변수를 가진 대규모 언어 모델을 이전 인프라에서 수개월이 걸렸던 것에 비해 몇 주 만에 훈련할 수 있다고 주장했다. 이러한 성능 향상은 네트워킹, 저장 및 냉각 기술의 발전에 기인한 것으로 알려졌다.
응용 분야 및 사용 사례
RSC는 메타의 제품과 서비스 전반에 걸쳐 다양한 AI 응용 분야를 지원하기 위한 것이었다. Machine learning 영역에서 슈퍼컴퓨터는 콘텐츠 추천, 스팸 탐지 및 번역을 위한 모델 개발에 사용되었다. 메타는 또한 Deep learning 및 Neural network 아키텍처, 특히 트랜스포머 기반 모델에 대한 연구에 RSC를 사용할 계획이었다.
핵심 응용 분야는 AI 어시스턴트와 대화형 에이전트의 개발이었다. 메타는 자연어로 사용자 질문을 이해하고 응답할 수 있는 시스템을 만들어 왓츠앱과 메신저와 같은 플랫폼에 통합하는 것을 목표로 했다. 회사는 또한 사용자가 디지털 아바타와 객체와 상호 작용할 수 있는 메타버스에서 가상 환경을 생성하기 위해 AI를 사용하는 방안을 탐구했다.
내부 프로젝트 외에도 메타는 RSC를 학술 연구에 제공할 것이라고 밝혔다. 회사는 Stanford AI Lab 및 MIT CSAIL과 같은 대학 및 연구 기관과 협력한 역사가 있었다. 슈퍼컴퓨터에 대한 접근을 제공함으로써 메타는 AI 분야를 발전시키고 최고의 인재를 유치하기를 희망했다.
업계 영향 및 비교
메타의 AI 슈퍼컴퓨팅 투자는 기술 기업들이 대규모 AI 인프라를 구축하는 광범위한 추세의 일부였다. OpenAI는 Microsoft (AI)와 협력하여 Azure 슈퍼컴퓨터를 개발했으며, Google DeepMind는 구글의 텐서 처리 장치(TPU)에 의존했다. 메타의 접근 방식은 규모와 독점 하드웨어에 대한 과감한 투자 의지로 주목할 만했다.
RSC는 일본의 후가쿠 시스템과 미국의 서밋 시스템과 같은 다른 주요 AI 슈퍼컴퓨터와 비교되었다. 그러나 AI 특화 워크로드에 대한 메타의 초점은 범용 슈퍼컴퓨터와 구별되었다. 회사의 투자는 또한 Apple 및 Amazon Web Services와 같은 기업들이 유사한 투자를 하면서 기술 부문에서 AI의 중요성이 커지고 있음을 강조했다.
메타의 발표는 업계 분석가들로부터 엇갈린 반응을 얻었다. 일부는 회사의 야망과 기술 역량을 칭찬했지만, 다른 일부는 높은 비용과 잠재적 수익에 의문을 제기했다. 이 투자는 AI의 미래에 대한 도박으로 여겨졌으며, 메타의 비즈니스 모델을 변화시키고 새로운 수익원을 창출할 잠재력이 있었다.
과제 및 비판
야심찬 목표에도 불구하고 메타는 RSC 개발에서 여러 과제에 직면했다. 슈퍼컴퓨터는 상당한 엔지니어링 전문 지식을 요구했으며 GPU 및 기타 부품의 공급망 제약에 직면했다. 회사는 또한 대규모 AI 훈련이 에너지 집약적이기 때문에 에너지 소비와 환경 영향에 대한 우려를 해결해야 했다.
비판자들은 메타의 AI 투자가 아직 경쟁업체와 비교할 만한 획기적인 제품을 생산하지 못했다고 지적했다. 회사의 AI 연구는 광범위했지만 콘텐츠 조정 및 잘못된 정보 탐지와 같은 분야에서 좌절을 겪었다. 또한 RSC가 지원하려는 메타버스 비전은 광범위한 채택을 얻지 못해 투자의 장기적 생존 가능성에 대한 의문을 제기했다.
메타는 또한 사용자 데이터에 대한 AI 모델 훈련 능력에 영향을 미칠 수 있는 데이터 관행에 대한 규제 조사에 직면했다. 회사는 여러 관할권에서 개인정보 보호 위반으로 벌금을 부과받았으며, 새로운 규정은 데이터 접근을 제한할 수 있었다. 이러한 과제는 메타의 AI 슈퍼컴퓨팅 전략과 관련된 위험을 강조했다.
향후 전망
2023년 현재 메타는 RSC를 향후 개발의 기반으로 삼아 AI 역량을 계속 확장하고 있다. 회사는 슈퍼컴퓨터의 용량을 늘리고 맞춤 설계 칩과 같은 새로운 하드웨어를 통합할 계획을 발표했다. 메타는 또한 AI 생태계를 강화하기 위해 다른 조직과의 파트너십을 탐구했다.
AI 슈퍼컴퓨팅에 대한 투자는 메타의 비즈니스에 장기적인 영향을 미칠 것으로 예상되었다. 회사는 AI를 사용하여 광고 타겟팅을 개선하고, 사용자 경험을 향상시키며, 메타버스를 위한 새로운 제품을 개발하는 것을 목표로 했다. 그러나 AI 환경이 계속 빠르게 진화함에 따라 이러한 노력의 성공은 여전히 불확실했다.
메타의 AI 슈퍼컴퓨팅에 대한 10억 달러 투자는 인공지능 발전에 대한 중요한 약속을 나타냈다. 회사는 과제에 직면했지만, RSC는 메타를 AI 인프라 분야의 주요 플레이어로 자리매김했다. 이 투자의 장기적 영향은 메타가 컴퓨팅 성능을 혁신적인 응용 프로그램과 지속 가능한 성장으로 전환할 수 있는 능력에 달려 있을 것이다.
결론
2022년 메타의 AI 슈퍼컴퓨팅에 대한 10억 달러 투자 발표는 회사 역사에서 중추적인 순간을 기록했다. 리서치 슈퍼클러스터는 고급 머신러닝과 메타버스 이니셔티브를 지원하도록 설계되었으며, 이는 메타의 전략적 우선순위를 반영한다. 기술적, 규제적, 시장적 과제에도 불구하고 이 투자는 기술 산업에서 AI의 중요성이 커지고 있음과 혁신의 선두에 서겠다는 메타의 결의를 강조했다.