알리바바 다모 아카데미(DAMO Academy)는 중국 기술 대기업 알리바바 그룹의 글로벌 연구 조직이다. DAMO라는 이름은 '발견(Discovery), 모험(Adventure), 추진력(Momentum), 전망(Outlook)'에서 유래했다. 2017년 10월 설립된 이 아카데미는 알리바바의 상용 제품, 특히 클라우드 컴퓨팅 부문을 위한 기초 연구를 진전시키고 인재를 양성하기 위해 만들어졌다. 그 작업은 인공지능, 컴퓨터 비전, 자연어 처리, 칩 설계, 양자 컴퓨팅 등 여러 분야에 걸쳐 있으며, 글로벌 연구소와 학계 기관과의 파트너십을 활용하고 있다.
역사와 글로벌 범위
DAMO 아카데미는 3년에 걸친 계획 투자 자금으로 출범했으며, 초기 연구소들에서 100명 이상의 연구원을 고용하는 것을 목표로 했다. 조직은 처음에 항저우, 베이징, 선전 등 중국 도시에 사이트를 열었고, 이후 시애틀, 실리콘밸리, 싱가포르, 텔아비브, 상하이의 주요 연구 허브로 확장했다. 2017년에서 2020년 사이에 이들 지역에는 차세대 인간-컴퓨터 상호작용, 금융 기술, 지능형 물류 같은 프로젝트에 집중하는 팀들이 자리했다. 2022년에 아카데미는 MIT 컴퓨터 과학 및 인공지능 연구소, 스탠퍼드 AI 연구소, 토론토 대학교를 포함한 대학들의 학술 센터와 국제 연구 네트워크를 설립하고, 대규모 언어 모델부터 양자 영감 알고리즘에 이르는 주제를 협력하기 위해 방문 학자들을 초청했다. 2023년 기준으로 3,000명 이상의 직원과 산업 및 학계 파트너와의 1,000개 이상의 외부 프로젝트를 보고하고 있다.
AI의 주요 연구 분야
인공지능은 DAMO 포트폴리오의 주요 축을 구성한다. 그곳의 연구원들은 머신러닝과 딥러닝에서 여러 주목할 만한 혁신을 개발했다. 초기 대표 사업 중 하나는 알리바바의 전자상거래 추천 엔진에 적용된, 실제 세상을 개선하기 위해 설계된 반사실적 추론 시스템이었다. 2020년에 DAMO 연구원들은 네트워크 트래픽 분류를 위한 클라우드 네이티브 신경망 접근법인 ET-BERT를 도입하여 이전 방법보다 정확도 향상을 달성했다. 그들의 작업에는 경고 피로와 반도체 제조를 위한 하드웨어 수준 AI, 즉 강화 학습으로 칩 설계를 개선하고 컴퓨터 비전으로 결함을 감지하는 알고리즘도 포함된다.
핵심 기여는 다국어 및 음성 언어 모델에서 나왔다. 2021년까지 DAMO는 중국어 및 기타 아시아 언어에 맞춘 사전 학습된 트랜스포머 모델 시리즈를 출시하여 채팅, 콘텐츠 검열, 기계 번역을 위한 딥러닝 역량을 확장했다. 2023년에 팀은 '통이(Tongyi)' 브랜드의 대규모 언어 모델 제품군을 도입했으며, 모델 변형은 70억에서 720억 파라미터에 이르고 코드와 이해 작업을 모두 지원한다. 이 모델들은 이후 회사의 생성형 AI 제품, 텍스트 프롬프트에서 사진 편집을 포함한 제품들의 기반이 되었으며, 협력 라이선스를 통해 연구용으로 공개 제공되었다.
컴퓨팅과 데이터 과학
모델 아키텍처를 넘어, DAMO는 현대 AI를 구동하는 인프라에도 기여한다. 그 연구원들은 더 저렴한 하드웨어에서 수렴을 가속화하기 위해 배치 정규화 및 레이어 정규화 손실을 사용하는 효율적인 훈련 알고리즘을 입증했다. 클라우드 고객을 위해 DAMO 엔지니어들은 알리바바 클라우드의 탄력적 컴퓨팅 슬라이스에 대한 스케줄링 최적화를 설계하여 기업 규모 훈련 작업의 처리량을 개선했다. 아카데미는 또한 메모리 효율적 트랜스포머 추론 프레임워크와 가지치기 및 양자화를 통한 모델 압축 평가 도구 같은 오픈 소스 프로젝트를 GitHub에 공개했다. 이러한 산출물은 알리바바의 내부 호출뿐만 아니라 소프트웨어 솔루션을 구축하는 국제 웹 사용자에게도 가능하게 한다.
클라우드 및 엣지 컴퓨팅은 사물 인터넷과 자율 주행을 위한 발전을 포함하여 집중적인 주목을 받는다. 예를 들어, DAMO의 컴퓨터 비전 팀은 드론과 스마트 교통을 위한 깊이 추정 모델을 구축하여 배송 서비스의 안전을 개선했다. 도시 카메라의 데이터 세트를 사용한 스마트 시티는 항저우와 다른 중국 도시들의 통행 시간을 개선하는 교통 신호 조정 시스템으로 이어졌다. 실리콘밸리 팀은 혼합 현실 협업을 강조하여 전자상거래를 위한 오디오-비디오 상호작용을 더욱 몰입적으로 만들었다.
영향과 국제적 입지
DAMO의 연구 결과는 제품 검색과 사기 탐지를 위한 알리바바의 비전 작업 같은 실제 제품에 통합되었다. DAMO 기술을 갖춘 알리바바 클라우드는 2023년 기준 아시아 태평양 지역에서 가장 큰 클라우드 서비스 제공업체로, 금융, 철도, 그리고 가장 큰 패스트패션 판매업체의 소매 앱과 같은 핵심 부문에 서비스를 제공한다. 국제 협력에는 미국과 유럽의 대학과의 AI 프로젝트가 포함되며, 2020년에 스위스 대학의 학술 연구자들과 그래프 학습에 관한 파트너십이 있었다.
영향과 국제적 입지
DAMO의 연구 성과는 제품 검색과 사기 탐지를 위한 알리바바의 비전 작업 같은 실제 제품에 통합되었다. DAMO 기술을 갖춘 알리바바 클라우드는 2023년 기준 아시아 태평양 지역 최대 클라우드 서비스 제공업체로, 금융, 철도, 그리고 가장 큰 패스트 패션 판매업체의 소매 앱 같은 일부 핵심 분야를 서비스하고 있다. 국제 협력에는 미국과 유럽의 대학과 AI 프로젝트가 포함되며, 2020년에는 Universita della Svizzera의 학계 연구원들과 그래프 학습에 대한 파트너십을 맺었다.
DAMO는 또한 NeurIPS, ICML, ICLR, CVPR, ACL 같은 주요 학술 대회에서 두드러진 논문을 발표하며, 2019년 이후 수백 편의 출판물을 냈다. 글로벌 경쟁에서 그들의 모델은 비전 분야와 다국어 벤치마크(예: GLUE 스타일 작업)에서 타이틀을 획득하여 기존의 학술 연구 결과를 능가했다. 그러나 내부 보고서는 벤치마크 사용이 주로 제품 팀을 이끌기 위한 것이지 교리를 보여주기 위한 것이 아님을 강조한다.
미래 방향
AI의 경계가 넓어짐에 따라, DAMO는 주류 제품 방향과 정렬에 투자하고 있다. 2024년 초, 아카데미는 물리학과 화학 분야의 노벨상 수상자들을 초청한 전 세계 AI for Science 컨퍼런스를 공동 주최했다. 또한 특정 산업에 특화된 오픈 모델을 사용하는 스타트업 컨소시엄을 확장하여 건강 질의와 안전 같은 분야를 다루었다. DAMO의 이 다음 단계는 체화된 에이전트에 대한 장기 연구와 양자 시뮬레이션 같은 미래지향적 컴퓨팅으로 모델을 확장하는 것을 포함하지만, 상용 응용에 자금을 투입하는 데 초점을 유지한다.
앞으로, 통신 부문은 체스 같은 장치를 위해 설계된 엣지 하드웨어에서 온디바이스 모델에 대한 시험을 시작했다. 그러나 예산 제약은 기초 연구가 투명성과 양적 기준에 따라 내부적으로 재평가될 수 있음을 시사한다. 대부분의 관찰자들은 DAMO를 학술 스타일 파트너십의 드문 사례로 간주하며, 그 발명이 공개적으로 자금을 지원받는지 아니면 복제되는지는 완전한 산업계의 세계에서 지속적인 질문으로 남는다.