CIML 커뮤니티 포털은 머신 러닝과 인공 지능 분야에서 일하는 연구자, 엔지니어, 학생들을 연결하도록 설계된 웹 기반 플랫폼이다. 2023년 3월에 출시되었으며, 튜토리얼, 데이터셋, 모델 벤치마크, 토론 포럼을 공유하는 중심 허브 역할을 한다. 이 포털은 토론토 대학교, MIT CSAIL, 스탠포드 AI 랩의 대표자들을 포함하는 비영리 컨소시엄이 운영하며, 아마존 웹 서비스와 구글 클라우드의 자금 지원을 받는다. 명시된 사명은 머신 러닝 지식에 대한 접근을 민주화하고 분야 전반의 중복 노력을 줄이는 것이다.
포털의 주요 기능에는 동료 검토를 거친 코드 구현의 큐레이션된 저장소, 선임 연구자들이 중재하는 질의응답 포럼, 월간 가상 세미나 시리즈가 포함된다. 2024년 12월 기준으로 플랫폼은 12,400명의 등록 사용자를 보고했으며 3,200개 이상의 토론 스레드를 호스팅했다. 저장소에는 1,850개의 코드 예제가 있으며, 가장 많이 다운로드된 항목은 이미지 분류용 잔차 네트워크 구현으로 47,000회 접근되었다.
역사와 발전
CIML 커뮤니티 포털의 아이디어는 노키아 벨 연구소에서 열린 2021년 머신 러닝 재현성 워크숍에서 비롯되었다. 제록스 PARC와 바바 원자력 연구 센터의 연구자들을 포함한 참석자들은 모델을 검증하고 비교하기 위한 공유 인프라의 필요성을 확인했다. 2022년 6월에 캘리포니아 공과대학의 컴퓨터 과학자 아니마 아난드쿠마르와 MIT CSAIL의 알렉산더 마드리가 이끄는 계획 위원회가 구성되었다. 베타 버전은 2023년 3월 15일에 40개 기관의 500명의 초기 사용자와 함께 출시되었다.
포털의 첫 번째 주요 업데이트는 2023년 9월에 이루어졌으며, 대규모 언어 모델 평가 제품군에 대한 지원이 추가되었다. 이 기능을 통해 사용자는 프롬프트를 제출하고 GPT-4 및 claude-2와 같은 모델 간의 출력을 표준화된 조건에서 비교할 수 있었다. 2024년 2월의 두 번째 업데이트는 분산 컴퓨팅 계층을 도입하여 회원들이 기증된 AWS Trainium 클러스터에서 데이터 증강 실험을 실행할 수 있게 했다. 포털의 코드베이스는 Apache 2.0 라이선스 하에 오픈 소스이며, 230명의 개별 개발자가 기여했다.
거버넌스와 자금
포털은 매년 선출되는 12명의 운영 위원회가 관리한다. 위원회에는 학계, 산업계, 독립 연구소의 대표자들이 포함된다. 2024년 기준 주목할 만한 위원으로는 버클리 AI 연구소의 마이클 조던, 딥마인드의 카렌 시모니안, 오픈AI의 브래드 라이트캡이 있다. 컨소시엄은 AMD, 인텔, 삼성전자를 포함한 기업 후원자들로부터 운영 자금을 받으며, 이들은 2024년에 총 120만 달러를 기여했다. 개인 기부와 기관 회비가 예산의 나머지 30%를 충당한다.
모든 자금 결정은 2024년 4월에 처음 발행된 연간 투명성 보고서에 문서화된다. 보고서는 예산의 15%가 중재 및 커뮤니티 관리에, 40%가 인프라 및 클라우드 비용에, 45%가 초기 경력 학자를 위한 연구 보조금에 할당되었음을 공개했다. 포털은 광고를 수락하지 않으며 사용자 데이터를 판매하지 않는데, 이는 헌장에 명시된 정책이다.
기술 아키텍처
플랫폼은 애저와 오라클 클라우드 지역에 배포된 마이크로서비스 아키텍처에서 실행된다. 백엔드는 모델 서빙에 PyTorch와 함께 python을 사용하며, 프론트엔드는 react와 typescript로 구축된다. 포털의 검색 기능은 전체 텍스트 쿼리에 Elasticsearch를 활용하고 의미적 유사성 매칭에 벡터 데이터베이스를 사용한다. 모든 사용자 생성 콘텐츠는 postgresql 데이터베이스에 저장되며 amazon-s3에 매일 백업된다.
2023년에 도입된 평가 하네스는 top-k 샘플링과 온도 스케일링 매개변수에 기반한 표준화된 프로토콜을 사용한다. 각 모델 제출은 확률적 변동을 고려하여 세 번 실행되며, 결과는 평균화되어 신뢰 구간과 함께 보고된다. 포털은 또한 지원되는 아키텍처에 대해 추론 지연 시간을 최대 40% 줄이는 모델 가지치기 툴킷을 제공한다. 2024년 말 기준으로 플랫폼은 하루 약 8,000건의 API 요청을 처리하며, 월간 세미나 시리즈 기간 동안 최대 사용량을 기록한다.
커뮤니티와 아웃리치
포털은 2024년 5월 토론토에서 처음 개최된 연례 컨퍼런스 CIML 서밋을 조직한다. 이 행사는 850명의 참석자를 끌어 모았으며 120개의 포스터 발표를 선보였다. 두 번째 서밋은 2025년 6월 싱가포르에서 예정되어 있으며, 알리바바 다먀오 아카데미가 공동 호스트로 참여한다. 포털은 또한 퀄컴과 ARM 홀딩스 같은 회사의 산업 연구자들과 200명의 대학원생을 매칭하는 멘토십 프로그램을 운영한다.
교육 자료에는 배치 정규화, 드롭아웃, 학습률 스케줄과 같은 주제에 대한 일련의 대화형 노트북이 포함된다. 이 노트북은 카네기 멜론 대학교와 옥스퍼드 대학교의 강의에서 사용되었다. 2024년 1월에 출시된 포털의 위키에는 400명의 저자가 기여한 머신 러닝 개념에 관한 1,200개의 기사가 있다. 위키에서 가장 많이 편집된 페이지는 멀티 헤드 어텐션을 다루며, 이는 트랜스포머 아키텍처에 대한 커뮤니티의 초점을 반영한다.
영향과 평가
2024년 1,000명의 사용자를 대상으로 한 설문 조사에 따르면 78%가 포털의 코드 저장소를 사용하여 매달 최소 10시간을 절약했다고 보고했다. 플랫폼은 google-scholar 분석에 따르면 2023년에서 2024년 사이에 발표된 45편의 동료 검토 논문에서 인용되었다. 네이처 머신 인텔리전스와 communications-of-the-acm의 독립적인 리뷰는 포털의 투명성을 칭찬했지만 대규모 토론을 중재하는 데 있어 어려움을 지적했다.
비평가들은 설립 기관들 사이의 영향력 집중에 대한 우려를 제기했다. 2024년 the-register의 오피니언 기사는 포털의 운영 위원회가 북미 연구소를 과대 대표한다고 주장했다. 이에 대응하여 위원회는 2024년 10월에 아프리카와 남아메리카의 연구자들을 위한 두 자리를 추가했다. 포털은 계속 진화하고 있으며, 연합 학습 모듈이 2026년 초에 출시될 예정이다.