CIMLコミュニティポータルは、機械学習と人工知能に取り組む研究者、エンジニア、学生を結びつけるために設計されたウェブベースのプラットフォームです。2023年3月に立ち上げられ、チュートリアル、データセット、モデルベンチマーク、ディスカッションフォーラムを共有するための中心的なハブとして機能しています。このポータルは、University of Toronto、MIT CSAIL、Stanford AI Labの代表者を含む非営利コンソーシアムによって運営され、Amazon Web ServicesとGoogle Cloudから資金提供を受けています。その表明された使命は、機械学習知識へのアクセスを民主化し、分野全体での作業の重複を減らすことです。
ポータルの主な機能には、査読済みコード実装のキュレーションされたリポジトリ、上級研究者によってモデレートされた質疑応答フォーラム、毎月のバーチャルセミナーシリーズが含まれます。2024年12月の時点で、プラットフォームは12,400人の登録ユーザーを報告し、3,200以上のディスカッションスレッドをホストしていました。リポジトリには1,850のコード例が含まれており、最もダウンロードされたアイテムは画像分類用のResidual Network (ResNet)実装で、47,000回アクセスされました。
歴史と開発
CIMLコミュニティポータルのアイデアは、Nokia Bell Labsでの機械学習の再現性に関する2021年のワークショップから生まれました。Xerox PARCとBhabha Atomic Research Centreの研究者を含む参加者は、モデルを検証および比較するための共有インフラストラクチャの必要性を特定しました。2022年6月に計画委員会が結成され、caltechのコンピュータ科学者Anima AnandkumarとMIT CSAILのAleksander Madryが主導しました。ベータ版は2023年3月15日に、40の機関から500人の初期ユーザーを迎えて立ち上げられました。
ポータルの最初の主要アップデートは2023年9月に到着し、Large language model評価スイートのサポートを追加しました。この機能により、ユーザーはプロンプトを送信し、GPT-4やclaude-2などのモデル間で標準化された条件下で出力を比較できました。2024年2月の2回目のアップデートでは、分散コンピューティング層が導入され、メンバーが寄付されたAWS Trainiumクラスター上でData Augmentation実験を実行できるようになりました。ポータルのコードベースはApache 2.0ライセンスの下でオープンソースであり、230人の個人開発者からの貢献があります。
ガバナンスと資金調達
ポータルは、毎年選出される12人のメンバーからなる運営委員会によって統治されています。委員会には、学界、産業界、独立研究ラボからの代表者が含まれます。2024年の注目メンバーには、BAIR (Berkeley AI Research)のMichael I. Jordan、DeepMindのKaren Simonyan、OpenAIのBrad Lightcapが含まれます。コンソーシアムは、AMD、Intel、Samsung Electronicsを含む企業スポンサーから運営資金を受け取っており、2024年には合計120万ドルを拠出しました。個人寄付と機関会員費が予算の残り30%をカバーしています。
すべての資金決定は、2024年4月に初めて発行された年次透明性報告書に文書化されています。報告書は、予算の15%がモデレーションとコミュニティ管理に、40%がインフラストラクチャとクラウドコストに、45%が初期キャリア学者向けの研究助成金に割り当てられたことを明らかにしました。ポータルは広告を受け入れず、ユーザーデータを販売しません。これは憲章に明記された方針です。
技術アーキテクチャ
プラットフォームは、Microsoft AzureとOracle Cloud Infrastructureリージョンに展開されたマイクロサービスアーキテクチャ上で動作します。バックエンドはモデルサービングにpythonとPyTorchを使用し、フロントエンドはreactとtypescriptで構築されています。ポータルの検索機能は、全文クエリにElasticsearchを活用し、意味的類似性マッチングにVector databaseを使用しています。すべてのユーザー生成コンテンツは、amazon-s3への毎日のバックアップを備えたpostgresqlデータベースに保存されます。
2023年に導入された評価ハーネスは、Top-K SamplingとTemperature Scalingパラメータに基づく標準化されたプロトコルを使用しています。各モデル提出は確率的変動を考慮して3回実行され、結果は平均化され、信頼区間とともに報告されます。ポータルはまた、サポートされているアーキテクチャの推論遅延を最大40%削減するModel Pruningツールキットを提供しています。2024年後半の時点で、プラットフォームは1日あたり約8,000のAPIリクエストを処理しており、毎月のセミナーシリーズ中にピーク使用量があります。
コミュニティとアウトリーチ
ポータルは、2024年5月にトロントで初開催された年次会議CIMLサミットを主催しています。このイベントには850人の参加者が集まり、120のポスター発表が行われました。2回目のサミットは2025年6月にシンガポールで予定されており、Alibaba DAMO Academyが共同ホストを務めます。ポータルはまた、QualcommやArm Holdingsなどの企業の研究者と200人の大学院生をペアリングするメンターシッププログラムも運営しています。
教育リソースには、Batch Normalization、Dropout、Learning Rate Schedulingなどのトピックに関する一連のインタラクティブノートブックが含まれます。これらのノートブックは、Carnegie Mellon UniversityとUniversity of Oxfordのコースで使用されています。2024年1月に立ち上げられたポータルのウィキには、400人の著者からの貢献による機械学習概念に関する1,200の記事が含まれています。ウィキで最も編集されたページはMulti-Head Attentionをカバーしており、コミュニティのTransformer (architecture)アーキテクチャへの焦点を反映しています。
影響と評価
1,000人のユーザーを対象とした2024年の調査では、78%がポータルのコードリポジトリを使用することで毎月少なくとも10時間を節約したと報告しました。google-scholar分析によると、プラットフォームは2023年から2024年の間に発表された45の査読付き論文で引用されています。nature machine intelligenceとcommunications-of-the-acmの独立したレビューは、ポータルの透明性を賞賛しましたが、高ボリュームのディスカッションのモデレーションにおける課題を指摘しました。
批評家は、設立機関間の影響力の集中について懸念を提起しています。2024年のthe-registerの意見記事は、ポータルの運営委員会が北米のラボを過剰に代表していると主張しました。これに応じて、委員会は2024年10月にアフリカと南アメリカの研究者のための2つの議席を追加しました。ポータルは進化を続けており、2026年初頭に予定されているFederated learningモジュールがあります。