François Cholletは、フランス人のソフトウェアエンジニアでありAI研究者で、最も広く使われているDeep learningライブラリの1つであるKerasの開発者、および一般的な推論能力を記憶されたスキルではなく測定することを目的とした広く引用されるテストであるARC-AGIベンチマークの設計者として最もよく知られています。
Cholletは長年にわたりGoogleで働き、2015年からニューラルネットワークを構築するための高水準でユーザーフレンドリーなインターフェースとしてKerasを開発し、当初はTensorFlow上で動作し、後にTensorFlowの公式な高水準APIとして採用されました。Kerasは、深いシステム専門知識を持たない実践者にとってディープラーニングをはるかに身近なものにすることで知られるようになり、2010年代半ばにPyTorchと並んでこの分野の急速な成長に大きく貢献しました。
ARC-AGIとスケーリングへの批判
2019年、Cholletは論文「On the Measure of Intelligence」を発表し、ほとんどのAIベンチマークが狭いタスクでのスキルと知能を混同していると主張し、スキル獲得効率、つまりシステムが非常に少ないデータから新しいタスクをどれだけうまく学習できるかに焦点を当てた知能の定義を提案しました。この論文ではARC-AGIベンチマークを紹介しました。これは、ほとんどの人間にとっては簡単な視覚的なパズル風の推論タスクのセットですが、Machine learningシステム、特に大規模な言語モデルにとっては、広範なタスク固有のトレーニングなしでは解くのが非常に難しいことが証明されていました。Cholletは、ARC-AGIがモデルが他の多くのベンチマークで優れた性能を発揮できるようにする記憶やパターンマッチングの近道に抵抗すると主張し、Pretrainingの計算量とデータをスケーリングするだけでArtificial general intelligenceが生み出されるという主張に対して著名な公の懐疑論者であり続けています。
2024年、Cholletは起業家のMike Knoopとともに、ベンチマークで人間レベルの性能に達した最初のシステムに賞金を授与する公開コンペティションであるARC Prizeを共同で立ち上げました。このコンペティションには、大規模な推論モデルとプログラム合成アプローチの両方を使用したエントリーが集まり、現在のシステムが汎用知能にどれだけ近いかという議論における最も注目された公開証拠の一部を提供しました。
その後の活動
Cholletは2024年にGoogleを退社し、プログラム合成や、CholletがTransformer (architecture)ベースのモデルのさらなるスケーリングよりも真の汎化に有望であると主張する他のAIアプローチを追求する研究ラボであるNdeaを共同設立しました。彼は今も活発な公のコメンテーターであり、Emergent abilities、Scaling laws、およびAI研究におけるベンチマーク結果の意味についての議論に頻繁に関与しています。