アレックス・クリジェフスキーは、カナダのコンピュータ科学者であり、人工ニューラルネットワークと深層学習に関する業績で最もよく知られている。2012年、クリジェフスキー、イリヤ・サツケバー、そして彼らの博士課程指導教官であるジェフリー・ヒントンは、トロント大学で、GeForceブランドのGPUカードを2枚だけ使用して、AlexNetと呼ばれる強力な視覚認識ネットワークを開発した。これにより、ニューラルネットワーク研究が一変した。それまでニューラルネットワークはCPUで訓練されていたからである。GPUへの移行は、先進的なAIモデルの開発への道を開いた。
クリジェフスキーはまた、機械学習とコンピュータビジョンで広く使用されるベンチマークであるCIFAR-10およびCIFAR-100データセットの主著者でもある。これらのテーマに関する彼の多数の論文は、他の研究者によって頻繁に引用されている。
AlexNetの開発
サツケバーに刺激を受け、ヒントンに触発されたクリジェフスキーは、画像認識と分類の限界を広げるためにAlexNetを開発した。畳み込みニューラルネットワークと、当時の慣習をはるかに超えてニューラル層を深くするというサツケバーの深層ニューラルネットワークのアプローチに基づき、さらに訓練の堅牢性のためにドロップアウトを加えたAlexNetは、2012年のImageNetチャレンジで優勝した。チームは2012年にNeurIPS（NIPS）でAlexNetに関する論文を発表した。
このネットワークのアーキテクチャには、後の深層学習モデルで標準となるいくつかの革新が組み込まれていた。訓練を高速化するための正規化線形ユニット（ReLU）、過学習を減らすためのオーバーラップ型プーリング、データ拡張手法による訓練セットの実効サイズの拡大である。2枚のGPUの使用により、従来CPUだけでは実現できなかった規模のモデルを訓練することが可能になった。
産業界への移行
AlexNetのデビューから間もなく、クリジェフスキーとサツケバーは彼らのスタートアップ企業であるDNN Research Inc.をGoogleに売却した。Googleでは、クリジェフスキーは引き続き深層学習の応用に取り組み、後に大規模AIシステムの開発に影響を与えるプロジェクトに貢献した。彼は2017年9月に仕事への興味を失った後、Googleを離れ、新たな深層学習技術を支援する会社Dessaで働くことになった。
産業界への彼の進出は、2010年代半ばの広範な流れを反映している。深層学習の学術研究者が、その発見を実世界の製品に応用するためにテクノロジー企業に加わることが増えるようになった。この時期には、ニューラルネットワーク研究の急速な商業化が見られ、画像認識から自然言語処理に至るまでのアプリケーションが拡大した。
遺産と影響
AlexNetは深層学習の革命に火をつけたと広く評価されている。その成功により、GPUで訓練された深層ニューラルネットワークの有効性が実証され、コンピュータビジョン以外の人工知能の複数の領域で急速な進歩がもたらされた。AlexNetが生み出した技術と勢いは、BERTやGPTなどの大規模なトランスフォーマーベースモデルを含む現代の自然言語処理モデルの開発の形成に一役買った。これらのモデルはChatGPTのようなツールを支えている。
AlexNetが先鞭を付けたGPUベースの訓練へのシフトは、この分野の基盤的な実践となった。その後、バッチ正規化や残差ネットワークも、クリジェフスキーとその同僚の仕事の上に直接構築された。彼が著したCIFARデータセットは、画像分類における新しいアルゴリズムを評価するための標準ベンチマークとして現在も維持され続けている。
研究への貢献
AlexNet以外では、クリジェフスキーはデータ拡張と重みの初期化手法に関する研究が、ニューラルネットワークの訓練方法に影響を与えている。これらのトピックに関する彼の論文はこの分野で最も引用されているものの一つであり、研究者や実務担当者に実践的なガイダンスを提供している。彼が作成したCIFAR-10とCIFAR-100データセットは、複数のカテゴリに分かたれたラベル付き画像で構成されており、分類モデルの性能をテストするために使用されている。
クリジェフスキーのように、工学的実用性と理論的洞察を組み合わせたアプローチが、学術研究と実際の導入業務の間のギャップを埋めるのに他ではない。彼の貢献は現代の機械学習文献などで現在も参照されており、トロント大学での彼の研究業績はAI開発の歴史における大きな里程標となっている。