Apple Machine Learningは、Apple Inc.内の研究開発組織であり、人工知能と機械学習の分野を前進させることに専念している。このグループは、iOS、macOS、およびSiriやPhotosなどのサービスを含むAppleのエコシステム全体で機能を支える中核アルゴリズム、モデル、およびオンデバイス技術を開発している。その活動は、深層学習、ニューラルネットワーク、および生成AIにおける基礎研究に及び、プライバシー保護とオンデバイス計算に重点を置いている。
この部門は、Appleのより広範なソフトウェアおよびハードウェアエンジニアリングの傘下で運営され、ARMベースのApple Siliconチップなど、同社のカスタムシリコンを担当するチームと緊密に連携している。Apple Machine Learningは研究論文を発表し、一部のツールをオープンソース化し、学術コミュニティと知見を共有する専用ウェブサイトを維持しながら、その進歩を消費者製品に統合している。
歴史と設立
Appleの正式な機械学習への取り組みは、2010年代半ばに本格的に始まり、複数のAIスタートアップの買収と著名な研究者の採用に続いた。2016年には、Appleは機械学習プラットフォーム企業であるTuriを買収し、2017年にはカーネギーメロン大学の教授であるRuss Salakhutdinovを採用し、彼はAI研究のディレクターとなった。同社はまた、Xerox PARCのスピンオフであるSamsung Researchの競合他社を買収したが、具体的な詳細は機密のままである。
2018年、Appleは機械学習ジャーナルを公開し、研究者が会社の事前承認なしに知見を発表できるようにした。これは、優秀な人材を引き付けるための動きであった。2020年までに、この組織は数百人の研究者とエンジニアを含む規模に成長し、Cupertino、Seattle、Cambridgeにオフィスを構えた。グループの焦点は、コンピュータビジョンと自然言語処理から、2020年代初頭にはトランスフォーマーベースのモデルと大規模言語モデルへと拡大した。
主要な研究分野
Apple Machine Learningの研究は、いくつかの中核分野に及んでいる。コンピュータビジョンは主要な焦点であり、画像認識、物体検出、およびシーン理解に関する研究が行われており、これらはFace IDやPhotosアプリの検索などの機能を支えている。自然言語処理ももう一つの柱であり、Siriの音声認識とテキスト理解、およびオンデバイスのキーボード予測を可能にしている。
このグループはまた、モバイルハードウェアでの効率的な推論のための残差ネットワークやその他のアーキテクチャを調査している。モデルプルーニングとデータ拡張の技術は、モデルサイズを縮小し堅牢性を向上させるために開発されており、限られた電力でオンデバイスで実行するために重要である。さらに、マルチヘッドアテンションと位置エンコーディングに関する研究は、Apple独自のトランスフォーマーベースのモデルの設計に情報を提供している。
オンデバイスとプライバシー優先のアプローチ
Apple Machine Learningの特徴的な点は、オンデバイス処理への取り組みである。多くの競合他社がクラウドベースのAIに大きく依存しているのに対し、AppleはiPhone、iPad、Mac上でローカルに実行されるモデルを設計し、Apple Siliconチップのニューラルネットワークアクセラレータを使用している。このアプローチは、サーバーへのデータ送信を最小限に抑え、Appleのより広範なプライバシー方針と一致している。
より多くの計算能力を必要とするタスクには、AppleはPrivate Federated Learningと呼ばれるハイブリッドシステムを使用しており、これは生のユーザーデータを集中化せずに分散デバイス全体でモデルをトレーニングする。この技術は、Appleの研究論文で詳述されており、QuickTypeキーボード提案や音声認識などの機能の改善を可能にしながら、ユーザーの匿名性を維持する。同社はまた、これらの分散設定での安定したトレーニングを保証するために、ドロップアウトとバッチ正規化を採用している。
注目すべきモデルと製品
Apple Machine Learningは、いくつかの注目すべきモデルと機能を生み出してきた。2022年、Appleはオンデバイスのディクテーションと改善されたSiriの自然言語理解を支えるトランスフォーマーベースのモデルを導入した。2023年、同社は「Apple Foundation Models」と呼ばれる大規模言語モデルのファミリーをリリースし、これはMailの自動要約やSpotlightのインテリジェント検索などの機能に使用されている。
このグループはまた、2017年にA11 Bionicチップで初めて導入された専用ハードウェアコンポーネントであるニューラルエンジンを開発し、機械学習タスクを加速している。このハードウェアとソフトウェアの共同設計は、チップ製造のためのTSMCとの協力を含み、Animojiやリアルタイムの写真分類などの機能のためのリアルタイムの深層学習推論を可能にしている。学習率スケジュールとAdamオプティマイザの変種に関する研究は、これらのモデルを効率的にトレーニングするために適用されている。
コラボレーションとエコシステム
Apple Machine Learningは、学術機関や業界パートナーと積極的に協力している。MIT CSAIL、スタンフォードAIラボ、およびバークレーAIリサーチでの研究に資金を提供し、その研究者はNeurIPSやICMLなどの会議で頻繁に発表している。このグループはまた、相互運用性標準についてGoogle DeepMindやOpenAIと協力しているが、競争上の緊張は残っている。
Apple内では、この部門はハードウェアチームと提携してARMベースのチップでのニューラルネットワークパフォーマンスを最適化し、ソフトウェアチームと提携してモデルをAppleのオペレーティングシステムに統合している。また、サードパーティの開発者がアプリで機械学習モデルを展開できるようにするCore MLフレームワークなどのオープンソースプロジェクトにも貢献している。このエコシステムアプローチにより、Apple Machine Learningは同社の製品戦略の中心的な柱となり、その研究は数十億のデバイスにわたるユーザー向け機能に直接影響を与えている。
今後の方向性
今後、Apple Machine Learningは、生成AIと大規模言語モデル、特にオンデバイスアシスタントとクリエイティブツールでの活動を拡大すると期待されている。同社は、プライバシー保護型のトランスフォーマー推論に関する特許を出願しており、モデルをユーザーの意図に合わせるためのRLHFのような技術を模索している。2025年現在、Appleは引き続きトップ研究者を採用し、AIインフラストラクチャに投資しており、機械学習が同社の次の10年間のイノベーションの中核であり続けることを示している。