Apple Machine Learning ist die Forschungs- und Entwicklungsorganisation innerhalb von Apple Inc., die sich der Weiterentwicklung der Bereiche künstliche Intelligenz und maschinelles Lernen widmet. Die Gruppe entwickelt Kernalgorithmen, Modelle und On-Device-Technologien, die Funktionen im gesamten Apple-Ökosystem unterstützen, darunter iOS, macOS und Dienste wie Siri und Fotos. Ihre Arbeit umfasst Grundlagenforschung in Deep Learning, neuronalen Netzen und generativer KI, mit einem starken Schwerpunkt auf datenschutzfreundlicher und On-Device-Berechnung.
Die Abteilung operiert unter dem breiteren Software- und Hardware-Engineering-Dach von Apple und arbeitet eng mit Teams zusammen, die für die kundenspezifischen Siliziumchips des Unternehmens verantwortlich sind, wie etwa die ARM-basierten Apple-Silicon-Chips. Apple Machine Learning veröffentlicht Forschungspapiere, macht einige Tools als Open Source verfügbar und unterhält eine eigene Website, um Erkenntnisse mit der akademischen Gemeinschaft zu teilen, während es seine Fortschritte gleichzeitig in Verbraucherprodukte integriert.
Geschichte und Gründung
Die formellen Bemühungen von Apple im Bereich maschinelles Lernen begannen ernsthaft Mitte der 2010er-Jahre, nach der Übernahme mehrerer KI-Startups und der Einstellung prominenter Forscher. 2016 übernahm Apple Turi, eine Plattform für maschinelles Lernen, und 2017 stellte es den Professor der Carnegie Mellon University, Russ Salakhutdinov, ein, der Direktor der KI-Forschung wurde. Das Unternehmen übernahm auch den Xerox-PARC-Ableger und Konkurrenten von Samsung Research, wobei spezifische Details vertraulich bleiben.
2018 startete Apple öffentlich sein Journal für maschinelles Lernen, das es Forschern ermöglicht, Erkenntnisse ohne vorherige Genehmigung des Unternehmens zu veröffentlichen - ein Schritt, der darauf abzielte, Top-Talente anzuziehen. Bis 2020 war die Organisation auf Hunderte von Forschern und Ingenieuren angewachsen, mit Büros in Cupertino, Seattle und Cambridge. Der Fokus der Gruppe erweiterte sich von Computer Vision und natürlicher Sprachverarbeitung auf Transformer-basierte Modelle und große Sprachmodelle in den frühen 2020er-Jahren.
Wichtige Forschungsbereiche
Die Forschung von Apple Machine Learning erstreckt sich über mehrere Kernbereiche. Computer Vision ist ein primärer Fokus, mit Arbeiten zur Bilderkennung, Objekterkennung und Szenenverständnis, die Funktionen wie Face ID und die Suche in der Fotos-App untermauern. Natürliche Sprachverarbeitung ist eine weitere Säule, die Siris Spracherkennung und Textverständnis sowie die On-Device-Tastaturvorhersage ermöglicht.
Die Gruppe untersucht auch Residualnetzwerke und andere Architekturen für effiziente Inferenz auf mobiler Hardware. Modellbereinigung und Datenanreicherung-Techniken werden entwickelt, um die Modellgröße zu reduzieren und die Robustheit zu verbessern - entscheidend für den Betrieb auf dem Gerät mit begrenzter Leistung. Darüber hinaus hat die Forschung zu Multi-Head-Attention und positionaler Kodierung das Design von Apples eigenen Transformer-basierten Modellen beeinflusst.
On-Device- und Datenschutz-First-Ansatz
Ein charakteristisches Merkmal von Apple Machine Learning ist sein Engagement für On-Device-Verarbeitung. Anders als viele Wettbewerber, die stark auf Cloud-basierte KI setzen, entwirft Apple Modelle, die lokal auf iPhones, iPads und Macs laufen, unter Verwendung der neuronalen Netzwerk-Beschleuniger in den Apple-Silicon-Chips. Dieser Ansatz minimiert die Datenübertragung an Server und steht im Einklang mit Apples breiterer Datenschutzhaltung.
Für Aufgaben, die mehr Rechenleistung erfordern, verwendet Apple ein hybrides System namens Private Federated Learning, das Modelle über verteilte Geräte trainiert, ohne rohe Benutzerdaten zu zentralisieren. Diese Technik, die in Apples Forschungspapieren detailliert beschrieben wird, ermöglicht Verbesserungen bei Funktionen wie QuickType-Tastaturvorschlägen und Spracherkennung, während die Anonymität der Benutzer gewahrt bleibt. Das Unternehmen verwendet auch Dropout und Batch-Normalisierung, um stabiles Training in diesen verteilten Umgebungen zu gewährleisten.
Bemerkenswerte Modelle und Produkte
Apple Machine Learning hat mehrere bemerkenswerte Modelle und Funktionen hervorgebracht. 2022 führte Apple das Transformer-basierte Modell ein, das seine On-Device-Diktierfunktion und das verbesserte natürliche Sprachverständnis von Siri unterstützt. 2023 veröffentlichte das Unternehmen eine Familie großer Sprachmodelle namens 'Apple Foundation Models', die für Funktionen wie automatische Zusammenfassungen in Mail und intelligente Suche in Spotlight verwendet werden.
Die Gruppe entwickelte auch die neuronale Engine, eine dedizierte Hardwarekomponente, die erstmals 2017 im A11-Bionic-Chip eingeführt wurde und maschinelle Lernaufgaben beschleunigt. Dieses Hardware-Software-Co-Design, das die Zusammenarbeit mit TSMC für die Chipfertigung umfasst, ermöglicht Echtzeit-Deep-Learning-Inferenz für Funktionen wie Animoji und Echtzeit-Fotoklassifizierung. Forschung zu Lernratenplänen und Adam-Optimierer-Varianten wurde angewendet, um diese Modelle effizient zu trainieren.
Zusammenarbeit und Ökosystem
Apple Machine Learning arbeitet aktiv mit akademischen Institutionen und Industriepartnern zusammen. Es hat Forschung an MIT CSAIL, Stanford AI Lab und Berkeley AI Research finanziert, und seine Forscher veröffentlichen regelmäßig auf Konferenzen wie NeurIPS und ICML. Die Gruppe arbeitet auch mit Google DeepMind und OpenAI an Interoperabilitätsstandards zusammen, obwohl Wettbewerbsspannungen bestehen bleiben.
Innerhalb von Apple arbeitet die Abteilung mit Hardware-Teams zusammen, um die neuronale Netzwerk-Leistung auf ARM-basierten Chips zu optimieren, und mit Software-Teams, um Modelle in die Betriebssysteme von Apple zu integrieren. Sie trägt auch zu Open-Source-Projekten bei, wie dem Core-ML-Framework, das es Drittentwicklern ermöglicht, Modelle für maschinelles Lernen in ihren Apps bereitzustellen. Dieser Ökosystemansatz hat Apple Machine Learning zu einer zentralen Säule der Produktstrategie des Unternehmens gemacht, wobei seine Forschung direkt benutzerorientierte Funktionen auf Milliarden von Geräten beeinflusst.
Zukünftige Richtungen
In Zukunft wird erwartet, dass Apple Machine Learning seine Arbeit in generativer KI und großen Sprachmodellen ausweitet, insbesondere für On-Device-Assistenten und kreative Tools. Das Unternehmen hat Patente für datenschutzfreundliche Transformer-Inferenz angemeldet und erforscht RLHF-ähnliche Techniken zur Ausrichtung von Modellen auf die Benutzerabsicht. Ab 2025 stellt Apple weiterhin Top-Forscher ein und investiert in KI-Infrastruktur, was signalisiert, dass maschinelles Lernen ein Kernfokus für das nächste Jahrzehnt der Innovation des Unternehmens bleiben wird.