Apple Machine Learning은 Apple Inc. 내의 연구 개발 조직으로, 인공 지능 및 머신 러닝 분야의 발전에 전념하고 있다. 이 그룹은 iOS, macOS 및 Siri, Photos와 같은 서비스를 포함한 Apple 생태계 전반의 기능을 구동하는 핵심 알고리즘, 모델 및 온디바이스 기술을 개발한다. 그 작업은 딥 러닝, 신경망, 생성형 AI 분야의 기초 연구를 아우르며, 개인 정보 보호 및 온디바이스 컴퓨팅에 강한 중점을 둔다.
이 부서는 Apple의 광범위한 소프트웨어 및 하드웨어 엔지니어링 조직 아래에서 운영되며, ARM 기반의 Apple Silicon 칩과 같은 회사의 맞춤형 실리콘을 담당하는 팀과 긴밀히 협력한다. Apple Machine Learning은 연구 논문을 발표하고 일부 도구를 오픈 소스로 공개하며 학계와 발견 사항을 공유하기 위한 전용 웹사이트를 유지하면서도, 그 진전을 소비자 제품에 통합한다.
역사 및 설립
Apple의 공식적인 머신 러닝 노력은 2010년대 중반에 여러 AI 스타트업 인수와 저명한 연구원 고용에 이어 본격적으로 시작되었다. 2016년에는 머신 러닝 플랫폼 회사인 Turi를 인수했고, 2017년에는 카네기 멜론 대학교 교수인 Russ Salakhutdinov를 고용하여 AI 연구 책임자로 임명했다. 회사는 또한 Xerox PARC에서 분사된 삼성 리서치 경쟁사를 인수했지만, 구체적인 세부 사항은 기밀로 유지되고 있다.
2018년, Apple은 머신 러닝 저널을 공개적으로 출범시켜 연구원들이 회사 사전 승인 없이도 연구 결과를 발표할 수 있게 했으며, 이는 최고 인재를 유치하기 위한 조치였다. 2020년까지 이 조직은 수백 명의 연구원과 엔지니어로 성장했으며, 쿠퍼티노, 시애틀, 케임브리지에 사무소를 두었다. 그룹의 초점은 컴퓨터 비전과 자연어 처리에서 2020년대 초반의 트랜스포머 기반 모델 및 대규모 언어 모델로 확장되었다.
주요 연구 분야
Apple Machine Learning의 연구는 여러 핵심 분야에 걸쳐 있다. 컴퓨터 비전은 주요 초점으로, Face ID 및 Photos 앱 검색과 같은 기능을 뒷받침하는 이미지 인식, 객체 감지 및 장면 이해에 대한 작업이 포함된다. 자연어 처리는 또 다른 기둥으로, Siri의 음성 인식과 텍스트 이해, 온디바이스 키보드 예측을 가능하게 한다.
이 그룹은 또한 모바일 하드웨어에서의 효율적인 추론을 위한 잔차 네트워크 및 기타 아키텍처를 조사한다. 모델 가지치기 및 데이터 증강 기술은 제한된 전력으로 온디바이스에서 실행하는 데 중요한 모델 크기 축소와 견고성 향상을 위해 개발된다. 또한 멀티 헤드 어텐션 및 위치 인코딩에 대한 연구는 Apple 자체 트랜스포머 기반 모델 설계에 영향을 주었다.
온디바이스 및 개인 정보 보호 우선 접근 방식
Apple Machine Learning의 정의적 특징은 온디바이스 처리에 대한 헌신이다. 클라우드 기반 AI에 크게 의존하는 많은 경쟁사와 달리, Apple은 Apple Silicon 칩의 신경망 가속기를 사용하여 iPhone, iPad 및 Mac에서 로컬로 실행되는 모델을 설계한다. 이 접근 방식은 서버로의 데이터 전송을 최소화하여 Apple의 광범위한 개인 정보 보호 입장과 일치한다.
더 많은 계산 성능이 필요한 작업의 경우, Apple은 Private Federated Learning이라는 하이브리드 시스템을 사용하여 원시 사용자 데이터를 중앙 집중화하지 않고 분산 장치에서 모델을 훈련한다. Apple의 연구 논문에 자세히 설명된 이 기술은 QuickType 키보드 제안 및 음성 인식과 같은 기능의 개선을 가능하게 하면서 사용자 익명성을 보존한다. 회사는 또한 이러한 분산 설정에서 안정적인 훈련을 보장하기 위해 드롭아웃 및 배치 정규화를 사용한다.
주요 모델 및 제품
Apple Machine Learning은 여러 주목할 만한 모델과 기능을 생산했다. 2022년, Apple은 온디바이스 받아쓰기 및 개선된 Siri 자연어 이해를 구동하는 트랜스포머 기반 모델을 도입했다. 2023년, 회사는 'Apple Foundation Models'라는 대규모 언어 모델 제품군을 출시했으며, 이는 Mail의 자동 요약 및 Spotlight의 지능형 검색과 같은 기능에 사용된다.
이 그룹은 또한 2017년 A11 Bionic 칩에서 처음 도입된 전용 하드웨어 구성 요소인 신경 엔진을 개발하여 머신 러닝 작업을 가속화한다. TSMC와의 칩 제조 협력을 포함한 이러한 하드웨어-소프트웨어 공동 설계는 Animoji 및 실시간 사진 분류와 같은 기능을 위한 실시간 딥 러닝 추론을 가능하게 한다. 학습률 스케줄 및 Adam 옵티마이저 변형에 대한 연구는 이러한 모델을 효율적으로 훈련하는 데 적용되었다.
협력 및 생태계
Apple Machine Learning은 학계 및 산업 파트너와 적극적으로 협력한다. MIT CSAIL, 스탠포드 AI 연구소, 버클리 AI 연구에서 연구를 지원했으며, 연구원들은 NeurIPS 및 ICML과 같은 학회에서 자주 발표한다. 이 그룹은 또한 상호 운용성 표준을 위해 Google DeepMind 및 OpenAI와 협력하지만, 경쟁적 긴장은 여전히 존재한다.
Apple 내에서 이 부서는 ARM 기반 칩에서 신경망 성능을 최적화하기 위해 하드웨어 팀과, 모델을 Apple 운영 체제에 통합하기 위해 소프트웨어 팀과 협력한다. 또한 Core ML 프레임워크와 같은 오픈 소스 프로젝트에 기여하여 제3자 개발자가 앱에서 머신 러닝 모델을 배포할 수 있게 한다. 이러한 생태계 접근 방식은 Apple Machine Learning을 회사 제품 전략의 중심 기둥으로 만들었으며, 그 연구는 수십억 대의 기기에서 사용자 대면 기능에 직접적인 영향을 미친다.
향후 방향
앞으로 Apple Machine Learning은 특히 온디바이스 어시스턴트 및 창의적 도구를 위한 생성형 AI 및 대규모 언어 모델 작업을 확장할 것으로 예상된다. 회사는 개인 정보 보호를 유지하는 트랜스포머 추론에 대한 특허를 출원했으며, 사용자 의도에 맞춰 모델을 정렬하기 위한 RLHF 유사 기술을 탐구하고 있다. 2025년 현재, Apple은 최고 연구원을 계속 고용하고 AI 인프라에 투자하고 있으며, 이는 머신 러닝이 향후 10년간 회사 혁신의 핵심 초점으로 남을 것임을 시사한다.