Apple Foundation Models는 인공지능과 머신러닝 모델의 계열로, Apple Inc.이 iOS, iPadOS, macOS, watchOS를 포함한 운영 체제 전반의 기능을 지원하기 위해 개발한 것이다. 이 모델들은 기기 내(on-device)와 클라우드에서 모두 작동하도록 설계되었으며, 개인정보 보호, 효율성, 그리고 Apple의 하드웨어 및 소프트웨어와의 원활한 통합에 중점을 둔다. 이들은 텍스트 생성 및 요약부터 이미지 이해와 지능형 검색에 이르는 다양한 사용자 대면 기능을 뒷받침하며, 생성형 AI 분야에 대한 Apple의 진출을 의미한다.
Apple Foundation Models의 아키텍처와 배포 방식은 많은 경쟁사와 다르다. OpenAI와 Google DeepMind 같은 기업들이 주로 대규모 클라우드 호스팅 대규모 언어 모델에 의존하는 반면, Apple은 하이브리드 접근 방식을 채택했다. 더 작은 모델은 Apple의 신경 엔진과 ARM 기반 칩을 사용하여 기기에서 로컬로 실행되며, 더 크고 복잡한 작업은 서버 기반 모델이 처리한다. 이 전략은 데이터 노출을 최소화하고 지연 시간을 줄이는 것을 목표로 하며, Apple의 오랜 개인정보 보호 약속과 일치한다.
개발 및 역사
Apple의 foundation model 작업은 2020년대 초반에 본격적으로 시작되었으며, 딥러닝과 트랜스포머 아키텍처에 대한 수년간의 내부 연구를 기반으로 했다. 이 회사는 저명한 AI 연구자들을 고용하고 여러 스타트업을 인수하여 역량을 강화했다. 2023년 6월, Apple은 세계 개발자 회의(WWDC)에서 첫 번째로 공개적으로 발표된 foundation model 기능을 선보였으며, 여기에는 iOS 17용 개선된 자동 수정 시스템과 기기 내 텍스트 예측이 포함되었다. 이러한 초기 구현은 비교적 소박했으며, 화려한 생성 기능보다는 효율성과 사용자 경험에 초점을 맞췄다.
더 중요한 확장은 2024년에 이루어졌다. 2024년 6월 WWDC에서 Apple은 생태계 전반에 foundation model을 통합하는 더 광범위한 AI 플랫폼인 "Apple Intelligence"를 공개했다. 여기에는 이메일 요약, 알림 우선순위 지정, 이미지 생성과 같은 작업을 위한 더 고급 기기 내 모델이 포함되었다. 복잡한 요청의 경우, Apple은 사용자 데이터가 저장되거나 Apple이 접근할 수 없도록 설계된 맞춤형 실리콘을 사용하는 전용 서버 기반 클라우드 시스템을 도입했다. 또한 이 회사는 Siri에 ChatGPT를 통합하기 위해 OpenAI와의 파트너십을 발표했지만, Apple Foundation Models는 대부분의 시스템 수준 AI 작업에서 여전히 주요 엔진으로 남아 있다.
아키텍처 및 기술 설계
Apple Foundation Models는 다른 현대 대규모 언어 모델과 유사하게 트랜스포머 아키텍처를 기반으로 한다. 그러나 이들은 특히 Apple의 A-시리즈 및 M-시리즈 칩에 있는 신경 엔진과 같은 Apple 하드웨어에 최적화되어 있다. 이 최적화는 메모리 사용량과 계산 요구 사항을 줄이기 위한 광범위한 모델 가지치기와 양자화를 포함하며, 수십억 개의 매개변수를 가진 모델이 제한된 RAM과 배터리 전력을 가진 기기에서 효율적으로 실행될 수 있게 한다.
모델은 공개 및 라이선스 데이터의 조합으로 훈련되며, 고품질의 선별된 데이터 세트에 중점을 둔다. Apple은 사용자 개인 데이터를 훈련에 사용하지 않는다고 강조해 왔으며, 이는 일부 경쟁사와 차별화되는 입장이다. 훈련 과정은 Adam 옵티마이저와 학습률 스케줄링 같은 표준 기법을 사용하지만, Apple은 모델 정렬과 안전성을 개선하기 위해 데이터 증강 및 AI 피드백 기반 강화 학습을 위한 독자적인 방법도 개발했다.
클라우드 기반 추론의 경우, Apple은 M2 Ultra 및 이후 칩과 같은 자체 실리콘을 사용하는 서버 네트워크를 운영한다. "Private Cloud Compute"라고 불리는 이 인프라는 투명성과 보안을 제공하도록 설계되었다. Apple은 이러한 서버가 보안 enclave에서 실행되며, 사용자 데이터의 영구 저장이 없고 Apple 직원이 접근할 수 없다고 밝혔다. 클라우드 모델은 기기 내 모델보다 더 커서 더 복잡한 추론 및 생성 작업을 가능하게 한다.
주요 기능 및 응용
Apple Foundation Models는 Apple 플랫폼 전반에 걸쳐 다양한 기능을 지원한다. iOS와 macOS에서 Mail, Notes, Pages와 같은 앱의 지능형 텍스트 완성, 문법 수정, 스타일 다시 쓰기를 가능하게 한다. 또한 이 모델들은 긴 이메일, 기사, 알림을 간결한 요점으로 압축하는 요약 도구를 구동한다. Photos에서는 자연어 검색을 지원하여 사용자가 "해변에 있는 개"와 같은 내용을 설명하여 이미지를 찾을 수 있게 한다.
Apple의 가상 비서인 Siri는 이러한 모델로 크게 업그레이드되었다. 이제 더 복잡한 질의를 처리하고, 다중 턴 대화에서 맥락을 유지하며, 앱 간 작업을 수행할 수 있다. 예를 들어, 사용자가 Siri에게 "읽지 않은 이메일을 요약하고 가장 긴급한 이메일의 발신자와 회의를 일정에 추가해 줘"라고 요청하면, 모델이 요청을 분석하고 관련 정보를 추출하며 작업을 실행한다. 또한 Apple Foundation Models는 맞춤형 이모지나 일러스트레이션 생성을 위한 기기 내 이미지 생성과 VoiceOver의 시각적 장면 설명과 같은 접근성 기능을 지원한다.
개인정보 보호 및 보안
개인정보 보호는 Apple Foundation Models의 핵심 기둥이다. 기기 내 처리는 많은 작업이 사용자 기기를 벗어나지 않도록 보장하여 데이터 가로채기나 오용 위험을 줄인다. 클라우드 기반 작업의 경우, Apple은 여러 보호 장치를 구현했다. Private Cloud Compute 시스템은 종단 간 암호화와 임시 처리를 사용하며, 요청이 완료된 후 데이터가 즉시 삭제된다. Apple은 또한 투명성 보고서를 게시하고 독립적인 보안 연구원이 인프라를 감사할 수 있도록 허용한다.
이러한 조치는 종종 모델 개선을 위해 사용자 상호작용을 저장하는 다른 AI 제공업체의 접근 방식과 대조된다. Apple은 익명화된 형태로도 사용자 데이터를 모델 훈련에 사용하지 않겠다고 밝혔다. 이 약속은 특히 기업 및 개인정보 보호에 민감한 소비자에게 주요 판매 포인트가 되었다. 그러나 데이터를 보유하는 OpenAI의 ChatGPT와의 통합은 Apple의 개인정보 보호 보장 범위에 대한 의문을 제기했지만, Apple은 이러한 통합이 선택적이며 명확하게 표시된다고 강조한다.
성능 및 효율성
Apple Foundation Models는 성능과 효율성의 균형을 맞추도록 설계되었다. iOS 18의 작성 도구를 구동하는 기기 내 모델은 약 30억 개의 매개변수를 가진 것으로 보고되며, GPT-4와 같은 클라우드 기반 모델의 크기에 비해 일부에 불과하다. 그럼에도 불구하고, 공격적인 최적화와 하드웨어 특화 튜닝 덕분에 요약 및 텍스트 생성과 같은 작업에서 경쟁력 있는 결과를 달성한다. Apple은 자체 모델이 특정 작업에서 다른 공급업체의 유사한 크기 모델보다 우수하다는 벤치마크를 발표했지만, 독립적인 검증은 제한적이다.
이러한 모델의 효율성은 중요한 장점이다. 로컬에서 실행함으로써 인터넷 연결과 클라우드 비용에 대한 의존도를 줄이고, 더 낮은 지연 시간으로 작동한다. 이는 받아쓰기와 실시간 번역과 같은 실시간 기능에 특히 중요하다. 전용 신경 엔진을 갖춘 Apple의 TSMC 제조 칩은 초당 수조 회의 연산을 수행할 수 있어, 오래된 기기에서도 원활한 성능을 가능하게 한다.
경쟁사와의 비교
Apple Foundation Models는 OpenAI, Anthropic, Google DeepMind 등이 지배하는 경쟁 환경에 진입한다. 독립형 AI 제품과 API를 제공하는 이러한 기업들과 달리, Apple의 모델은 생태계에 깊이 통합되어 있으며 일반 목적의 서비스로 타사 개발자에게 제공되지 않는다. 이 폐쇄적인 접근 방식은 Apple이 품질과 개인정보 보호를 통제할 수 있게 하지만, 더 넓은 AI 시장에서의 영향력을 제한한다.
원시 능력 측면에서, Apple의 가장 큰 클라우드 모델은 특히 복잡한 추론과 창의적 글쓰기에서 GPT-4나 Claude 3과 같은 최첨단 모델보다 일반적으로 덜 강력한 것으로 간주된다. 그러나 기기 내 처리와 개인정보 보호에 대한 Apple의 초점은 독특한 위치를 제공한다. 빠른 텍스트 다시 쓰기나 이미지 검색과 같은 작업의 경우, 경험은 종종 클라우드 기반 대안보다 더 빠르고 원활하다. Apple은 또한 수십억 대의 기기가 이러한 모델을 실행할 수 있는 대규모 설치 기반의 이점을 누리며, 경쟁사가 부족한 배포 우위를 제공한다.
향후 방향
Apple은 더 크고 더 강력한 아키텍처에 대한 지속적인 연구와 함께 foundation model에 계속 대규모 투자를 하고 있다. 이 회사는 기기 내 학습, 다중 모달 모델, 개인화된 AI와 관련된 수많은 특허를 출원했다. 향후 업데이트는 Siri의 기능을 확장하고, 더 고급 이미지 및 비디오 이해를 도입하며, 잠재적으로 새로운 API를 통해 타사 앱이 특정 모델 기능에 접근할 수 있게 할 것으로 예상된다.
또한 Apple이 Anthropic 및 Google DeepMind와 같은 다른 AI 제공업체와의 파트너십을 탐색하여 특정 작업에 대해 사용자에게 모델 선택권을 제공할 수 있다는 징후도 있다. 그러나 Apple Foundation Models는 개인정보 보호와 통합이 최우선으로 유지되도록 보장하는 Apple AI 전략의 핵심으로 남을 가능성이 높다. 생성형 AI 분야가 진화함에 따라, Apple의 접근 방식은 대형 기술 기업이 AI를 책임감 있고 효율적으로 배포하는 방법의 모델이 될 수 있다.
수용 및 영향
Apple Foundation Models의 도입은 신중한 낙관론으로 맞이받았다. 개인정보 보호 옹호자들은 기기 내 처리와 데이터 최소화에 대한 Apple의 약속을 칭찬했다. 사용자들은 일반적으로 Siri와 시스템 전반의 AI 도구의 개선된 기능을 높이 평가했지만, 일부는 모델이 때때로 오류를 생성하거나 복잡한 질의를 이해하지 못한다고 지적했다. 업계 분석가들은 Apple의 통합 전략이 이러한 기술을 광범위한 비기술적 대중에게 제공함으로써 AI의 주류 채택을 가속화할 수 있다고 지적했다.
비평가들은 Apple의 모델이 원시 지능에서 경쟁사에 뒤처지며, 폐쇄적인 생태계가 혁신을 제한한다고 주장했다. 특정 기능에 대한 OpenAI 의존도는 상이한 개인정보 보호 정책으로 인해 조사 대상이 되기도 했다. 그럼에도 불구하고, Apple Foundation Models는 AI의 민주화에 중요한 이정표를 나타내며, 강력한 모델이 개인정보를 보호하고 에너지 효율적인 방식으로 배포될 수 있음을 보여준다. Apple이 AI 기능을 지속적으로 개선하고 확장함에 따라 그 영향력은 더욱 커질 가능성이 높다.