Llama 3.2는 2024년 9월 25일에 출시된 Meta AI가 개발한 대규모 언어 모델 제품군입니다. 이 제품군에는 온디바이스 애플리케이션용으로 설계된 밀집 모델(1B 및 3B 파라미터)과 텍스트 및 이미지 입력을 지원하는 멀티모달 기능을 갖춘 대형 모델(11B 및 90B 파라미터)이 포함됩니다. 모델은 연구 및 상업적 사용 모두를 위한 허용적 라이선스로 제공되며, 소형 변형은 스마트폰과 노트북 같은 엣지 디바이스에 최적화되어 있습니다.
Llama 3.2의 출시는 이전 Llama 3.1 모델에 이어 Llama 시리즈의 중요한 확장을 의미했습니다. 11B 및 90B 변형은 비전 이해 기능을 통합하여 이전 Llama 버전에는 없던 이미지와 텍스트를 함께 처리할 수 있습니다. 특히 1B 및 3B 모델은 소비자 하드웨어에서 효율적으로 실행되도록 설계되었으며, 3B 모델은 특정 벤치마크에서 더 큰 모델과 비교할 수 있는 성능을 달성합니다.
아키텍처 및 훈련
Llama 3.2 모델은 Transformer (architecture) 아키텍처를 기반으로 하며, 추론 효율성을 개선하기 위해 그룹 쿼리 어텐션(GQA)을 사용하는 디코더 전용 설계를 활용합니다. 비전-언어 모델(11B 및 90B)은 이미지를 토큰으로 처리하는 비전 인코더를 통합하며, 이 토큰은 텍스트 임베딩과 융합됩니다. 훈련에는 텍스트 전용 및 멀티모달 데이터의 조합이 포함되었으며, RLHF 및 지도 미세 조정과 같은 고품질 지시 튜닝 및 정렬 기술에 중점을 두었습니다.
소형 모델(1B 및 3B)은 128,000 토큰의 컨텍스트 길이로 훈련되었으며, 대형 모델은 텍스트에 대해 최대 128,000 토큰과 이미지 입력용 별도 비전 타워를 지원합니다. 모델은 128,000 토큰의 어휘 크기를 사용하며 안정성을 위해 레이어 정규화 및 드롭아웃을 사용합니다.
성능 및 벤치마크
Llama 3.2 모델은 MMLU, GSM8K 및 HumanEval을 포함한 다양한 공개 벤치마크에서 평가되었습니다. 90B 모델은 일반 지식, 추론 및 코딩 작업에서 OpenAI의 GPT-4 및 Anthropic의 Claude 3.5 Sonnet과 같은 선도 모델에 대해 경쟁력 있는 결과를 달성합니다. 3B 모델은 작은 크기에도 불구하고 지시 따르기 및 요약 작업에서 많은 대형 모델을 능가하여 온디바이스 애플리케이션에 적합합니다.
내부 평가에서 90B 모델은 MMLU에서 86.0, GSM8K에서 94.1, HumanEval에서 89.1을 기록했으며, 11B 모델은 MMLU에서 83.0, GSM8K에서 88.4, HumanEval에서 84.9를 달성했습니다. 이러한 결과는 아키텍처의 효율성을 강조하며, 90B 모델은 일부 작업에 혼합 전문가(MoE) 설계를 사용하지만 표준 밀집 버전도 제공됩니다.
배포 및 생태계
Llama 3.2 모델은 AWS, Microsoft Azure, Google Cloud 및 Oracle Cloud를 포함한 주요 클라우드 플랫폼에 통합되어 있습니다. 또한 Groq, SambaNova 및 Intel과 같은 하드웨어 제공업체에서 지원하여 저지연 추론을 가능하게 합니다. 소형 모델은 메모리 사용량을 줄이기 위한 양자화 및 가지치기 기술을 지원하여 엣지 배포에 최적화되어 있습니다.
Meta AI는 Qualcomm 및 Samsung과 협력하여 스마트폰에서 온디바이스 AI 기능을 구현하고 있으며, 1B 및 3B 모델을 요약 및 텍스트 생성과 같은 작업에 활용합니다. 모델은 Hugging Face 허브를 통해 제공되며 PyTorch 및 TensorFlow와 같은 표준 프레임워크를 사용하여 미세 조정할 수 있습니다.
수용 및 영향
Llama 3.2는 생성형 AI 커뮤니티에서 널리 채택되었으며, 많은 개발자가 프로토타이핑 및 엣지 애플리케이션에 소형 모델을 사용하고 있습니다. 90B 비전 모델의 출시는 문서 이해 및 시각적 질문 응답과 같은 복잡한 멀티모달 작업을 처리하는 능력으로 주목받았습니다. 그러나 일부 비평가들은 모델이 다른 대규모 언어 모델과 유사하게 사실적 정확성 및 편향성에서 여전히 과제를 겪고 있다고 지적합니다.
Llama 3.2의 오픈 가중치 접근 방식은 고급 AI에 대한 접근성을 민주화한 것으로 칭찬받았지만, 잠재적 오용에 대한 우려도 제기했습니다. Meta는 위험을 완화하기 위해 레드팀 테스트 및 콘텐츠 필터링을 포함한 안전 조치를 구현했습니다.
향후 방향
Meta는 Llama 3.2가 지속적인 개발 주기의 일부이며 추론, 다국어 지원 및 효율성의 추가 개선 계획이 있다고 밝혔습니다. 회사는 또한 Stanford AI Lab 및 Berkeley AI Research과 같은 학술 기관의 신경망 연구와의 통합을 탐구하고 있습니다. 2025년 현재 모델은 오픈 가중치 AI의 벤치마크로 남아 있으며, 다른 조직의 후속 출시에 영향을 미치고 있습니다.