LLaMA 3는 2024년 4월 18일 Meta AI가 출시한 대규모 언어 모델 제품군이다. 이는 Llama 시리즈의 3세대 모델로, Llama 2의 후속작이며, 초기에는 80억 개와 700억 개의 매개변수라는 두 가지 모델 크기로 제공되었다. 이 모델들은 공개 출처의 약 15조 개 토큰 텍스트로 사전 학습되었으며, 지시 조정 버전은 공개 지시 데이터 세트와 1,000만 개 이상의 인간 주석 예제로 미세 조정되었다. LLaMA 3는 많은 벤치마크에서 Gemini Pro 1.5 및 Claude 3 Sonnet과 같은 독점 모델과 경쟁력 있는 성능을 입증했으며, Meta는 다국어, 다중 모달 지원 및 코딩과 추론 능력 향상을 위한 계획을 발표했다.
배경
LLaMA 3의 개발은 생성형 AI의 급속한 발전 속에서 이루어졌으며, 이는 OpenAI의 ChatGPT 성공과 초기 Llama 모델 출시에 뒤이은 것이었다. Meta의 최고 AI 과학자 Yann LeCun은 대규모 언어 모델이 글쓰기 지원에 가장 적합하다고 밝혔으며, 이는 실용적 응용에 대한 Meta의 초점을 반영한다. Llama 시리즈는 2023년 2월 원래 LLaMA로 시작되었으며, 초기에는 비상업적 라이선스 하에 연구자에게만 제공되었다. BitTorrent를 통한 무단 가중치 유출 이후, Llama 2를 포함한 후속 버전은 상업적 사용이 허용되며 더 접근성이 높아졌다.
모델 아키텍처 및 학습
LLaMA 3는 이전 Llama 모델에서 사용된 트랜스포머 아키텍처를 유지하지만, 학습 데이터 규모와 품질에서 개선이 이루어졌다. 모델은 15조 개 토큰으로 학습되었으며, 이는 해당 크기에 대한 Chinchilla 최적량보다 훨씬 많은 양이다. 예를 들어, 8B 모델의 Chinchilla 최적 데이터 세트는 2,000억 개 토큰이지만, 성능은 그 75배까지 로그-선형적으로 계속 확장되었다. 이 경험적 발견은 이전에 최적으로 간주된 것보다 더 큰 데이터 세트로 학습하는 이점을 강조했다. 70B 모델은 학습 종료 시점에도 여전히 학습 중이었지만, Meta는 GPU 자원을 다른 곳에 할당하기 위해 학습을 중단하기로 결정했다. 모델은 Adam 최적화기 및 딥러닝에서 일반적인 기타 기법을 사용하여 학습되었다.
출시 및 이용 가능성
LLaMA 3는 2024년 4월 18일에 출시되었으며, 기본 모델과 지시 조정 버전 모두에 대한 가중치가 제공되었다. 원래 LLaMA가 사례별 승인을 요구했던 것과 달리, LLaMA 3는 상업적 사용을 허용하는 라이선스 하에 제공되었지만, 일부에서는 진정한 오픈 소스가 아니라고 주장하는 허용 가능한 사용 정책이 포함되었다. 출시에는 LLaMA 3 기반 어시스턴트인 Meta AI 전용 웹사이트와 Facebook 및 WhatsApp 통합이 포함되었다. Meta는 또한 더 큰 모델과 확장된 기능에 대한 향후 계획을 발표했다.
성능 및 평가
Meta의 내부 테스트에서 LLaMA 3 70B는 대부분의 벤치마크에서 Google DeepMind의 Gemini Pro 1.5 및 Anthropic의 Claude 3 Sonnet을 능가했다. Mark Zuckerberg는 8B 모델이 가장 큰 Llama 2 모델과 거의 동등한 성능을 보인다고 보고했다. 출시는 AI 커뮤니티에서 높은 성능의 모델을 공개적으로 제공한 점에 대해 많은 찬사를 받았다. 그러나 일부 평론가들은 라이선스 제한으로 인해 완전한 오픈 소스가 아니라고 지적했으며, 이는 Open Source Initiative에서도 제기된 문제였다. LLaMA 3의 성공은 오픈 가중치 모델의 확산에 기여했으며, 2024년 7월 Llama 3.1 및 2025년 4월 Llama 4를 포함한 후속 출시에 영향을 미쳤다.
영향 및 유산
LLaMA 3의 출시는 오픈 가중치 모델이 독점 시스템에 도전하는 추세를 강화했다. 학습 데이터 규모와 성능은 모델 개발에서 데이터 양의 중요성을 입증했다. 이 모델은 Hugging Face와 같은 플랫폼 및 AWS 및 Azure와 같은 클라우드 서비스를 통해 제공되어 광범위한 채택을 촉진했다. 2026년 4월, Meta Superintelligence Labs는 Llama를 대체하는 Muse Spark를 출시하며 Llama 시리즈의 종말을 알렸다. 그럼에도 불구하고, LLaMA 3는 인공지능 및 머신러닝 발전에 있어 중요한 이정표로 남아 있다.