LLaMA 2(스타일 표기: LLaMa 2)는 2023년 7월 18일 Meta AI가 Microsoft와 협력하여 출시한 대규모 언어 모델 제품군이다. 이는 원래 LLaMA 모델의 후속작으로, 모델 가중치를 상업적 용도로 사용할 수 있게 한 점에서 주목을 받았으며, 이전 버전의 연구 목적 전용 제한에서 벗어난 것이었다. 출시에는 기본 모델과 지시 미세 조정된 채팅 변형이 포함되었으며, 크기는 70억, 130억, 700억 개의 매개변수로 제공되었다.
모델 아키텍처는 LLaMA 1에서 크게 변경되지 않았지만, 훈련 데이터는 40% 증가했다. LLaMA 2는 공개적으로 이용 가능한 데이터로 훈련되었으며, 채팅 버전은 RLHF(인간 피드백 기반 강화 학습)와 같은 기법을 사용하여 미세 조정되었다. 모델은 상업적 사용을 허용하지만 허용 가능한 사용 정책을 부과하는 맞춤형 라이선스로 배포되었으며, 이로 인해 오픈소스 소프트웨어로 간주될 수 있는지에 대한 논쟁이 발생했다.
배경
2022년 말 ChatGPT의 출시와 빠른 인기는 생성형 AI와 대규모 언어 모델에 대한 관심을 증폭시켰다. Meta의 수석 AI 과학자인 Yann LeCun은 이전에 이러한 모델이 글쓰기 지원에 가장 적합하다고 밝히며, Meta의 접근 방식을 더 넓은 AI 환경 내에 위치시켰다.
2023년 2월 24일에 발표된 LLaMA 1은 10억에서 650억 개의 매개변수 범위의 기본 모델 제품군이었다. 그 가중치는 처음에는 비상업적 라이선스 하에 사례별로 연구자에게만 제공되었다. 2023년 3월, LLaMA 1의 무단 복사본이 BitTorrent와 HuggingFace를 통해 유출되었고, Meta는 삭제 요청을 제기했다. 이 유출은 빠른 커뮤니티 혁신을 촉발한 Stable Diffusion의 공개 배포와 비교되었다.
출시 및 특징
LLaMA 2는 2023년 7월 18일에 발표되었으며, 7B, 13B, 70B의 세 가지 매개변수 크기로 제공되었다. 기본 모델은 LLaMA 1보다 40% 증가한 2조 개의 토큰으로 구성된 공개 데이터로 훈련되었다. 채팅 모델은 100만 개 이상의 인간 주석으로 미세 조정되었으며, RLHF를 사용하여 응답을 사용자 의도에 맞게 조정했다.
LLaMA 2의 라이선스는 상업적 사용을 허용했지만, 다른 대규모 언어 모델을 개선하는 데 사용하는 것을 금지하는 등의 제한 사항을 포함했다. 이로 인해 오픈소스 이니셔티브는 Meta가 이 용어를 사용했음에도 불구하고 LLaMA 2가 진정한 오픈소스가 아니라고 주장했다.
상업 및 생태계 영향
LLaMA 2의 상업적 가용성은 OpenAI와 Anthropic의 독점 모델에 대한 대안을 찾는 스타트업과 기업에게 인기 있는 선택이 되게 했다. 이는 Amazon Web Services(AWS), Azure, Google Cloud 플랫폼에 통합되어 관리형 서비스를 통한 배포를 가능하게 했다. 70B 모델은 특히 벤치마크 성능에서 주목을 받았으며, 종종 더 큰 독점 모델과 견줄 만한 성능을 보였다.
2023년 8월, Meta는 코드 생성에 특화된 LLaMA 2의 미세 조정 버전인 Code Llama를 출시했으며, 크기는 7B, 13B, 34B, 그리고 나중에는 70B로 제공되었다. 이는 소프트웨어 개발 작업에 대한 LLaMA 2의 적용 범위를 확장했다.
후속 모델 및 유산
LLaMA 2는 2024년 4월 18일에 LLaMA 3로 대체되었으며, 15조 개의 토큰으로 훈련된 8B 및 70B 모델을 도입했다. LLaMA 3는 Chinchilla 최적 훈련 데이터 양을 초과해도 성능이 계속 향상된다는 것을 보여주었으며, 이는 확장 관행에 영향을 미쳤다. LLaMA 3.1은 2024년 7월 23일에 405B 매개변수 모델로 이어졌고, LLaMA 4는 2025년 4월에 출시되었다.
2026년 4월, Meta Superintelligence Labs는 LLaMA를 대체하는 Muse Spark를 도입하여 Meta의 AI 모델 전략에 전환점을 마련했다. LLaMA 2는 상업적 접근성에 대한 선례를 세우고 생성형 AI 생태계를 형성한 오픈 가중치 대규모 언어 모델 역사에서 중요한 이정표로 남아 있다.