LLaMA(Large Language Model Meta AI)는 2023년 2월에 처음 출시된 Meta AI가 개발한 대규모 언어 모델 계열이다. 모델 크기는 10억 개에서 2조 개 이상의 매개변수에 이르며, Llama 2, Llama 3, Llama 4를 포함한 다양한 버전으로 출시되었다. 초기에는 기반 모델이었지만, 이후 버전에는 명령어 미세 조정 변형이 포함되었으며, 모델은 일부 상업적 사용을 허용하는 라이선스로 제공되었지만 완전한 오픈 소스는 아니다.
LLaMA의 출시는 생성형 AI의 민주화에 중요한 진전을 의미했으며, OpenAI의 GPT 시리즈와 같은 독점 모델에 대한 강력한 대안을 제공했다. 특히 첫 번째 버전의 무단 유출 이후 공개 배포는 AI 커뮤니티에서 연구와 개발의 물결을 촉발했다.
배경
GPT-3와 같은 모델의 출시 이후, AI 연구 커뮤니티는 모델 확장에 집중했으며, 이는 창발적 능력으로 이어졌다. 2022년 말 ChatGPT의 출시는 대규모 언어 모델에 대한 관심을 더욱 증폭시켰다. Meta의 최고 AI 과학자인 Yann LeCun은 대규모 언어 모델이 특히 글쓰기 작업을 돕는 데 유용하다고 언급하며, LLaMA를 이러한 응용 프로그램을 위한 도구로 자리매김했다.
초기 출시 및 유출
LLaMA의 첫 번째 버전은 2023년 2월 24일 블로그 게시물과 훈련, 아키텍처, 성능을 상세히 설명하는 논문을 통해 발표되었다. 추론 코드는 오픈 소스 GPLv3 라이선스로 공개되었지만, 모델 가중치에 대한 접근은 사례별로 학술 연구자와 산업 연구소로 제한되었다. Meta는 공개 데이터를 사용하여 7B에서 65B 매개변수에 이르는 다양한 크기의 모델을 훈련했으며, 다양한 하드웨어에서 접근할 수 있도록 하는 것을 목표로 했다.
2023년 3월 3일, LLaMA의 가중치가 포함된 토렌트가 4chan에 업로드되었고, 링크는 온라인 AI 커뮤니티를 통해 퍼졌다. 이 무단 유출은 광범위한 접근성을 가져왔으며, Meta는 HuggingFace 저장소와 GitHub 스크립트에 대한 삭제 요청을 제기했다. 반응은 엇갈렸다. 일부는 오용을 우려했지만, 다른 이들은 Stable Diffusion의 공개 출시가 혁신을 가속화한 것과 비교하며 접근성을 환영했다.
Llama 2
2023년 7월 18일, Meta는 Microsoft와 협력하여 Llama 2를 발표하고 70억, 130억, 700억 개의 매개변수를 가진 모델을 출시했다. 아키텍처는 Llama 1에서 크게 변경되지 않았지만, 훈련 데이터는 40% 증가했다. Llama 2에는 기반 모델과 채팅 미세 조정 모델이 모두 포함되었으며, 가중치는 많은 상업적 용도로 공개되었지만 라이선스의 허용 가능한 사용 정책으로 인해 완전한 오픈 소스는 아니었다. 코드용 미세 조정 모델인 Code Llama는 2023년 8월과 2024년 1월에 출시되었다.
Llama 3 및 이후
2024년 4월 18일, Meta는 약 15조 개의 토큰으로 사전 훈련된 8B 및 70B 매개변수 크기의 Llama 3를 출시했다. 이 모델은 많은 벤치마크에서 Gemini Pro 1.5와 Claude 3 Sonnet을 능가하는 강력한 성능을 보여주었다. Meta는 또한 다국어 및 다중 모달 기능에 대한 계획을 발표했다. Llama 3.1은 2024년 7월 23일에 이어졌고, Llama 4는 2025년 4월에 출시되었다. 2026년 4월, Meta Superintelligence Labs는 Llama를 대체하는 Muse Spark를 도입했다.
영향 및 평가
LLaMA 계열은 AI 생태계에 깊은 영향을 미쳐 연구자와 개발자가 강력한 오픈 모델을 기반으로 구축할 수 있게 했다. 그 출시는 오픈 소스 라이선스와 모델 배포의 윤리에 대한 논쟁을 촉발했으며, 동시에 활기찬 도구와 응용 프로그램 커뮤니티를 조성했다.