Llama 유출은 2023년 3월 Meta AI의 LLaMA(Large Language Model Meta AI) 모델 가중치가 무단 배포된 사건을 가리킨다. 이 사건은 대규모 언어 모델 개발의 전환점이 되었으며, Meta의 통제된 접근 정책을 우회하여 비트토렌트와 HuggingFace를 통해 가중치를 대중에게 공개했다. 유출은 초기 오용 우려에도 불구하고 더 넓은 개발자 및 연구자 커뮤니티가 모델을 실험하고 구축할 수 있게 함으로써 오픈소스 AI 연구를 가속화했다.
유출은 Meta가 2023년 2월 24일 LLaMA를 10억에서 650억 파라미터 범위의 기반 모델 제품군으로 발표한 직후 발생했다. OpenAI의 GPT-3와 같은 당시 모델이 폐쇄적이었던 것과 달리, LLaMA의 가중치는 비상업적 라이선스 하에 학술 연구자에게 제공될 예정이었다. 유출은 접근성을 민주화하여 미세 조정된 변형과 도구의 확산을 이끌었고, 이후 더 개방적으로 출시된 Llama 2와 Llama 3의 Meta 후속 릴리스에 영향을 미쳤다.
배경
2020년대 초, 인공지능 분야는 2022년 11월 OpenAI의 ChatGPT 출시 이후 관심이 급증했다. 이는 기술 기업들 간에 더 강력한 대규모 언어 모델을 개발하기 위한 경쟁을 촉발했다. Meta는 AI 연구 부서인 Meta AI 아래에서 개방형 연구 전략을 추구했지만, 모델 접근에는 제한을 두었다. Meta의 최고 AI 과학자 Yann LeCun은 과대광고에 대해 회의적인 입장을 표명하며, 대규모 언어 모델은 인간 수준의 지능을 달성하기보다 글쓰기를 돕는 데 가장 적합하다고 말했다.
LLaMA 프로젝트는 GPT-3(1750억 파라미터)와 같은 모델의 거대한 규모와 대조적으로, 소비자 하드웨어에서 실행될 수 있는 효율적인 모델을 만드는 것을 목표로 했다. Meta는 공개적으로 이용 가능한 데이터로 LLaMA를 훈련했으며, 트랜스포머 아키텍처를 사용하고 추론 코드를 오픈소스 라이선스로 공개했지만 가중치는 게이트된 상태로 유지했다.
초기 출시와 유출
2023년 2월 24일, Meta AI는 블로그 게시물과 훈련 및 성능을 상세히 설명하는 논문을 통해 LLaMA를 발표했다. 모델은 7B, 13B, 33B, 65B 파라미터 크기로 제공되었다. Meta는 13B 모델이 많은 NLP 벤치마크에서 GPT-3를 능가했으며, 65B 모델은 PaLM 및 Chinchilla와 같은 최첨단 모델과 경쟁력이 있다고 보고했다. 가중치 접근은 학술 연구자, 정부, 시민 사회 및 산업 연구소에 사례별로 부여되었다.
2023년 3월 3일, 가중치가 포함된 토렌트가 업로드되었고, 링크는 4chan에 공유되어 온라인 AI 커뮤니티를 통해 빠르게 퍼졌다. 같은 날, 공식 LLaMA 저장소의 풀 리퀘스트가 문서에 마그넷 링크를 추가하도록 요청했다. 3월 4일, 또 다른 풀 리퀘스트가 모델을 호스팅하는 HuggingFace 저장소에 대한 링크를 추가했다. Meta는 3월 6일 HuggingFace에 삭제 요청을 제출하여 배포가 무단이라고 규정했고, HuggingFace는 이를 준수했다. 3월 20일, Meta는 다운로드 스크립트가 포함된 GitHub 저장소에 대해 DMCA 삭제 요청을 제출했으며, 이는 다음 날 제거되었다.
유출은 엇갈린 반응을 불러일으켰다. 일부는 정교한 스팸이나 허위 정보와 같은 악의적 사용을 우려했다. 다른 이들은 접근성을 환영하며, 더 작은 모델이 적당한 하드웨어에서 실행될 수 있어 연구와 혁신을 촉진한다고 언급했다. Simon Willison과 같은 논평가들은 LLaMA를 빠른 생태계 성장을 촉발한 오픈 텍스트-이미지 모델인 Stable Diffusion에 비유했다. 유출은 사실상 Meta가 출시 전략을 재고하도록 강요했다.
Llama 2
2023년 7월 18일, Meta는 Microsoft와 협력하여 차세대 모델인 Llama 2를 발표했다. Llama 2는 7B, 13B, 70B 파라미터의 세 가지 크기로 출시되었다. 아키텍처는 Llama 1에서 크게 변경되지 않았지만, 훈련 데이터는 40% 증가했다. 원본과 달리 Llama 2는 기반 모델과 채팅용 지시 미세 조정 버전을 모두 포함했다. 모든 모델은 가중치와 함께 출시되었으며, 허용 가능한 사용 정책에 따라 상업적 사용이 허용되었다. 그러나 이 라이선스는 오픈 소스 이니셔티브의 승인을 받지 못해 Llama 2를 오픈소스라고 부를 수 있는지에 대한 논쟁이 이어졌다.
Llama 2의 출시는 부분적으로 유출의 영향을 받아 더 개방적인 배포로의 전환을 의미했다. 이는 미세 조정 모델과 상업적 애플리케이션의 물결을 가능하게 했다. Meta는 또한 코드 생성을 위한 Llama 2의 미세 조정 버전인 Code Llama를 출시했으며, 2023년 8월 24일(7B, 13B, 34B) 및 2024년 1월 29일(70B) 버전이 제공되었다.
Llama 3
2024년 4월 18일, Meta는 8B 및 70B 파라미터 크기의 Llama 3를 출시했다. 이 모델은 약 15조 토큰의 공개적으로 이용 가능한 텍스트로 사전 훈련되었으며, 1천만 개 이상의 인간 주석 예제로 지시 미세 조정되었다. Meta의 벤치마크는 Llama 3 70B가 많은 작업에서 Gemini Pro 1.5 및 Claude 3 Sonnet을 능가함을 보여주었다. Meta는 다국어 및 멀티모달 기능, 더 긴 컨텍스트 창, 개선된 코딩 및 추론 능력에 대한 계획을 발표했다.
Llama 3는 Chinchilla 최적 훈련 데이터 양을 넘어서도 성능이 로그-선형적으로 계속 확장됨을 입증했다. 예를 들어, 8B 모델의 Chinchilla 최적 데이터셋은 2000억 토큰이었지만, 성능은 15조 토큰까지 개선되었다. 인터뷰에서 Mark Zuckerberg는 8B 모델이 가장 큰 Llama 2와 거의 동등한 성능을 보였으며, 70B 모델은 훈련 종료 시점에도 여전히 학습 중이었지만 GPU 자원을 다른 곳에 할당하기 위해 훈련을 중단했다고 언급했다.
Llama 3.1은 2024년 7월 23일에 출시되었으며, 405B 파라미터 모델을 포함한 추가 개선이 이루어졌고, 개방형 가중치 출시 추세를 이어갔다.
오픈소스 AI에 미친 영향
Llama 유출은 오픈소스 AI 운동을 촉매했다. 유출 이전에는 최첨단 LLM에 대한 접근이 소수의 조직으로 크게 제한되었다. 유출은 독립 연구자와 취미 개발자가 로컬에서 모델을 실행하고 미세 조정할 수 있게 하여 모델 가지치기, 데이터 증강, 효율적 추론 분야의 혁신을 이끌었다. 또한 HuggingFace 저장소 및 CPU 기반 추론을 가능하게 한 llama.cpp와 같은 도구와 같은 오픈소스 생태계의 창출에 영감을 주었다.
유출은 또한 Meta가 Llama 2 및 Llama 3에서 볼 수 있듯이 후속 버전에 대해 더 허용적인 라이선스를 채택하도록 압력을 가했다. 이러한 변화는 Mistral AI와 같은 다른 기업들이 개방형 가중치 모델을 출시하도록 영향을 미쳤다. 그러나 AI에서 "오픈소스"가 무엇을 구성하는지에 대한 논쟁은 계속되었으며, 오픈 소스 이니셔티브와 같은 조직은 사용 및 재배포에 대한 제한이 오픈 소스 정의를 위반한다고 주장했다.
반응과 논란
유출에 대한 반응은 양극화되었다. 보안 전문가들은 피싱 이메일 생성이나 허위 정보와 같은 잠재적 오용에 대해 경고했다. 일부 연구자들은 AI의 민주화를 환영하며, 그렇지 않으면 불가능했을 실험을 가능하게 했다고 언급했다. 유출은 또한 강력한 모델 출시의 윤리에 대한 질문을 제기하여 책임 있는 AI 개발에 대한 논의로 이어졌다.
Meta의 유출에 대한 대응은 처음에는 법적 조치였지만, 회사는 결국 개방성을 수용했다. 2024년까지 Meta는 Llama를 OpenAI 및 Google DeepMind의 폐쇄형 모델과 경쟁하는 선도적인 개방형 가중치 모델 제품군으로 자리매김했다. 유출은 또한 디지털 배포를 통제하는 어려움을 강조했는데, 가중치가 공개되면 완전히 철회할 수 없기 때문이다.
유산
Llama 유출은 AI 역사에서 중추적인 사건으로 간주된다. 이는 오픈소스 LLM의 개발을 가속화하여 다양한 모델과 애플리케이션 생태계를 이끌었다. 또한 AI 규제와 개방성과 안전성 간의 균형에 대한 정책 논의에 영향을 미쳤다. 2025년 현재 Llama 모델은 연구 및 산업에서 널리 사용되고 있으며, Meta는 2025년 4월 Llama 4를 포함한 새로운 버전을 계속 출시하고 있다. 2026년 4월, Meta Superintelligence Labs는 Llama를 대체하는 Muse Spark를 출시하여 Meta의 AI 여정의 다음 장을 열었다.
유출은 개방적 접근이 혁신을 주도할 수 있지만 잠재적 피해에 대한 신중한 고려도 필요함을 보여주었다. 이는 디지털 시대에 AI 기술을 관리하는 과제에 대한 사례 연구로 남아 있다.