Llama 유출 및 오픈소스화는 2023년 3월 Meta AI의 LLaMA(Large Language Model Meta AI) 가중치가 BitTorrent를 통해 무단 배포된 사건을 말하며, 이는 AI 접근성의 전환점을 촉발했다. 이 유출로 전 세계 연구자와 개발자들이 모델을 사용하고 수정할 수 있게 되었고, 오픈소스 파생 모델의 급증으로 이어졌으며, 이후 메타가 후속 버전을 더 허용적인 라이선스로 출시하기로 한 결정에 영향을 미쳤다. 이 사건은 텍스트-이미지 분야에서 Stable Diffusion의 출시와 자주 비교되는데, 대규모 언어 모델에 대한 접근을 민주화하고 해당 분야의 혁신을 촉진했기 때문이다.
Meta Platforms의 자회사인 Meta AI는 2023년 2월 LLaMA를 10억에서 2조 매개변수에 이르는 대규모 언어 모델 제품군으로 소개했다. 초기에는 모델 가중치가 비상업적 라이선스 하에 사례별로 학술 연구자에게만 제공되었다. 유출은 이러한 제한을 우회하여 가중치를 공개적으로 접근 가능하게 만들었고, 오픈소스 AI와 그 영향에 대한 더 넓은 논의를 촉발했다.
배경
Llama 유출 이전에는 인공지능 분야가 OpenAI와 같은 기업의 독점 모델에 의해 지배되고 있었으며, OpenAI는 2020년 GPT-3를, 2022년 11월 ChatGPT를 출시했다. ChatGPT의 성공은 대규모 언어 모델의 능력을 부각시키고 경쟁을 심화시켰다. 메타의 수석 AI 과학자 Yann LeCun은 대규모 언어 모델이 글쓰기 보조에 가장 적합하다고 공개적으로 밝히며, 다른 기술 기업들과 차별화된 접근 방식을 취했다.
LLaMA의 개발은 Machine learning 및 Deep learning 분야에서 메타의 더 넓은 연구 노력의 일부였다. 모델은 공개적으로 이용 가능한 데이터로 훈련되었으며, 효율성과 접근성에 중점을 두었다. 메타는 소비자 하드웨어에서 실행될 수 있는 모델을 만드는 것을 목표로 했으며, 이는 상당한 계산 자원을 요구하는 GPT-3와 같은 더 큰 모델보다 더 접근성을 높였다.
초기 출시 및 유출
LLaMA는 2023년 2월 24일 블로그 게시물과 아키텍처 및 성능을 상세히 설명한 논문을 통해 발표되었다. 추론 코드는 오픈소스 GPLv3 라이선스로 출시되었지만, 모델 가중치는 신청 절차를 통해 제한적으로 제공되었다. 메타는 학술 연구자, 정부, 시민 사회 및 산업 연구소에 사례별로 접근 권한을 부여할 것이라고 밝혔다.
2023년 3월 3일, LLaMA 가중치가 포함된 토렌트가 업로드되었고, 링크는 4chan 이미지보드에 공유된 후 온라인 AI 커뮤니티를 통해 확산되었다. 같은 날 공식 Llama 저장소의 풀 리퀘스트가 문서에 마그넷 링크를 추가하도록 요청했다. 3월 4일, 또 다른 풀 리퀘스트가 모델을 호스팅하는 HuggingFace 저장소에 대한 링크를 추가했다. 메타는 3월 6일 배포가 무단이라고 규정하며 삭제 요청을 제기했고, HuggingFace는 이에 따랐다. 3월 20일, 메타는 다운로드 스크립트가 포함된 저장소에 대해 DMCA 삭제 요청을 제기했고, GitHub는 다음 날 이에 따랐다.
유출에 대한 반응은 엇갈렸다. 일부는 정교한 스팸과 같은 잠재적 악용에 대한 우려를 표명했다. 다른 이들은 접근성을 환영하며, 더 작은 버전의 모델이 비교적 저렴하게 실행될 수 있어 추가 연구를 촉진한다고 언급했다. Simon Willison과 같은 평론가들은 Llama를 빠른 도구 확산을 이끈 공개 배포된 텍스트-이미지 모델인 Stable Diffusion과 비교했다.
Llama 2: 개방
2023년 7월 18일, 메타는 Microsoft와 협력하여 Llama 2를 발표했다. 이 버전은 70억, 130억, 700억 매개변수의 세 가지 크기로 제공되었다. 아키텍처는 Llama 1에서 크게 변경되지 않았지만, 훈련 데이터는 40% 증가했다. Llama 2에는 기본 모델과 채팅 미세 조정 버전이 모두 포함되었다. 원본과 달리 모든 모델은 가중치와 함께 상업적 사용이 허용되었지만, 라이선스에는 허용 가능한 사용 정책이 포함되어 Open Source Initiative로부터 "오픈소스"라는 용어에 대한 논쟁을 불러일으켰다.
코드 생성을 위한 Llama 2의 미세 조정 버전인 Code Llama는 2023년 8월 24일 7B, 13B, 34B 크기로 출시되었으며, 2024년 1월 29일 70B 버전이 추가되었다. 훈련에는 추가로 5,000억 토큰의 코드 데이터와 200억 토큰의 장문 컨텍스트 데이터가 사용되었으며, Python 특화 변형은 1,000억 토큰의 Python 코드로 훈련되었다.
Llama 3 및 스케일링 법칙
2024년 4월 18일, 메타는 8B 및 70B 매개변수 크기의 Llama 3를 출시했다. 모델은 약 15조 토큰의 공개 텍스트로 사전 훈련되었으며, 1,000만 개 이상의 인간 주석 예시로 지시 미세 조정되었다. 메타의 테스트에 따르면 Llama 3 70B는 대부분의 벤치마크에서 Gemini Pro 1.5 및 Claude 3 Sonnet을 능가했다. 메타는 다국어 및 다중 모드 기능, 더 나은 코딩 및 추론, 더 큰 컨텍스트 창을 위한 계획을 발표했다.
Llama 3는 성능이 Chinchilla 최적 데이터 양을 넘어서도 로그-선형적으로 계속 확장된다는 것을 보여주었다. 예를 들어, 8B 모델의 최적 데이터셋은 2,000억 토큰이었지만, 성능은 15조 토큰까지 개선되었다. Mark Zuckerberg는 70B 모델이 훈련 종료 시점에도 여전히 학습 중이었으며, GPU 자원을 다른 곳에 할당하기 위해 중단을 결정했다고 언급했다.
Llama 3.1은 2024년 7월 23일에 추가 개선 사항과 함께 출시되었다.
영향 및 파생 모델
Llama의 유출과 이후 오픈소스화는 파생 모델과 도구의 급증으로 이어졌다. 가중치의 접근성 덕분에 연구자들은 특정 작업을 위해 Llama를 미세 조정할 수 있었고, Generative AI 및 Large language model 애플리케이션의 혁신으로 이어졌다. 이 사건은 또한 메타의 전략에 영향을 미쳤으며, 회사는 각 반복에서 더 개방적인 접근 방식을 채택했다.
Stable Diffusion과의 비교는 적절하다. 두 모델 모두 공개 배포되었을 때 창의적 폭발을 촉발했다. Llama의 경우, 유출은 소비자 하드웨어에서 실행될 수 있는 경량 모델의 개발을 가능하게 했으며, 이전에는 대기업에만 제한되었던 AI 기능에 대한 접근을 민주화했다.
AI 접근성에 대한 더 넓은 영향
Llama 유출은 AI 개발에서 독점적 통제와 개방적 접근 사이의 긴장을 부각시켰다. 메타는 처음에 접근을 제한하려 했지만, 유출은 모델 가중치가 한 번 공개되면 통제하기 어렵다는 것을 보여주었다. 이는 OpenAI 및 Anthropic과 같은 다른 AI 기업에도 영향을 미치며, 이들은 다양한 수준의 개방성을 채택했다.
이 사건은 또한 오픈소스 AI에 대한 논쟁에 기여했으며, 지지자들은 개방적 접근이 혁신과 투명성을 촉진한다고 주장하고, 비판자들은 잠재적 오용을 경고했다. OpenPanel 및 기타 조직은 균형 잡힌 정책의 필요성에 대해 의견을 제시했다.
유산 및 미래
2025년 현재, 메타는 2025년 4월 Llama 4를 출시하며 오픈소스화 추세를 이어갔다. 2026년 4월, Meta Superintelligence Labs는 Llama를 대체하는 Muse Spark를 출시하며 새로운 방향을 알렸다. Llama 유출은 커뮤니티 주도 배포의 힘과 첨단 기술 통제의 어려움을 보여주는 AI 역사의 중추적 사건으로 남아 있다.
유출의 유산은 mistral에서 Falcon에 이르는 오픈소스 모델의 번성하는 생태계에서 분명하게 드러나며, 이들은 Llama의 기반 위에 구축되었다. 이 사건은 또한 정책 논의에 영향을 미쳤으며, 정부와 기관은 AI에서 혁신과 안전의 균형을 어떻게 맞출지 고려하고 있다.
결론
Llama 유출 및 오픈소스화는 AI 접근성의 전환점을 표시하며, 제한된 연구 모델을 널리 사용되는 공개 자원으로 변모시켰다. 이 사건은 오픈소스 AI의 발전을 가속화하고 기술의 미래를 형성하는 데 커뮤니티 참여의 중요성을 부각시켰다. AI가 계속 진화함에 따라, Llama 유출의 교훈은 모델 출시 및 거버넌스에 대한 향후 결정에 정보를 제공할 가능성이 높다.