2023년 3월, 메타의 첫 번째 LLaMA 대규모 언어 모델의 모델 가중치가 온라인에 유출되어 비트토렌트 및 기타 플랫폼을 통해 공개적으로 접근할 수 있게 되었다. 이 유출은 모델이 연구자들에게 처음 제한적으로 공개된 직후 발생했으며, 광범위한 개발자 및 연구자 커뮤니티가 모델을 다운로드하고 실행하며 미세 조정할 수 있게 하여 오픈소스 AI 개발을 크게 가속화하고 접근성, 안전성, AI 배포의 미래에 대한 논쟁을 촉발했다.
배경
GPT-3와 같은 대규모 언어 모델의 출시 이후, AI 연구의 주요 초점은 모델 확장이었으며, 일부 사례에서는 창발적 능력의 큰 증가를 보여주었다. ChatGPT의 출시와 그 예상 밖의 성공은 대규모 언어 모델에 대한 관심을 급증시켜 많은 조직이 자체 AI 프로그램을 가속화하도록 만들었다.
ChatGPT에 대한 다른 반응과 비교하여, 메타의 최고 AI 과학자 Yann LeCun은 대규모 언어 모델이 글쓰기를 돕는 데 가장 적합하다고 밝혔다. 메타의 LLaMA 모델 출시 방식은 GPT-3와 ChatGPT의 가중치를 독점적으로 유지한 OpenAI의 방식과 달랐다.
LLaMA의 초기 출시
LLaMA의 첫 번째 버전(LLaMA로 표기되며 때로는 Llama 1로 불림)은 2023년 2월 24일 블로그 게시물과 모델의 훈련, 아키텍처, 성능을 설명하는 논문을 통해 발표되었다. 모델을 실행하는 데 사용되는 추론 코드는 오픈소스 GPLv3 라이선스로 공개적으로 출시되었다. 모델 가중치에 대한 접근은 신청 절차로 관리되었으며, "학술 연구자, 정부, 시민 사회, 학계 조직에 소속된 자, 그리고 전 세계 산업 연구소"에게 사례별로 접근이 허용되었다.
LLaMA는 공개적으로 이용 가능한 정보만으로 훈련되었으며, 다양한 하드웨어에 더 접근하기 쉽도록 여러 모델 크기로 훈련되었다. 이 모델은 순수하게 기반 모델이었지만, 논문에는 지시 미세 조정 버전의 예시가 포함되어 있었다.
메타 AI는 13B 매개변수 모델의 성능이 대부분의 NLP 벤치마크에서 훨씬 더 큰 GPT-3(175B 매개변수)를 능가했으며, 가장 큰 65B 모델은 PaLM 및 Chinchilla와 같은 최첨단 모델과 경쟁력이 있다고 보고했다.
유출
2023년 3월 3일, LLaMA의 가중치가 포함된 토렌트가 업로드되었고, 토렌트 링크는 4chan 이미지보드에 공유된 후 온라인 AI 커뮤니티를 통해 확산되었다. 같은 날, 공식 문서에 마그넷 링크를 추가하라는 요청으로 메인 LLaMA 저장소에 풀 리퀘스트가 열렸다. 3월 4일에는 모델이 포함된 HuggingFace 저장소에 대한 링크를 추가하는 풀 리퀘스트가 열렸다.
3월 6일, 메타는 풀 리퀘스트에 연결된 HuggingFace 저장소를 제거하라는 삭제 요청을 제기하며 이를 모델의 "무단 배포"로 규정했다. HuggingFace는 요청을 준수했다. 3월 20일, 메타는 미러에서 LLaMA를 다운로드하는 스크립트가 포함된 저장소에 대해 저작권 침해로 DMCA 삭제 요청을 제기했고, GitHub는 다음 날 준수했다.
유출에 대한 반응
유출에 대한 반응은 다양했다. 일부는 모델이 더 정교한 스팸과 같은 악의적인 목적으로 사용될 것이라고 추측했다. 다른 이들은 모델의 접근성과 더 작은 버전의 모델을 비교적 저렴하게 실행할 수 있다는 사실을 환영하며, 이것이 추가 연구 개발의 번영을 촉진할 것이라고 제안했다.
Simon Willison을 포함한 여러 평론가들은 LLaMA를 Stable Diffusion과 비교했다. Stable Diffusion은 이전의 유사한 수준의 정교한 모델과 달리 공개적으로 배포된 텍스트-이미지 모델로, 관련 도구, 기술, 소프트웨어의 급속한 확산을 이끌었다. 유출은 사실상 LLaMA를 오픈 가중치 모델로 전환하여 메타의 통제된 접근을 우회하고 커뮤니티 주도의 실험 물결을 가능하게 했다.
오픈소스 AI에 미친 영향
유출은 오픈소스 AI 생태계의 발전을 가속화했다. 몇 주 안에 개발자들은 LoRA 및 QLoRA와 같은 기술을 사용하여 소비자 하드웨어에서 모델을 실행하면서 지시 따르기 및 채팅을 포함한 특정 작업을 위한 LLaMA의 미세 조정 버전을 만들었다. 이는 제한된 접근 하에서는 불가능했을 로컬 챗봇 및 연구 프로젝트를 포함한 도구와 응용 프로그램의 확산으로 이어졌다.
유출은 또한 메타의 이후 출시 전략에 영향을 미쳤다. 유출된 모델의 성공과 커뮤니티 열정은 메타가 2023년 7월에 상업적 사용을 허용하는 더 허용적인 라이선스(제한 사항 포함)로 Llama 2를 출시하는 결정에 기여했을 가능성이 높다. 이는 초기의 사례별 학술 접근에서 더 넓은 공개 출시로의 전환을 의미했지만, 라이선스는 여전히 특정 사용을 금지하여 오픈소스로 간주될 수 있는지에 대한 논쟁을 불러일으켰다.
이후 버전
유출 이후, 메타는 LLaMA 제품군을 계속 개발했다. 2023년 7월 18일, Microsoft와 협력하여 메타는 Llama의 차세대 모델인 Llama 2를 발표했다. 메타는 7, 13, 70억 매개변수의 세 가지 모델 크기로 Llama 2를 훈련하고 출시했다. 모델 아키텍처는 Llama 1과 크게 변경되지 않았지만, 기반 모델 훈련에 40% 더 많은 데이터가 사용되었다.
Llama 2에는 기반 모델과 채팅용 미세 조정 모델이 포함되었다. 원래 버전과의 또 다른 차이점으로, 모든 모델은 가중치와 함께 출시되어 많은 상업적 사용 사례에 사용될 수 있었다. Llama의 라이선스가 특정 목적을 금지하는 허용 가능한 사용 정책을 강제했기 때문에, 엄격한 의미에서 오픈소스는 아니었다. Llama를 설명하는 메타의 "오픈소스" 용어 사용은 오픈소스 정의를 유지하는 Open Source Initiative 및 다른 이들에 의해 논쟁되었다.
코드 특화 데이터셋으로 Llama 2를 미세 조정한 Code Llama는 2023년 8월 24일에 7B, 13B, 34B 매개변수 버전으로 출시되었으며, 70B 버전은 2024년 1월 29일에 출시되었다. Llama 2의 기반 모델에서 시작하여 메타 AI는 추가로 500B 토큰의 코드 데이터셋을 훈련한 다음 20B 토큰의 긴 컨텍스트 데이터를 훈련하여 Code Llama 기반 모델을 만들었다. 이 기반 모델은 지시 미세 조정을 만들기 위해 5B 토큰의 지시 따르기 데이터로 추가 훈련되었다. Python 코드용으로 또 다른 기반 모델이 만들어졌으며, 긴 컨텍스트 데이터 전에 Python 전용 코드 100B 토큰으로 훈련되었다.
2024년 4월 18일, 메타는 8B 및 70B 매개변수의 두 가지 크기로 Llama 3를 출시했다. 모델은 "공개적으로 이용 가능한 소스"에서 수집된 약 15조 토큰의 텍스트로 사전 훈련되었으며, 지시 모델은 "공개적으로 이용 가능한 지시 데이터셋과 1천만 개 이상의 인간 주석 예시"로 미세 조정되었다. 메타 AI의 테스트에 따르면 2024년 4월 기준으로 Llama 3 70B는 대부분의 벤치마크에서 Gemini Pro 1.5 및 Claude 3 Sonnet을 능가했다. 메타는 또한 Llama 3를 다국어 및 다중 모달로 만들고, 코딩 및 추론 능력을 향상시키며, 컨텍스트 창을 늘릴 계획을 발표했다.
스케일링 법칙과 관련하여, Llama 3 모델은 "Chinchilla-최적" 양보다 더 많은 데이터로 훈련될 때 성능이 로그-선형적으로 계속 확장된다는 것을 경험적으로 보여주었다. 예를 들어, Llama 3 8B의 Chinchilla-최적 데이터셋은 2000억 토큰이지만, 성능은 75배 더 큰 15조 토큰 데이터셋까지 로그-선형적으로 계속 확장되었다.
Dwarkesh Patel과의 인터뷰에서 Mark Zuckerberg는 Llama 3의 8B 버전이 가장 큰 Llama 2와 거의 동등한 성능을 보였다고 말했다. 이전 모델과 비교하여, Zuckerberg는 팀이 15T 토큰 훈련이 끝날 때에도 70B 모델이 여전히 학습 중이라는 사실에 놀랐다고 밝혔다. 훈련을 종료하고 GPU 전력을 다른 곳에 집중하기로 결정했다.
Llama 3 출시와 함께, 메타는 Llama를 기반으로 구축된 AI 어시스턴트인 Meta AI를 출시했다. Meta AI는 전용 웹사이트를 보유하고 있으며 Facebook 및 WhatsApp에서 사용할 수 있다. 최신 버전은 2025년 4월에 출시된 Llama 4이다. 2026년 4월, Meta Superintelligence Labs는 다양한 Meta 서비스에서 챗봇을 구동하는 Llama를 대체하는 Muse Spark를 출시했다.
유산
2023년 LLaMA 유출은 오픈소스 AI 역사에서 중추적인 순간으로 널리 간주된다. 이는 접근 가능한 대규모 언어 모델에 대한 수요를 입증했으며 메타와 다른 조직의 전략에 영향을 미쳤다. 유출은 또한 강력한 AI 모델의 배포를 통제하는 과제를 부각시켰으며, 이는 AI 안전 및 거버넌스에 대한 정책 논의를 계속 형성하는 주제이다.
이 사건은 더 넓은 생성형 AI 붐에 기여했으며, LLaMA 가중치의 가용성은 그렇지 않았다면 지연되었을 혁신의 물결을 가능하게 했다. 또한 Llama 2 및 Llama 3와 같은 후속 모델 출시의 선례를 설정했으며, 이는 전 세계 연구자와 개발자에게 기반 도구가 되었다.