메타 라마 유출(Meta Llama leak)은 대규모 언어 모델 계열인 LLaMA(Large Language Model Meta AI)의 모델 가중치가 승인되지 않은 상태로 배포된 사건을 가리킨다. 이 모델은 메타 AI가 개발했다. 2023년 3월 3일, 가중치가 포함된 토렌트가 4chan에 업로드되어 공유되었으며, 메타가 당초 사례별 접근 정책을 시행했음에도 불구하고 모델이 공개적으로 접근 가능해졌다. 이 유출은 오픈소스 AI 커뮤니티에 중요한 영향을 미쳤으며, 광범위한 실험을 촉발하고 메타가 이후 라마 2를 보다 허용적인 라이선스로 출시하는 결정에 영향을 주었다.
LLaMA는 2023년 2월 24일, 70억 개에서 650억 개의 매개변수에 이르는 일련의 기반 모델로 발표되었다. 메타는 이를 연구 도구로 포지셔닝하며 학술 연구자와 산업 연구소에만 접근을 허용했다. 이 유출은 이러한 제한을 우회하여 전 세계 개발자들이 소비자용 하드웨어에서 모델을 실행하고 미세 조정할 수 있게 했으며, 이는 강력한 AI 시스템의 접근성에 대한 혁신과 논쟁의 물결을 촉발했다.
배경
2020년대 초, GPT-3의 출시와 2022년 11월 ChatGPT의 등장은 대규모 언어 모델의 역량을 부각시켰다. 연구자들은 추론 및 번역과 같은 창발적 능력을 관찰하며 모델 확장에 집중했다. 메타의 최고 AI 과학자 얀 르쿤은 LLM의 지배력에 대해 회의적인 입장을 표명하며, 이들이 일반 지능보다는 글쓰기 지원에 가장 적합하다고 제안했다. 그럼에도 불구하고 메타는 자체 LLM 연구를 진행하여 LLaMA를 만들었다.
초기 출시 및 접근 정책
LLaMA의 첫 버전은 블로그 게시물과 훈련, 아키텍처, 성능을 상세히 설명한 논문을 통해 소개되었다. 추론 코드는 GPLv3로 오픈소스화되었지만, 가중치는 신청 절차를 통해 게이트되었다. 메타는 학술 연구자, 정부 기관, 산업 연구소에 사례별 승인을 통해 접근을 제공하는 것을 목표로 했다. 모델은 공개적으로 이용 가능한 데이터로 훈련되었으며, 메타는 130억 매개변수 버전이 많은 벤치마크에서 GPT-3를 능가하고, 650억 매개변수 모델이 PaLM 및 Chinchilla와 같은 최첨단 시스템에 필적한다고 보고했다.
유출
2023년 3월 3일, LLaMA의 가중치가 포함된 토렌트가 업로드되었고, 링크가 4chan에 공유된 후 AI 커뮤니티 전반으로 퍼졌다. 며칠 내에 공식 Llama 저장소의 풀 리퀘스트에 마그넷 링크와 모델을 호스팅하는 HuggingFace 저장소가 추가되었다. 메타는 3월 6일 HuggingFace에 무단 배포를 이유로 삭제 요청을 제기했고, 3월 20일 GitHub 저장소에 대해 DMCA 요청을 제기했다. 유출은 널리 논의되었으며, 일부는 악의적 사용을 우려했고 다른 이들은 AI의 민주화를 환영했다. 논평가들은 이 사건을 생성 AI 개발을 유사하게 가속화한 Stable Diffusion의 출시와 비교했다.
오픈소스 AI에 미친 영향
이 유출은 연구자와 취미 개발자들이 다양한 작업을 위해 LLaMA를 미세 조정할 수 있게 하여 생성 AI 애플리케이션의 빠른 발전을 이끌었다. 더 작은 모델은 소비자용 GPU에서 실행될 수 있어 진입 장벽을 낮췄다. 이 기간 동안 수많은 미세 조정 변형과 도구가 등장하여 활기찬 생태계를 조성했다. 유출은 또한 메타가 배포 전략을 재고하도록 압력을 가했는데, 이미 비밀이 새어 나갔기 때문이다.
라마 2 및 상업화
2023년 7월 18일, 메타는 마이크로소프트와 협력하여 라마 2를 발표하고 70억, 130억, 700억 매개변수 모델을 출시했다. 원본과 달리 라마 2는 기반 모델과 채팅 튜닝 버전을 모두 포함했으며, 가중치는 맞춤형 라이선스 하에 상업적 사용이 가능하게 되었다. 그러나 이 라이선스는 허용 가능한 사용 제한을 부과했으며, 이로 인해 오픈 소스 이니셔티브는 메타의 "오픈소스" 용어 사용에 이의를 제기했다. 라마 2는 이전 모델보다 40% 더 많은 데이터로 훈련되었으며, 그 출시는 더 넓은 접근성으로의 전환을 의미했다.
프로그래밍 전용 특수 변형인 코드 라마는 2023년 8월 24일에 70억, 130억, 340억 크기로 출시되었고, 2024년 1월 29일에 700억 버전이 뒤따랐다. 이 모델들은 코드 데이터 세트로 미세 조정되었으며 코딩 작업에서 향상된 성능을 보여주었다.
라마 3 및 이후
2024년 4월 18일, 메타는 약 15조 토큰으로 훈련된 80억 및 700억 매개변수 크기의 라마 3을 출시했다. 이 모델들은 많은 벤치마크에서 Gemini Pro 1.5 및 Claude 3 Sonnet과 같은 경쟁사를 능가하는 강력한 성능을 보여주었다. 특히 라마 3은 훈련 데이터가 친칠라 최적량을 초과했을 때도 성능이 계속 향상된다는 것을 입증했으며, 이는 확장 관행에 영향을 미쳤다. 마크 저커버그는 80억 모델이 가장 큰 라마 2에 거의 필적했고, 700억 모델은 훈련 종료 시점에도 여전히 학습 중이었다고 언급했다.
라마 3.1은 2024년 7월 23일에 이어졌으며, 4050억 매개변수 모델과 확장된 컨텍스트 창을 도입했다. 메타는 또한 라마를 기반으로 한 어시스턴트인 메타 AI를 출시하여 페이스북과 왓츠앱에 통합했다. 최신 버전인 라마 4는 2025년 4월에 도착했지만, 2026년 4월 메타 슈퍼인텔리전스 랩스는 후속 모델로 뮤즈 스파크를 출시하여 새로운 방향을 알렸다.
유산 및 논란
이 유출은 기업 통제와 공개 접근 사이의 긴장을 부각시킨 AI 역사의 중추적 순간으로 남아 있다. 이는 오픈소스 운동을 가속화하여 로컬 LLM과 Ollama 및 LM Studio와 같은 도구의 확산을 이끌었다. 그러나 가중치가 스팸이나 허위 정보에 사용될 수 있기 때문에 오용에 대한 우려도 제기했다. 메타의 이후 출시는 개방성과 안전성의 균형을 맞추려 했지만, AI에서 "오픈소스"가 무엇을 의미하는지에 대한 논쟁은 계속되고 있다.
같이 보기
참고 문헌
이 문서는 유출 및 이후 출시 당시의 공개 정보와 보고서를 기반으로 작성되었다.