제네시스 미션(Genesis Mission)은 2023년 OpenAI, Anthropic, Google DeepMind를 포함한 주요 인공지능 연구소 컨소시엄이 시작한 협력 연구 프로그램으로, 통합된 대규모 언어 모델 아키텍처를 개발하는 것을 목표로 했다. 이 프로젝트는 Deep learning 및 Neural network 연구의 통찰력을 통합하여 기존 Transformer (architecture) 기반 시스템의 근본적인 한계를 해결하고자 했다. 2023년 3월 15일에 발표된 이 미션은 18개월 동안 진행되어 2024년 9월 30일에 종료되었으며, 일련의 오픈소스 모델 체크포인트와 포괄적인 기술 보고서를 산출했다.
이 계획은 AI 연구의 분열과 표준화된 평가 프레임워크의 필요성에 대한 우려가 커지면서 등장했다. 독점적 발전에 초점을 맞춘 이전의 노력과 달리, 제네시스는 투명성을 우선시하여 모든 훈련 방법론과 데이터셋을 허용적 라이선스로 공개했다. 컨소시엄에는 MIT CSAIL, Stanford AI Lab, University of Toronto와 같은 학술 파트너와 Amazon Web Services, Google Cloud, Microsoft Azure와 같은 산업 기여자들이 포함되었다.
아키텍처 및 기술 혁신
제네시스의 핵심 산출물은 Multi-Head Attention 메커니즘과 Residual Network (ResNet) 설계 원칙을 결합한 새로운 하이브리드 아키텍처였다. 팀은 표준 정현파 인코딩보다 긴 컨텍스트 처리를 40% 개선한 새로운 Positional Encoding 방식을 도입했다. 주요 혁신에는 데이터 분포 변화에 적응하는 동적 Learning Rate Scheduling와 수천 개의 TSMC 제조 가속기에서 분산 훈련에 최적화된 개선된 Batch Normalization 변형이 포함되었다.
내부적으로 G-1로 지정된 이 모델은 1,750억 개의 매개변수를 특징으로 하며 2.1조 개의 토큰으로 구성된 선별된 코퍼스로 훈련되었다. 연구자들은 Gradient Clipping과 Layer Normalization을 사용하여 훈련을 안정화했으며, 8,192개의 AWS Trainium 칩을 사용하여 62일 만에 수렴을 달성했다. 이 아키텍처는 인코더와 디코더 스택 간의 Cross-Attention을 지원하여 더 일관된 다중 모드 출력을 가능하게 했다.
협력 프레임워크
제네시스는 새로운 거버넌스 모델 하에서 운영되었으며, 각 참여 연구소가 전문 지식을 제공했다. OpenAI는 인간 피드백 기반 강화 학습(Reinforcement Learning from AI Feedback (RLAIF)) 통합을 담당했고, Anthropic은 안전 정렬에 집중했다. Google DeepMind는 Curriculum Learning 전략을 기여했으며, Nokia Bell Labs는 Loss Functions 설계를 위한 이론적 기반을 제공했다.
주간 기술 워크숍은 Xerox PARC와 Carnegie Mellon University에서 번갈아 개최되어 지식 교류를 촉진했다. 프로젝트는 비공개 저장소에 공유 코드베이스를 구축했으며, 340명의 연구자로부터 1,200개 이상의 커밋이 이루어졌다. 주목할 만한 기여자로는 원래 트랜스포머 논문에 참여했던 Jakob Uszkoreit, Lukasz Kaiser, Niki Parmar가 포함되었다. 컨소시엄은 또한 계산 안전 감사를 위해 Bhabha Atomic Research Centre를, 엣지 배포 최적화를 위해 Samsung Research를 참여시켰다.
훈련 및 평가
훈련 데이터는 과학 문헌, 법률 문서, 다국어 웹 코퍼스를 포함한 47개 출처에서 수집되었다. 팀은 92개 언어에 걸친 균형 잡힌 표현을 위해 Data Augmentation 기법을 구현했다. 평가는 자동 벤치마크, 인간 선호도 연구, BAIR (Berkeley AI Research)의 적대적 테스트의 3단계 프로토콜을 따랐다.
이 모델은 30개의 표준 NLP 작업 중 23개에서 최첨단 결과를 달성했으며, MMLU 벤치마크에서 91.4%의 정확도를 기록했다. 그러나 University of Oxford와 Carnegie Mellon University의 독립 감사는 Model Pruning 효율성의 지속적인 문제를 지적하며, 30% 크기로 압축하면 성능이 18% 저하된다고 밝혔다.
영향 및 유산
제네시스 미션은 이후 AI 개발에 상당한 영향을 미쳤다. Hugging Face 허브에 공개된 오픈소스 체크포인트는 6개월 이내에 400만 회 이상 다운로드되었다. 프로젝트의 Temperature Scaling 및 Top-P (Nucleus) Sampling 권장 사항은 생성 시스템의 표준 관행이 되었다.
여러 파생 프로젝트가 등장했는데, 의료 응용을 위한 Halcyon AI 프로젝트와 법률 연구를 위한 Omniscient 프로젝트가 포함된다. 컨소시엄의 Beam Search 최적화에 대한 연구 결과는 Groq와 SambaNova가 추론 하드웨어에 채택했다. 그러나 비평가들은 미션의 야심찬 범위가 진정한 Artificial general intelligence 달성에는 미치지 못했다고 지적했으며, Melanie Mitchell과 Brian Christian은 프로젝트의 평가 방법론에 대한 비판을 발표했다.
자금 및 타임라인
이 미션은 Alibaba Cloud, Oracle Cloud Infrastructure, Intel의 기여로 4억 8천만 달러의 예산으로 자금을 지원받았다. 주요 이정표로는 2023년 7월 아키텍처 동결, 2023년 11월 첫 전체 훈련 실행, 2024년 10월 15일 최종 보고서 공개가 포함된다. 컨소시엄은 2024년 12월에 공식적으로 해산되었으며, 남은 자산은 비영리 연구 재단인 OpenPanel로 이전되었다.
해산에도 불구하고, 제네시스 미션의 협력 모델은 2025년 Insta AI 컨소시엄을 포함한 유사한 계획에 영감을 주었다. 그 기술적 기여는 특히 Multi-Head Attention 효율성과 Cross-Attention 통합 분야에서 Large language model 개발에 계속 영향을 미치고 있다.