로렌스 아이그너는 Google DeepMind에 소속된 연구 과학자로, 대규모 언어 모델의 효율성과 확장성을 개선하는 연구를 수행하고 있다. 그의 연구는 트랜스포머 기반 아키텍처의 계산 및 데이터 요구 사항을 이해하는 데 초점을 맞추며, 고급 AI 시스템 훈련의 환경 및 재정적 비용을 줄이는 데 중점을 둔다. 아이그너의 작업은 머신 러닝 이론과 실용적 엔지니어링의 교차점에 위치하며, 더 적은 자원으로 높은 성능을 달성하는 모델을 위한 방법에 기여한다.
아이그너의 AI 연구 경력은 2010년대 중반, 신경망과 최적화를 전문화한 컴퓨터 과학 대학원 과정 이후 시작되었다. 그는 2019년에 DeepMind에 합류했으며, 당시 연구소는 대규모 학습 실행 노력을 확장하는 중이었다. 그의 활동 초기에 그는 모델 프루닝과 교과 과정 학습과 관련된 프로젝트에 참여했으며, 이는 후기 데이터 사전 처리 학습에 영향을 미쳤고, 그의 기여는 내부 기술 보고서와 동료 심사 학술지에서 인용되었지만, 그는 학계에서 뚜렷한 인물들에 비해 상대적으로 낮은 공개 프로필을 유지했다.
스케일링 법칙과 신치라 페이퍼
아이그너는 특히 2022년 논문 “학습 계산 최적화 대규모 언어 모델” - 통상 신치라 페이퍼라고 부름 - 의 언어 모델에 대한 스케일링 법칙 연구로 잘 알려져 있다. 이 작업은 DeepMind의 연구자들이 주도했으며, 대부분의 기존 대규모 모델이 학습 데이터에 비해 상당히 과잉 매개변수화 되었음을 확립했다. 이 연구은 신치라 모델인 70억 매개변수를 가진 Transformer (architecture)를 도입하여, 동일한 계산 예산을 사용하면서도 Gopher(280B 매개변수)와 GPT-3(175B 매개변수)와 같은 더 큰 모델을 여러 벤치마크에서 능가했다.
이 페이퍼의 핵심 결과는 주어진 계산 예산에 대해 최적의 모델 크기와 학습 토큰 수가 대략적으로 비슷하게 확장된다는 것이며, 즉 계산을 두 배로 늘리면 매개변수와 토큰을 모두 두 배로 늘려야 한다는 것이다. 이는 매개변수를 더 강하게 늘리는 것을 선호하는 초기 추정을 반박했다. 아이그너의 역할은 작업에서 훈련 동력을 분석하고 스케일링 관계의 경험적 검증에 기여하는 것이었다. 이후 신치라 결과는 업계 전반의 후속 모델 개발의 기초 참조가 되었으며, 우머의 OpenAI와 Anthropic 같은 연구소의 결정에 영향을 주었다.
효율적 학습 방법
스케일링 법칙을 넘어, 아이너는 대형 모델 학습 비용을 줄이기 위한 실질적인 기술에 참여했다. 그의 연구은 그라라및 클리핑 전략과 학습 속도 계획으로 대형 배치 크기로 학습을 안정시키는 방법을 탐구했다. 2023년 기술 보고서에서 그와 동료들은 적응형 옵티마이저 변형과 레이어 정규화를 결합하여 C4 및 The Pile 같은 표준 벤치마크에서 요구되는 학습 단계 수를 최종 성능을 저하시키지 않고 약 15% 줄일 수 있음을 시연했다.
또한 아이너는 컴퓨터 비전에서보다 덜 일반적인 텍스트에 대한 데이터 증강의 역할을 조사했습니다. 그의 실험은 간단한 토큰 수준의 마스킹과 대체 전략이 다운스트림 작업에서 강하다라는 것을 보여주지만, 데이터 세트 다양성을 증가시키는 것에 비해 이익은 약하고 나타났다. 이러한 발견은 DeepMind 내부에서 공유되었고 워크샵에서 발표되었지만, 2024년 기준으로 주요 컨퍼런스 회의록에는 아직 나타나지 않았습니다.
협력과 영향
DeepMind 내에서 아이너는 코에이 카우쿠오글루와 [[karen-simonyan|캐런 시</지>] 같은 연구자들과 모델 효율성 프로젝트를 협력했다. 또한 그는 인프라 팀과 협력하여 구글 클라우드 TPU 활용을 대형 학습 실행 중에 개선했으며, 특정 작업에서 처리량 20% 향상을 달성했다. 그의 통찰력은 생성형 AI 개발에 사용되는 내부 도구에 통합되었지만, 구체적인 세부 사항은 기업 독점으로 남아 있습니다.
아이너의 영향력은 NeurIPS와 ICML과 같은 컨퍼런스의 심사위원회 참여를 통해 더 넓은 연구 커뮤니티로 확천다. 그는 훈련 계산과 데이터 크기에 대한 투명한 보고를 옹호했으며, 이는 신치라 페이퍼 이후 더욱 일반적으로 되었다. 그의 공개 강연은 드문 편이지만, 재현 가능한 스케일링 연구의 중요성에 초점을 맞춘다.
현재 작업 및 미래 방향
2025년 현재로 아이너는 텍스트, 이미지 및 오디오 입력을 결합한 멀티모달모델로 확장하는 프로젝트를 참여하고 있다. 이 연구는 더 일반적인 목적의 AI 시스템을 구축하는 DeepMind의 더 큰 노력의 일부다. 그는 또한 AI 피드백에서 강화 학습을 미세 조정 동안 표본 효율성을 개선하는 데 사용하는 방법을 탐구하고 있으며, 이는 챗봇 에이전트 개발에서 인기를 얻고 있는 기술이다.
아이네는 완전한 개인 전기를 발표하지 않았으며, 그의 조기 생활과 교육의 많은 세부 사항은 공개 자료에 문서화되어 있지 않습니다. 그는 컴퓨터 과학 박사 학위를 가지고 있지만, 학위 수여 대학 및 졸업 연도는 공개 소스에서 확인할 수 없. 그의 기여는 베레이트로 산첸 페을 포함한 논문과 관련 기술 보고서에 공동 저자로 포함되어, 딥러 분야에서 널리 인용되고 있다.
유산과 인정
2025년 초 현재 산첸 페시즘이 학계에서 2,000회 이상 인용되어 최근 AI 연구에서 가장 영향력 있는 작품이 되었다. 이 작품에서 아이그너의 역할은 조문이나 발폰과 같은 선두 저자만큼 주요하지 않지만, 페이퍼의 확인 섹션에 언급되었다. 그는 주요 개인상을 받지 않았지만, DeepMind 팀은 2023년 ICLR에서 스케일링 관련 연구로 2023년 시험 시간상 및 심포지움 상을 받았다.
아이그너는 DeepMind의 런던 사무소에서 계속 작업하고 있으며, 기본 연구와 응용 프로젝트에 모두 기여하고 있다. 그의 활동 진로는 최적화와 대규모 결과에 대한 특화된 많은 과학자와 엔지니어들의 기여가 필요하듯이, 현대 AI 연구의 협력적인 성격을 나타낸다.