Joel Lehman은 OpenAI에 소속된 컴퓨터 과학자이자 인공지능 연구자로, 머신 러닝과 인공지능의 발전을 위한 연구를 수행하고 있다. 그는 개방성(open-endedness)을 탐구하는 두 가지 영향력 있는 알고리즘인 novelty search와 POET를 공동 창안한 것으로 가장 잘 알려져 있다. 그의 연구는 명시적인 목적 함수 없이 단순한 진화 원리가 어떻게 복잡한 행동과 해결책을 생성할 수 있는지에 초점을 맞춘다.
Lehman의 연구는 인공지능, 머신 러닝, 신경망의 교차점에 있다. 그는 기초 이론과 대규모 언어 모델 및 강화 학습을 포함한 실용적 응용 모두에 기여했다. 그의 아이디어는 연구자들이 탐색, 다양성, 그리고 AI가 사전 정의된 목표를 넘어 혁신할 가능성에 대해 생각하는 방식을 형성했다.
초기 생애 및 교육
Joel Lehman은 텍사스 오스틴 대학교에서 컴퓨터 과학 박사 학위를 받았으며, Risto Miikkulainen의 지도 아래 연구했다. 그의 박사 연구는 진화 연산과 기만적인 적합도 지형을 피하기 위한 novelty search의 사용에 초점을 맞췄다. 그는 또한 카네기 멜론 대학교에서 컴퓨터 과학 학사 학위를 보유하고 있다.
대학원 연구 기간 동안 Lehman은 생물학적 진화에서 영감을 얻어 새로운 행동과 점점 더 복잡한 행동을 지속적으로 생성하는 시스템을 만드는 개방형 진화(open-ended evolution) 개념에 깊은 관심을 갖게 되었다. 이러한 관심은 이후 그의 경력의 많은 부분을 정의하게 된다.
Novelty Search
Novelty search는 특정 목표를 달성하는 대신 이전에 본 적이 없거나 다른 새로운 행동을 생성하는 에이전트에게 보상을 주는 알고리즘이다. Lehman은 2000년대 중반 Kenneth O. Stanley와 함께 이 접근 방식을 공동 창안했다. 핵심 통찰은 많은 복잡한 문제에서 해결책으로 가는 경로가 명확하지 않으며, novelty를 최적화하면 전통적인 목표 기반 탐색으로는 놓칠 수 있는 발견으로 이어질 수 있다는 것이다.
2008년경부터 시작된 일련의 논문에서 Lehman과 Stanley는 novelty search가 적합도 기반 진화보다 미로 탐색 및 로봇 운동과 같은 문제를 더 효과적으로 해결할 수 있음을 입증했다. 그들의 연구는 진화 연산에서 목적 함수가 진보에 필수적이라는 기존의 가정에 도전했다. Novelty search는 이후 게임 플레이, 신경 아키텍처 탐색, 생성 예술을 포함한 다양한 분야에 적용되었다.
이 알고리즘의 단순성과 효과성은 이 분야에 획기적인 기여로 자리 잡았다. 또한 다양성 유지 및 품질-다양성 알고리즘에 대한 후속 연구에 영감을 주었으며, 이는 novelty와 성능 지표를 결합한다.
POET
POET(Paired Open-Ended Trailblazer)는 Lehman이 Stanley 및 다른 연구자들과 공동 창안한 알고리즘으로, 2020년 논문에서 소개되었다. POET는 점점 더 복잡해지는 일련의 환경과 이를 해결하는 방법을 배우는 에이전트를 생성한다. 환경과 에이전트가 모두 진화하는 공진화적 접근 방식을 사용하여 시스템이 자체적인 도전 커리큘럼을 만들 수 있게 한다.
POET는 개방성으로 유명하다. 고정된 최종 목표가 없으며 대신 에이전트의 현재 능력을 약간 넘어서는 새로운 문제를 지속적으로 생성한다. 이를 통해 고정된 환경에서는 발생하지 않을 수 있는 행동의 발견이 가능하다. POET는 미로 탐색 및 이족 보행과 같은 작업에 적용되어 다양한 지형을 처리할 수 있는 에이전트를 생성했다.
이 알고리즘은 인간의 개입 없이 무한히 학습하고 적응할 수 있는 AI 시스템을 만드는 데 중요한 단계를 나타낸다. 개방형 학습이 더 일반적이고 강력한 지능으로 이어질 수 있는 방법의 예로 인용되었다.
OpenAI에서의 연구
Lehman은 2020년 OpenAI에 합류하여 대규모 머신 러닝과 관련된 다양한 프로젝트를 연구했다. 그의 기여에는 강화 학습, 진화 전략, 대규모 언어 모델 훈련에 대한 연구가 포함된다. 그는 AI 시스템의 안전성과 견고성을 개선하고 새로운 능력을 이해하기 위한 노력에 참여했다.
OpenAI에서 Lehman은 커리큘럼 학습, 인간 피드백 기반 강화 학습, 신경 아키텍처 탐색을 위한 진화 알고리즘 사용과 같은 주제에 대해 다른 연구자들과 협력했다. 그의 연구는 트랜스포머 아키텍처를 기반으로 한 생성 AI 모델 개발에 영향을 미쳤다.
Lehman은 또한 개방성이 인공 일반 지능을 달성하는 핵심 요소가 될 수 있다고 주장하며 개방성의 철학적 함의에 대해 저술했다. 그는 AI 연구에서 탐색과 다양성의 중요성에 대해 강연하고 에세이를 발표했다.
주요 논문 및 출판물
Lehman은 수많은 영향력 있는 논문을 저술하거나 공동 저술했다. 가장 주목할 만한 것 중 일부는 다음과 같다.
- "Abandoning Objectives: Evolution Through the Search for Novelty Alone" (2008) - novelty search를 소개한 논문.
- "Evolving a Diversity of Virtual Creatures through Novelty Search and Local Competition" (2011) - novelty search를 확장하여 다양한 형태를 생성한 논문.
- "POET: End-to-End Learning of Open-Ended Environments" (2020) - POET 알고리즘을 소개한 논문.
- "Machine-generated knowledge and the future of AI" (2022) - AI가 새로운 지식을 생성할 수 있는 방법을 탐구한 논문.
- "The Surprising Creativity of Digital Evolution" (2018) - 진화 알고리즘이 창의적인 해결책을 생성할 수 있는 방법에 대한 리뷰.
그의 출판물은 미국 국립 과학 아카데미 회보, 국제 학습 표현 학회(ICLR), 유전 및 진화 연산 학회(GECCO)와 같은 최고의 학술지에 게재되었다.
수상 및 인정
Lehman의 연구는 여러 상을 수상했다. 그는 2008년 GECCO에서 novelty search 논문으로 우수 논문상을 받았다. 그의 POET 논문은 ICLR 2020에서 최우수 논문 후보로 지명되었다. 그는 또한 진화 연산 및 AI에 관한 주요 학회와 워크숍에서 초청 강연을 했다.
학문적 인정 외에도 Lehman의 연구는 Wired, MIT Technology Review, Quanta Magazine을 포함한 미디어에서 널리 보도되었다. 개방성에 대한 그의 아이디어는 AI의 미래와 인간의 기대를 넘어 혁신할 가능성에 대한 논의를 촉발했다.
영향 및 유산
Joel Lehman의 기여는 진화 연산 및 인공지능 분야에 지속적인 영향을 미쳤다. Novelty search와 POET는 자체 목표를 생성하고 지속적으로 개선할 수 있는 AI 시스템을 추구하는 개방형 진화 분야의 기초 작업으로 간주된다. 그의 연구는 다양성 기반 방법을 탐구하고 목적 함수의 필요성에 의문을 제기하는 새로운 세대의 과학자들에게 영감을 주었다.
Lehman의 연구는 실용적인 응용에도 영향을 미쳤다. 예를 들어, novelty search는 다양한 행동을 가진 비플레이어 캐릭터를 만들기 위해 게임 디자인에 사용되었으며, POET는 로봇 공학 및 자동 커리큘럼 생성에 적용되었다. 그의 아이디어는 AI 시스템이 더 복잡해지고 역동적이고 예측 불가능한 환경에서 작동해야 함에 따라 점점 더 관련성이 높아지고 있다.
2025년 현재 Lehman은 OpenAI에서 계속 연구하며 고급 AI 모델 개발에 기여하고 개방형 학습의 경계를 탐구하고 있다. 그의 연구는 유능할 뿐만 아니라 창의적이고 적응력 있는 AI를 구축하려는 노력의 최전선에 있다.
개인 생활 및 관심사
연구 외에도 Lehman은 마음의 철학과 창의성의 본질에 대한 관심으로 알려져 있다. 그는 이러한 주제에 대해 블로그 게시물과 에세이를 작성했으며, 종종 생물학적 진화와 인공지능 사이의 연관성을 그린다. 그는 또한 개방형 과학의 옹호자이며 많은 논문과 코드를 공개적으로 제공했다.
Lehman은 OpenAI 본사가 있는 샌프란시스코 베이 에어리어에 거주하고 있다. 그는 하이킹과 보드 게임을 즐기며, 이러한 활동이 탐색과 전략에 대한 그의 사고에 영감을 준다고 말한다.
같이 보기
참고 문헌
- Lehman, J., & Stanley, K. O. (2008). Abandoning Objectives: Evolution Through the Search for Novelty Alone. GECCO.
- Lehman, J., & Stanley, K. O. (2011). Evolving a Diversity of Virtual Creatures through Novelty Search and Local Competition. GECCO.
- Wang, R., Lehman, J., et al. (2020). POET: End-to-End Learning of Open-Ended Environments. ICLR.
- Lehman, J., et al. (2018). The Surprising Creativity of Digital Evolution. PNAS.
- Lehman, J., et al. (2022). Machine-generated knowledge and the future of AI. arXiv.