벤 레히트(Ben Recht)는 캘리포니아 대학교 버클리 전기공학 및 컴퓨터과학과의 교수로, 머신러닝, 최적화, 제어의 수학적 기초에 초점을 맞춘 연구 그룹을 이끌고 있다. 그의 연구는 확장 가능한 알고리즘 개발과 현대 AI 시스템에 대한 주장의 비판적 평가를 포함하여 인공지능의 이론적 및 응용적 측면을 아우른다. 레히트는 또한 버클리 AI 연구(BAIR) 연구소의 공동 창립자이며, 아마존 웹 서비스에서 연구 과학자로 재직하며 AWS Trainium 칩 개발에 기여했다.
레히트는 2000년 카네기 멜론 대학교에서 컴퓨터과학 및 수학 학사 학위를, 2006년 스탠포드 대학교에서 마이클 I. 조던의 지도 아래 컴퓨터과학 박사 학위를 받았다. 매사추세츠 공과대학교에서 박사후 연구원으로 근무한 후, 2009년 위스콘신-매디슨 대학교 교수진에 합류했으며, 2013년 UC 버클리로 옮겼다. 그는 슬론 연구 펠로우십과 NSF CAREER 상을 포함한 수많은 상을 수상했다.
최적화 및 학습 이론
레히트의 초기 연구는 볼록 최적화와 신경망 및 신호 처리에 대한 응용에 집중했다. 그는 협업 필터링과 압축 센싱 문제의 기초가 되는 저랭크 행렬 완성 및 복구 이론에 중요한 기여를 했다. 2013년에 발표된 확률적 평균 기울기(SAG) 알고리즘에 대한 그의 연구는 대규모 머신러닝 모델 최적화를 위한 새로운 방법을 제공했으며, 이후 비볼록 설정에서 확률적 경사 하강법 변형의 동작을 탐구했다.
2018년 널리 인용된 논문에서 레히트와 그의 공동 연구자들은 무작위로 레이블된 데이터로 신경망을 훈련시켜 일반화를 연구했다. 그들은 깊은 네트워크가 무작위 레이블을 완벽하게 맞출 수 있음에도 실제 데이터에서 여전히 잘 일반화된다는 것을 발견했으며, 이는 정규화와 모델 용량의 역할에 대한 기존의 통념에 도전했다. 이 연구는 경사 기반 최적화의 암묵적 편향과 딥러닝이 작동하는 이유에 대한 수수께끼에 대한 방대한 연구를 촉발했다.
AI 주장에 대한 비판적 관점
레히트는 AI 연구를 평가하는 회의적이고 엄격한 접근 방식으로 유명하다. 알리 라히미와 공동 집필한 2021년 기사에서 그는 머신러닝의 많은 성공이 아직 견고한 과학적 이해로 뒷받침되지 않는다고 주장하며, 더 신중한 벤치마킹과 재현성을 요구했다. 그는 대규모 언어 모델과 생성형 AI를 둘러싼 과대광고에 비판적이었으며, 인상적인 데모가 실제 환경에서 신뢰할 수 있는 성능으로 이어지지 않는다는 점을 자주 지적했다.
그의 블로그인 "Ben Recht's Blog"는 연구자와 실무자에게 인기 있는 자료가 되었으며, 최적화 이론부터 딥러닝의 실질적 한계까지 다양한 주제를 다룬다. 그는 특정 작업에서 복잡한 트랜스포머 아키텍처를 능가하는 경우가 많은 선형 모델과 같은 단순한 기준선의 중요성을 자주 강조한다.
제어 이론 및 로봇 공학
머신러닝 외에도 레히트는 특히 학습 기반 제어 분야에서 제어 이론에 기여했다. 그는 강화 학습과 모델 예측 제어를 결합한 알고리즘을 연구했으며, 그의 연구는 로봇 공학과 자율 시스템에 적용되었다. 또한 최적화와 제어의 교차점을 연구하여 알려지지 않은 동역학을 가진 시스템을 안정화하는 방법을 개발했다.
웨이모 및 다른 회사의 연구자들과 협력하여 레히트는 학습 기반 시스템을 분포 변화에 더 강건하게 만드는 방법을 탐구했으며, 이는 안전이 중요한 영역에서 AI를 배포하는 핵심 과제이다. 그의 "강건한 제어" 프레임워크에 대한 연구는 실무자들이 머신러닝 모델의 불확실성을 생각하는 방식에 영향을 미쳤다.
교육 및 멘토링
레히트는 학부 및 대학원 수준에서 최적화, 머신러닝, 제어 과정을 가르치는 헌신적인 교육자이다. 그는 OpenAI, Anthropic, Google DeepMind를 포함한 학계와 산업계의 직책으로 진출한 수많은 박사 과정 학생과 박사후 연구원을 멘토링했다. 특히 볼록 최적화에 대한 그의 강의 노트는 전 세계 대학에서 널리 사용된다.
그는 또한 전통적인 공학과 현대 데이터 과학 사이의 격차를 메우는 새로운 과정을 설계하는 데 도움을 주며 커리큘럼 개발에 참여했다. 그의 접근 방식은 수학적 엄격성과 실용적인 문제 해결을 강조하며, 학생들이 분야의 기존 가정에 의문을 제기하도록 자주 격려한다.
산업 협력 및 컨설팅
레히트는 경력 전반에 걸쳐 산업계와 강한 유대 관계를 유지해 왔다. 아마존 웹 서비스와의 작업 외에도 애플, 인텔, 삼성전자를 포함한 다양한 기술 회사에 컨설팅을 제공했다. 그의 최적화 전문 지식은 칩 설계, 데이터 센터 관리, 클라우드 컴퓨팅 문제에 적용되었다. 또한 여러 스타트업의 기술 자문 위원회에서 알고리즘 문제에 대한 지침을 제공했다.
AWS와의 협력은 머신러닝 훈련 및 추론을 위한 맞춤형 칩인 AWS Trainium 설계에 기여로 이어졌다. 레히트의 딥러닝 계산 병목 현상에 대한 통찰력은 하드웨어 아키텍처를 형성하는 데 도움이 되었으며, 현재 많은 기업에서 사용되고 있다.
수상 및 인정
레히트는 연구로 여러 권위 있는 상을 받았다. 2012년 슬론 연구 펠로우십을, 2013년 NSF CAREER 상을 수상했다. 또한 2013년 행렬 완성 연구로 국제 머신러닝 학회(ICML) 최우수 논문상, 2015년 비볼록 최적화 기여로 신경 정보 처리 시스템 학회(NeurIPS) 최우수 논문상을 받았다. 그는 IEEE 펠로우이자 ACM 회원이다.
그의 연구는 국립과학재단, 해군 연구소, 국방 고등 연구 계획국(DARPA) 등에서 자금을 지원받았다. 주요 학회에서 기조 연설을 했으며 머신러닝 및 최적화 분야 최고 수준 학회의 프로그램 위원회에서 활동했다.
대중 참여 및 저술
학문적 작업 외에도 레히트는 활동적인 공공 지식인이다. 그는 대중 매체에 기사를 썼으며 팟캐스트와 뉴스 프로그램 인터뷰에 출연하여 AI 연구의 현황을 논의했다. 복잡한 기술 주제를 명확하고 접근 가능하게 설명하는 것으로 알려져 있으며, 머신러닝에 대한 요점을 설명하기 위해 제어 이론과 물리학의 비유를 자주 사용한다.
그는 또한 실험의 코드와 데이터를 공개하고 다른 사람들도 그렇게 하도록 장려하는 개방형 과학의 목소리를 내왔다. 그의 블로그 게시물은 학술 논문에서 인용되었으며, 특히 AI 연구의 재현성 위기에 관한 분야의 방향에 대한 논쟁을 촉발했다.
현재 연구 방향
2024년 현재 레히트의 연구는 최적화, 통계, 제어의 교차점에 초점을 맞추고 있으며, 이론적으로 건전하고 실질적으로 효과적인 방법 개발을 강조한다. 그는 머신러닝을 사용하여 최적화 알고리즘 자체를 개선하는 "최적화 학습" 문제에 특히 관심이 있다. 또한 대규모 모델을 더 효율적이고 강건하게 만들기 위해 모델 가지치기와 데이터 증강의 사용을 탐구하고 있다.
그는 BAIR 및 다른 기관의 연구자들과 계속 협력하고 있으며, 최근 연구는 언어 모델의 보정과 어텐션 메커니즘의 한계와 같은 주제를 다루고 있다. 그는 생성형 AI의 약속과 함정에 대한 지속적인 논의에서 두드러진 목소리로 남아 있으며, 커뮤니티가 과대광고보다 측정 가능한 진전에 집중할 것을 촉구하고 있다.
유산 및 영향
벤 레히트의 영향력은 기술적 기여를 넘어선다. 그는 머신러닝 연구의 문화를 형성하여 엄격성, 회의주의, 지적 정직성을 촉진했다. 기초를 이해하려는 그의 집념은 한 세대의 학생과 연구자들이 최신 트렌드를 넘어 알고리즘이 어떻게 그리고 왜 작동하는지에 대한 더 깊은 질문을 하도록 영감을 주었다. 그의 연구는 더 신뢰할 수 있고 믿을 수 있는 AI 시스템 개발을 위한 중요한 토대를 마련했으며, 그의 비판적 관점은 분야의 지나치게 낙관적인 서사에 대한 균형추 역할을 한다.