Samuel R. Bowman은 뉴욕대학교의 컴퓨터 과학자이자 교수로, 자연어 처리(NLP)와 대규모 언어 모델 평가를 전문으로 한다. 그의 연구는 현대 AI 시스템의 능력, 견고성, 안전성을 측정하는 방법을 다루며, OpenAI 및 Anthropic과 같은 조직에서 개발된 모델의 실증적 분석에 초점을 맞춘다. Bowman은 벤치마크 설계, 모델 스트레스 테스트, 트랜스포머 기반 시스템의 행동 연구에 관한 영향력 있는 작업으로 잘 알려져 있다.
Bowman은 캘리포니아 대학교 버클리에서 박사 과정을 마친 후 뉴욕대학교 교수진에 합류했다. 뉴욕대학교에서 그는 NLP 커뮤니티의 중심 인물이 되었으며, 기계 학습의 이론적 및 응용 측면에 기여했다. 그의 학술 작업은 Stanford AI Lab 및 MIT CSAIL을 포함한 여러 기관의 연구자들과 공동 저술되었으며, 이는 광범위한 협력 네트워크를 반영한다.
모델 평가 연구
Bowman 연구의 상당 부분은 평가 방법론에 초점을 맞춘다. 그는 표준 정확도 지표가 언어 모델의 중대한 실패를 포착하지 못하는 경우가 많아 능력이 과대평가된다고 주장해 왔다. 그의 논문은 의도적으로 추론을 도전하는 예시에 모델을 훈련시키는 적대적 필터링 방법을 도입했으며, 모델이 분포 외 데이터에서 어떻게 수행되는지 분석했다. 이 작업은 실제 응용에서 신경망의 한계를 이해하는 데 기초가 된다.
Bowman의 기여에는 일반 목적의 함의 벤치마크와 같은 도전적인 데이터셋 개발이 포함되며, 이는 문장 간 논리적 관계를 이해하는 모델의 능력을 테스트한다. 이러한 벤치마크는 NLP 연구의 표준 도구가 되었으며, Google DeepMind 및 학술 연구소의 그룹에서 널리 사용된다.
언어 모델 행동과 안전
Anthropic에서 연구원으로 근무한 Bowman은 대규모 언어 모델의 안전 속성을 조사했다. 그의 연구는 모델이 유해한 프롬프트에 어떻게 반응하는지, 어떻게 조종되거나 잘못 정렬될 수 있는지, 그리고 숨겨진 능력을 어떻게 끌어낼 수 있는지 검토했다. 해석 가능성 팀과의 작업은 모델 행동을 모니터링하는 기술을 형성하는 데 도움이 되었으며, 이는 AI 정렬에 관한 현재 논쟁과 관련이 있다.
Bowman은 또한 요약 및 질문 응답에서 사실적 일관성에 관한 연구를 발표했으며, 모델이 그럴듯하지만 부정확한 내용을 생성하는 패턴을 발견했다. 이 연구 방향은 생성형 AI를 더 신뢰할 수 있게 만드는 광범위한 노력과 연결되며, BAIR (Berkeley AI Research) 및 Carnegie Mellon University와 같은 기관의 작업과 관련된다.
벤치마킹 기여
Bowman의 주목할 만한 성과 중 하나는 분야의 기준이 되는 벤치마크의 생성과 개선이다. 그는 일반 목적의 언어 이해를 평가하는 표준이 된 작업 모음인 GLUE 벤치마크를 공동 저술했다. GLUE의 후속작인 SuperGLUE 벤치마크도 그의 설계 원칙에 영향을 받았으며, 현재 시스템에는 어렵지만 인간에게는 가능한 작업을 목표로 한다. 이러한 벤치마크는 Microsoft Azure 및 Amazon Web Services의 팀이 배포를 검증하는 데 사용해 왔다.
그의 연구는 최첨단 모델조차도 신중하게 구성된 반례에서 테스트할 때 상당한 성능 저하를 보인다는 것을 보여주었다. 이는 OpenAI 및 Qualcomm을 포함한 산업 실무자들이 개발 파이프라인에 더 엄격한 평가를 통합하도록 동기를 부여했다.
학술 및 전문 역할
Bowman은 뉴욕대학교 쿠랑 수리과학 연구소에서 교수직을 맡고 있으며, 딥러닝과 NLP에 초점을 맞춘 연구 그룹을 이끌고 있다. 그는 Apple 및 Samsung Electronics를 포함한 학계와 산업계의 직책으로 진출한 많은 대학원생을 멘토링했다. 그의 강의는 Transformer (architecture) 아키텍처, 모델 해석 가능성, AI 배포의 윤리적 고려 사항과 같은 주제를 다룬다.
학술 역할 외에도 Bowman은 학계와 기업 연구소를 연결하는 연구 이니셔티브에 참여해 왔다. 그의 협력은 Nokia Bell Labs 및 Xerox PARC로 확장되며, 모델 평가에 관한 연구 결과를 발표했다. 그는 NeurIPS, ACL, ICML을 포함한 주요 AI 컨퍼런스에서 자주 연사로 활동한다.
주요 수상 및 인정
Bowman은 비지도 파싱 연구로 주요 NLP 컨퍼런스에서 우수 논문상을 받는 등 여러 영예를 안았다. 또한 견고한 평가 스위트 구축에 기여한 공로로 GLUE 벤치마크에 대한 시간의 시험상을 수상했다. 정확한 보조금 목록은 공개되지 않았지만, 그의 작업은 NSF 및 DARPA 프로그램의 지원을 받았다.
그의 영향력은 Google Cloud 및 Oracle Cloud Infrastructure와 같은 클라우드 컴퓨팅 플랫폼이 그의 벤치마크에 영향을 받은 내장 평가 도구를 제공하는 데서 분명하다. 2020년대 중반 현재 Bowman은 언어 기술과 안전의 교차점에 관한 연구를 계속 발표하며 현장에서 활발히 활동하고 있다.