Abigail Seelen은 인공지능 분야의 연구자로, AI 정렬(alignment)과 안전성에 특화되어 있다. 그녀의 연구는 고급 머신러닝 시스템, 특히 대규모 언어 모델과 기타 심층 신경망과 관련된 위험을 이해하고 완화하는 데 중점을 둔다. Seelen의 연구는 모델 행동을 해석하고 훈련 견고성을 개선하는 방법에 기여했으며, AI 시스템이 인간의 의도에 부합하게 작동하도록 보장하는 데 초점을 맞추고 있다.
Seelen의 경력은 안전한 AI를 구축하는 데 있어 기술적·철학적 과제에 대한 일관된 강조로 특징지어진다. 그녀는 동료 심사 학술지에 논문을 발표했으며 학계 및 산업 기관의 연구자들과 협력해 왔다. 그녀의 접근 방식은 모델 내부 구조에 대한 경험적 연구와 정렬을 평가하기 위한 이론적 프레임워크를 결합하여, 책임 있는 AI 개발에 관한 지속적인 논의에서 주목할 만한 목소리를 내고 있다.
초기 경력 및 교육
Seelen은 컴퓨터 과학 대학원 과정을 마쳤으며, 그곳에서 처음으로 머신러닝과 신경망 아키텍처를 접했다. 그녀의 초기 연구는 아담 최적화와 SGD 변형을 포함한 경사 기반 최적화 기법을 분석하여 훈련 역학이 모델 일반화에 어떻게 영향을 미치는지 이해하는 데 관여했다. 이 기간 동안 그녀는 커리큘럼 학습 전략도 탐구했으며, 이는 이후 모델이 지식을 획득하고 잘못 적용하는 방식에 대한 관심으로 이어졌다.
박사 학위를 마친 후 Seelen은 여러 기관에서 연구 직책을 맡았으며, MIT CSAIL에서 모델 해석 가능성 관련 프로젝트에 협력한 기간도 포함된다. 그곳에서의 그녀의 작업은 모델 가지치기와 그것이 모델 행동에 미치는 영향에 초점을 맞췄으며, 희소성이 효율성을 개선하면서도 예상치 못한 실패 모드를 도입할 수 있다는 통찰을 이끌어냈다. 이러한 발견은 주요 학회에서 발표되어 그녀를 엄격한 실험가로서의 평판을 확립했다.
해석 가능성에 대한 기여
Seelen 연구의 상당 부분은 트랜스포머 모델의 내부 표현을 이해하는 데 전념해 왔다. 그녀는 멀티헤드 어텐션 패턴을 분석하는 기법을 개발하여 특정 어텐션 헤드가 텍스트의 구문적·의미적 특징과 어떻게 대응하는지 보여주었다. 그녀의 2021년 논문 "안전 필수 작업을 위한 어텐션 헤드 귀속"은 특정 헤드가 편향된 출력과 인과적으로 연결될 수 있음을 입증하여 모델 행동을 감사하는 구체적인 방법을 제공했다.
Seelen은 또한 위치 인코딩 분석 개발에 기여하여 트랜스포머가 시퀀스 순서를 어떻게 인코딩하는지, 그리고 이것이 인코더-디코더 아키텍처에서 크로스 어텐션과 어떻게 상호작용하는지 조사했다. 그녀의 시퀀스-투-시퀀스 모델 연구는 위치 정보가 허위 상관관계에 의해 덮어쓸 수 있는 취약점을 강조했으며, 이는 고위험 영역에서의 대규모 언어 모델 배포에 영향을 미치는 발견이다.
정렬 연구 및 안전 프레임워크
2022년 Seelen은 버클리 AI 연구의 연구 그룹에 합류하여 AI 정렬에 초점을 전환했다. 그녀는 RLAIF(AI 피드백 기반 강화 학습)에 기반한 정렬 평가 프레임워크를 제안하며, 기존 보상 모델링 접근 방식이 장기적 안전 제약을 포착하지 못하는 경우가 많다고 주장했다. 이후 그녀의 top-k 샘플링과 top-p 샘플링 실험은 디코딩 전략이 안전하지 않은 행동을 증폭하거나 억제할 수 있음을 보여주었고, 배포를 위한 실용적 권장 사항으로 이어졌다.
Seelen의 2023년 논문 "안전 필수 시스템에서의 분포 변화에 따른 견고성"은 데이터 증강과 경사 클리핑이 모델 회복력에 어떻게 영향을 미치는지 조사했다. 그녀는 드롭아웃 및 배치 정규화와 같은 표준 정규화 기법이 적대적 조건에서 정렬을 일관되게 개선하지 않는다는 것을 발견했다. 이 연구는 AI 위험에 관한 정책 논의에서 인용되었지만, Seelen은 직접적인 정치적 옹호를 피하고 경험적 결과에 집중하는 것을 선호했다.
산업 연구소와의 협력
Seelen은 여러 산업 AI 조직과 협력을 유지해 왔다. 그녀는 2023년 앤트로픽에서 방문 연구원으로 활동하며 그들의 언어 모델을 위한 해석 가능성 도구를 작업했다. 이 기간 동안 그녀는 레이어 정규화와 훈련 안정성에서의 역할에 대한 내부 평가에 기여했지만, 이러한 프로젝트의 구체적인 세부 사항은 비공개 계약에 따라 공개되지 않았다.
그녀는 또한 오픈AI에 안전 평가 방법론에 대해 자문했으며, 특히 빔 서치와 그것이 반복적이거나 유해한 출력을 생성하는 경향에 관한 것이었다. 그녀의 권장 사항은 특정 생산 시스템에서 더 다양한 샘플링 전략을 채택하는 데 영향을 미쳤다. 또한 Seelen은 구글 딥마인드 연구자들과 잔차 네트워크 설계 및 모델 제어 가능성에 대한 시사점에 관한 주제로 교류했다.
주요 논문 및 영향
Seelen의 가장 많이 인용된 연구에는 "트랜스포머에서 어텐션 헤드의 인과 추적"(2022)이 포함되며, 이는 모델 추론에서 핵심 구성 요소를 식별하는 새로운 개입 기법을 도입했다. 이 논문의 방법론은 신경망 해석 가능성을 연구하는 다른 연구자들에 의해 채택되었다. 그녀의 2024년 기사 "정렬 실패의 스케일링 법칙"은 모델 크기에 따라 안전 지표의 오류율이 어떻게 증가하는지 분석하여, 더 큰 모델이 비례적으로 더 많은 정렬 노력을 요구한다는 정량적 증거를 제공했다.
그녀는 또한 인간 선호도를 포착하는 데 있어 손실 함수의 한계에 대해 저술했으며, 표준 교차 엔트로피 목적 함수가 정렬에 충분하지 않다고 주장했다. 이러한 관점은 커뮤니티에서 논쟁을 촉발했으며, 일부 연구자들은 커리큘럼 학습이나 모델 가지치기를 간접적인 안전 조치로 기반으로 한 대체 훈련 패러다임을 옹호하고 있다.
교육 및 멘토링
Seelen은 스탠포드 AI 연구소에서 AI 안전에 관한 대학원 과정을 가르쳤으며, 기술적 방법과 윤리적 고려 사항을 모두 다루는 커리큘럼을 개발했다. 그녀의 온도 스케일링과 출력 신뢰도에 미치는 영향에 대한 강의는 널리 공유되었으며, 그녀는 이후 정렬 연구에 종사한 여러 박사 과정 학생들을 멘토링했다. 또한 그녀는 카네기 멜론 대학교와 옥스퍼드 대학교에서 초청 강연을 하여 배포된 모델을 감사하는 실용적 접근 방식에 초점을 맞추었다.
현재 연구 및 향후 방향
2025년 현재 Seelen은 AI 안전에 전념하는 비영리 연구 기관에 소속되어 있으며, 가중치 초기화 전략과 모델 수정 가능성에 대한 장기적 영향을 조사하는 팀을 이끌고 있다. 그녀의 현재 프로젝트에는 다양한 작업에 걸쳐 정렬을 측정하기 위한 벤치마크 개발이 포함되며, 특히 다중 모드 시스템에서의 크로스 어텐션 메커니즘에 중점을 둔다. 그녀는 또한 생성형 AI와 안전의 교차점, 특히 자동화된 콘텐츠 생성 맥락에서 탐구를 시작했다.
Seelen은 AI 정렬 분야가 아직 초기 단계에 있다고 공개적으로 밝혔으며, 더 엄격하고 재현 가능한 연구를 촉구했다. 그녀는 인공 일반 지능에 대한 추측적 주장을 피하고, 현재 딥러닝 시스템과 관련된 단기적 위험에 집중했다. 그녀의 연구는 학술 연구와 산업 관행 모두에 계속 영향을 미치고 있지만, 그녀는 자신의 발견의 확실성을 과장하는 것에 대해 신중한 태도를 유지하고 있다.
인정 및 전문 활동
Seelen은 머신러닝과 신경망 응용에 초점을 맞춘 학회를 포함한 여러 주요 AI 학회의 프로그램 위원회에서 활동했다. 그녀는 인공지능 저널의 논문을 검토했으며 AI 안전 표준에 관한 작업 그룹의 회원이었다. 널리 알려진 상을 받지는 않았지만, 그녀의 논문은 각각의 학회 회보에서 가장 많이 다운로드된 논문 중 하나였으며, 인용 횟수는 2021년 이후 꾸준히 증가해 왔다.
그녀는 또한 비전문가 청중을 위해 학습률 스케줄 및 배치 정규화와 같은 기술 주제에 대한 접근 가능한 요약을 작성하는 공공 교육 활동에 기여했다. 이러한 노력은 명확성으로 칭찬을 받았지만, Seelen은 정부 기관에 증언하라는 초청을 거절하고 학술 채널을 통해 소통하는 것을 선호했다.
개인 생활 및 공개 활동
Seelen은 제한된 소셜 미디어 활동으로 낮은 공개 프로필을 유지하고 있다. 그녀는 기술 팟캐스트에 인터뷰를 제공했지만 주류 미디어 출연은 피했다. 그녀의 개인 웹사이트에는 연구 방법에 대한 상세한 메모가 포함되어 있으며, 다른 연구자들이 그녀의 실험을 재현하는 데 사용해 왔다. 그녀는 실험 설계에 대한 세심한 접근 방식으로 알려져 있으며, 종종 논문과 함께 코드와 데이터 세트를 공개한다.
안전에 대한 집중에도 불구하고 Seelen은 정렬 과제가 해결된다면 AI가 사회에 이익을 줄 잠재력에 대해 낙관적이라고 표현했다. 그녀는 규제 명령만으로는 안전한 배포를 보장하기에 충분하지 않으며 기술적 해결책이 필요하다고 주장했다. 그녀의 지속적인 연구는 이론적 정렬과 실용적 구현 사이의 격차를 메우며 그러한 해결책을 위한 경험적 기반을 제공하는 것을 목표로 한다.