아드리아나 로메로는 기계 학습과 딥 러닝을 전문으로 하는 컴퓨터 과학자이다. 그녀는 지식 증류, 특히 FitNets 아키텍처에 대한 연구와 메타의 기초 AI 연구(FAIR) 연구소 파리 지부를 이끈 것으로 가장 잘 알려져 있다. 그녀의 연구는 컴퓨터 비전 및 기타 분야의 응용과 함께 효율적인 신경망 훈련 및 압축에 중점을 둔다.
로메로의 학문적 경력은 컴퓨터 과학 박사 학위로 시작되었으며, 그 기간 동안 시각적 인식을 위한 딥 러닝 아키텍처에 집중했다. 2010년대 중반에 완료된 그녀의 박사 연구는 더 깊고 효율적인 신경망을 훈련하는 기술 개발에 기여했다. 이 연구는 이후 모델 압축 및 지식 전이에 대한 그녀의 공헌을 위한 토대를 마련했다.
FitNets 및 지식 증류
로메로의 가장 많이 인용된 공헌은 요슈아 벤지오를 포함한 공동 연구자들과 함께 2014년에 발표한 FitNets 논문이다. 이 논문은 전통적인 교사-학생 패러다임을 넘어서는 지식 증류 방법을 소개했다. 더 크고 사전 훈련된 교사 네트워크의 최종 출력만 일치시키는 대신, FitNets는 교사와 더 얇고 깊은 학생 네트워크 간의 중간 표현 또는 특징 맵도 일치시킨다. "힌트 기반 훈련"이라고 불리는 이 접근 방식은 학생이 교사의 내부 표현에서 더 효과적으로 학습할 수 있게 한다.
FitNets 방법은 학생 네트워크가 교사보다 더 깊고 얇을 수 있으면서도 CIFAR-10 및 ImageNet과 같은 이미지 분류 벤치마크에서 비슷하거나 더 나은 정확도를 달성할 수 있음을 입증했다. 이 연구는 모바일 폰 및 임베디드 시스템과 같은 자원이 제한된 장치에 딥 러닝 모델을 배포하는 데 중요한 모델 압축 기술 개발에 영향을 미쳤다. 중간 특징을 증류에 사용하는 개념은 이후 연구에서 널리 채택되고 확장되었다.
연구 공헌
FitNets 외에도 로메로는 딥 러닝 연구의 여러 다른 영역에 기여했다. 그녀의 연구는 컴팩트한 컨볼루션 네트워크 설계를 포함한 효율적인 추론을 위한 아키텍처를 탐구했다. 또한 신중한 초기화 및 정규화 전략을 통해 딥 모델의 훈련 안정성과 일반화를 개선하는 방법을 조사했다.
로메로는 NeurIPS, ICLR 및 CVPR을 포함한 최상위 학회 및 저널에 논문을 발표했다. 그녀의 연구는 수천 번 인용되어 해당 분야에 미치는 영향을 반영한다. 또한 주요 기계 학습 학회의 리뷰어 및 에어리어 체어로 활동하며 학계의 동료 검토 과정에 기여했다.
FAIR 파리에서의 리더십
2010년대 후반, 로메로는 연구 과학자로 Facebook AI Research(현재 FAIR)에 합류했다. 이후 그녀는 FAIR 파리의 책임자가 되어 기초 및 응용 AI 문제에 집중하는 연구원 팀을 이끌었다. 그녀의 리더십 아래 파리 연구소는 자기 지도 학습, 다중 모달 AI 및 효율적인 모델 아키텍처를 포함한 주제를 연구했다. 이 연구소는 학술 기관과 협력하고 PyTorch 생태계 및 다양한 모델 출시와 같은 오픈 소스 프로젝트에 기여한다.
그녀의 역할은 연구 방향 설정, 주니어 연구원 멘토링, 멘로 파크, 뉴욕 및 런던의 다른 FAIR 연구소와의 협력 촉진을 포함한다. 그녀는 메타의 연구 결과 공유 전략에 부합하는 개방형 연구와 재현 가능한 AI를 위한 목소리를 높여 왔다.
영향 및 인정
로메로의 지식 증류에 대한 연구는 모델 압축 및 효율적인 AI 분야에 지속적인 영향을 미쳤다. FitNets 논문은 이 분야의 기초 작업으로 간주되며, 그 기술은 작고 빠른 모델이 필요한 많은 프로덕션 시스템에서 사용된다. FAIR 파리에서의 그녀의 리더십은 또한 그녀를 유럽 AI 연구 커뮤니티의 저명한 인물로 자리매김하게 했다.
그녀는 수많은 학회 및 워크숍에서 초청 연사로 활동했으며, 그녀의 연구는 산업 및 학술 미디어에서 소개되었다. 2020년대 초반 현재, 그녀는 인공 지능과 그 응용의 발전에 기여하는 활발한 연구자이자 리더로 계속 활동하고 있다.