니키 파마르(Niki Parmar)는 현대 인공지능에 대한 기초적인 기여로 인정받는 컴퓨터 과학자이자 기업가이다. 그녀는 2017년 논문 "Attention Is All You Need"의 공동 저자로 가장 잘 알려져 있으며, 이 논문은 대부분의 현대 대규모 언어 모델의 기반이 되는 트랜스포머 아키텍처를 소개했다. 2023년에는 기업 생산성을 위한 AI 시스템 구축에 초점을 맞춘 스타트업인 Essential AI를 공동 창립했다.
파마르의 연구는 기계 학습 분야에 깊은 영향을 미쳤으며, 자연어 처리, 컴퓨터 비전, 생성형 AI의 발전을 가능하게 했다. Google Brain과 OpenAI에서의 그녀의 연구는 딥러닝의 궤적과 방대한 양의 데이터를 처리할 수 있는 신경망 개발을 형성하는 데 도움을 주었다.
초기 생애와 교육
파마르는 인도에서 태어나 수학과 컴퓨터 과학에 일찍 관심을 갖게 되었다. 그녀는 토론토 대학교에서 학부 과정을 마쳤으며, 컴퓨터 과학과 수학 학사 학위를 취득했다. 그 기간 동안 그녀는 인공지능과 기계 학습의 기초 개념에 접하며, 이후 그녀의 연구를 위한 토대를 마련했다.
학부 과정을 마친 후, 파마르는 Google Brain에 연구 엔지니어로 합류하여 대규모 신경망 모델 작업을 시작했다. 그녀의 초기 프로젝트는 딥러닝 시스템의 효율성과 확장성을 개선하는 데 초점을 맞추었으며, 이는 이후 트랜스포머 아키텍처에 대한 그녀의 기여에 영향을 주었다.
Google Brain에서의 경력
Google Brain에서 파마르는 Jakob Uszkoreit, Lukasz Kaiser, Llion Jones를 포함한 연구자들과 협력했다. 그들은 함께 순차 데이터 처리에서 순환 신경망(RNN)과 합성곱 신경망(CNN)의 한계를 해결하고자 했다. 그들의 노력은 2017년 논문 "Attention Is All You Need"로 이어졌으며, 이 논문은 트랜스포머 모델을 제안했다.
트랜스포머 아키텍처는 전적으로 자기 주의(self-attention) 메커니즘에 의존하여 순환과 합성곱의 필요성을 제거했다. 이 혁신은 입력 시퀀스의 병렬 처리를 가능하게 하여 훈련 시간을 크게 단축하고 더 긴 컨텍스트를 처리할 수 있게 했다. 이 논문은 인공지능 분야에서 가장 많이 인용된 논문 중 하나가 되었으며, 이후 BERT와 GPT와 같은 모델의 기초를 마련했다.
파마르의 역할에는 모델의 핵심 구성 요소인 다중 헤드 주의 메커니즘과 위치 인코딩 방식의 설계 및 구현이 포함되었다. 그녀의 기술적 전문성은 트랜스포머를 효과적이고 효율적으로 만드는 데 중요한 역할을 했다.
컴퓨터 비전에 대한 기여
트랜스포머 논문의 성공 이후, 파마르는 연구를 컴퓨터 비전으로 확장했다. 그녀는 주의 메커니즘을 이미지 생성 및 처리에 적용한 여러 논문을 공동 저술했다. 특히, 그녀는 이미지 생성 작업을 위해 트랜스포머 아키텍처를 적용한 Image Transformer 작업에 참여하여 주의 기반 모델이 텍스트 이외의 분야에서도 최첨단 결과를 달성할 수 있음을 입증했다.
이 분야에서의 그녀의 작업은 이후 컴퓨터 비전에서 표준 접근 방식이 된 비전 트랜스포머(ViT) 개발에 기여했다. ViT는 이미지 패치를 토큰으로 처리하여 자연어 처리에서 성공을 거둔 것과 동일한 자기 주의 메커니즘을 활용함으로써 더 유연한 이미지 모델을 가능하게 했다.
OpenAI로의 이동과 추가 연구
2021년, 파마르는 OpenAI에 연구 과학자로 합류했다. OpenAI에서 그녀는 대규모 언어 모델의 효율성과 성능을 개선하는 연구에 집중했다. 그녀의 연구는 Transformer (architecture) 기반 모델의 확장, 훈련 절차 최적화, 그리고 생성적 AI를 위한 새로운 아키텍처 탐구에 초점을 맞췄다.
재직 기간 동안 그녀는 생성형 AI로 가능한 영역을 확장한 프로젝트에 기여했으며, 텍스트 생성, 코드 합성, 다중 모달 이해의 발전을 이끌었다. OpenAI에서의 그녀의 작업은 이후 ChatGPT와 같은 상업 제품에 통합된 기술적 개선에 도움을 주었다.
Essential AI 설립
2023년, 파마르는 로봇 공학과 기계 학습을 배경으로 한 연구자 Ashish Kumar와 함께 Essential AI를 공동 창립했다. 이 회사의 목표는 기업 환경에서 인간의 생산성을 증대시키는 AI 시스템을 구축하는 것이며, 데이터 분석, 보고서 생성, 의사 결정 지원과 같은 작업에 초점을 맞추고 있다.
Essential AI는 대규모 언어 모델과 생성형 AI의 최신 발전을 활용하여 특정 비즈니스 요구에 맞춘 신뢰할 수 있고 효율적인 도구를 만드는 것을 목표로 한다. 이 회사는 투자자와 업계 관찰자들의 관심을 받으며, 실용적인 AI 응용에 대한 수요가 증가하고 있음을 반영하고 있다.
파마르는 공동 창업자로서 기술적 비전을 이끌고 연구 개발을 총괄하는 역할을 맡고 있다. 그녀의 Transformer (architecture) 기반 아키텍처에 대한 깊은 이해와 딥러닝에 대한 폭넓은 지식은 기업 환경에서의 AI 혁신을 주도할 수 있는 위치에 그녀를 놓는다.
영향과 인정
파마르의 인공지능 분야에 대한 기여는 폭넓게 인정받고 있다. "Attention Is All You Need" 논문은 수만 번 이상 인용되었으며, 그 저자들은 현대 AI 혁명의 선구자로 여겨진다. 파마르의 작업은 학계에만 국한되지 않고, 산업계의 제품 개발에도 영향을 미쳐 다양한 분야에서의 AI 응용을 촉진했다.
그녀의 연구는 NeurIPS와 ICML과 같은 주요 학술 회의에서 발표되었으며, 기술 기업들 사이에서도 널리 알려져 있다. 비교적 짧은 경력에도 불구하고, 그녀는 분야에 지울 수 없는 흔적을 남겼으며, Essential AI에서의 지속적인 작업은 더 많은 혁신을 가져올 것으로 기대된다.
개인적 삶과 관심사
파마르는 협력적인 성격으로 알려져 있으며, 젊은 연구자들을 멘토링하는 데 헌신적이다. 그녀는 AI 분야의 다양성과 포용성에 대해 공개적으로 목소리를 내왔으며, 기술 산업에서 더 포용적인 문화를 옹호해왔다. 여가 시간에는 독서, 여행, 새로운 기술 탐구를 즐긴다.
그녀는 소셜 미디어에서 활발히 활동하며 기계 학습에 대한 설명을 쉽게 전달하는 능력으로 동료 및 예비 연구자들 사이에서 친근한 이미지를 갖고 있다.
미래 방향
현재 파마르는 Essential AI를 이끌며 현실 세계의 문제를 해결하는 AI 시스템을 개발하고 있다. 회사는 금융, 의료, 법률 서비스 분야에서 대규모 언어 모델이 일상적인 작업을 자동화하고 실행 가능한 통찰력을 제공할 수 있는 기회를 탐구하고 있다.
파마르의 미래 비전에는 인간의 가치와 정렬된 AI 시스템 구축이 포함되어 있으며, 그녀는 인지 과학, 윤리학 등 다양한 학문 분야와의 협력을 통해 다음 단계의 AI 발전이 이루어질 것이라고 믿는다. 호기심 많은 학생에서 AI 분야의 선도적 인물로 성장한 그녀의 여정은 많은 이들에게 영감을 주고 있으며, 그녀의 지속적인 기여는 앞으로도 AI의 미래를 형성할 가능성이 크다.