Thomas Scialom은 Meta AI(현재 Meta의 AI 연구 부문의 일부)의 연구 과학자로, 대규모 언어 모델과 머신 러닝 분야의 연구로 인정받고 있다. 그는 2023년에 출시된 오픈소스 대규모 언어 모델 제품군인 Llama 2의 공동 저자로 가장 잘 알려져 있으며, 검색 증강 생성 및 [[reinforcement learning from human feedback] (RLHF)와 같은 기법을 통해 이러한 모델의 사실적 정확성과 추론 능력을 개선하는 연구로 유명하다. 그의 연구는 학술 연구와 생성형 AI의 실용적 응용 모두에 영향을 미쳤다.
Scialom의 연구는 딥 러닝, 자연어 처리, 그리고 신경망 아키텍처의 교차점에 있다. 그는 Meta AI의 여러 프로젝트에 기여했으며, 여기에는 Llama 및 그 후속 모델의 개발이 포함된다. 또한 텍스트 요약, 질문 응답, 모델 정렬과 같은 주제에 대해 광범위하게 논문을 발표했다. 그의 기여는 AI 커뮤니티 내에서 더 신뢰할 수 있고 제어 가능한 언어 모델을 만들기 위한 광범위한 노력의 일부이다.
초기 경력 및 교육
Thomas Scialom은 컴퓨터 과학 박사 과정을 마쳤으며, 자연어 처리와 딥 러닝에 중점을 두었다. 그의 박사 연구는 학술 기관 및 산업 연구소와의 협력을 통해 수행되었으며, 텍스트 요약과 Sequence-to-Sequence (Seq2Seq) 모델에 대한 새로운 접근 방식을 탐구했다. 이후 그는 Meta AI(이전 Facebook AI Research)에 연구 과학자로 합류하여 대규모 언어 모델 작업을 시작했다.
초기 경력 동안 Scialom은 트랜스포머 기반 아키텍처에 관한 여러 기초 논문에 기여했으며, 특히 요약 및 대화 시스템 맥락에서 두드러졌다. 그의 연구는 종종 모델 성능을 평가하는 데 있어 평가 지표와 인간 평가의 중요성을 강조했으며, 이는 이후 RLHF 연구에서도 계속된 주제이다.
Llama 2에 대한 기여
Scialom은 2023년 7월 Meta AI가 출시한 Llama 2의 핵심 기여자였다. Llama 2는 70억에서 700억 개의 매개변수에 이르는 사전 학습 및 미세 조정된 대규모 언어 모델 모음이다. 전작과 달리 Llama 2는 상업적 사용이 가능하도록 공개되어 오픈소스 AI 환경에 중요한 변화를 가져왔다. Scialom은 모델의 아키텍처, 학습 데이터, 정렬 과정을 상세히 설명한 기술 보고서의 공동 저자였다.
Llama 2의 주목할 만한 측면은 유용성과 안전성을 개선하기 위해 인간 피드백 기반 강화 학습을 사용한 점이다. 보상 모델 개발과 근접 정책 최적화 기법을 포함한 Scialom의 RLHF 연구는 이러한 노력에 중요한 역할을 했다. 이 모델의 출시는 광범위한 채택을 촉진했으며 다른 조직의 후속 오픈소스 모델에도 영향을 미쳤다.
검색 증강 생성에 관한 연구
Llama 2 외에도 Scialom은 정보 검색과 생성 모델을 결합하여 사실적 정확성을 개선하는 방법인 검색 증강 생성(RAG)에 중요한 기여를 했다. "Recitation-Augmented Language Models"(2022) 논문을 포함한 이 분야의 연구는 모델이 답변을 생성하기 전에 관련 구절을 암송하도록 프롬프트하는 것이 지식 집약적 작업에서 성능을 향상시킬 수 있음을 보여주었다.
이 연구 방향은 대규모 언어 모델의 주요 한계, 즉 그럴듯하지만 부정확한 정보를 생성하는 경향(종종 환각이라고 함)을 해결했다. 외부 지식 소스를 통합함으로써 Scialom의 방법은 모델 출력을 검증 가능한 사실에 기반하도록 하는 것을 목표로 했으며, 이는 질문 응답 및 사실 확인을 포함한 많은 AI 응용 프로그램의 핵심 방향이 되었다.
영향 및 인정
Scialom의 연구는 AI 커뮤니티에서 널리 인용되었으며, 그는 NeurIPS, ICML, ACL과 같은 학회에서 자주 연사로 활동한다. 특히 Llama 2를 통한 오픈소스 AI에 대한 그의 기여는 고급 언어 모델에 대한 접근을 민주화한 점에서 높이 평가받았다. 그는 또한 Google DeepMind 및 OpenAI를 포함한 다른 주요 기관의 연구자들과 모델 평가 및 정렬에 관한 주제로 협력했다.
2024년 현재 Scialom은 Meta AI에서 계속 근무하며 대규모 언어 모델의 추론 및 안전성 개선에 집중하고 있다. 그의 연구는 특히 강력하면서도 신뢰할 수 있는 모델 개발에 있어 인공지능의 방향을 형성하는 데 계속 영향을 미치고 있다.