Percy Liang은 스탠포드 대학교의 컴퓨터 과학 교수이자, 스탠포드 인간 중심 인공지능 연구소(HAI) 내 기초 모델 연구 센터(CRFM)의 소장이다.
Liang의 초기 연구는 자연어 처리에 대한 통계적 및 신경망적 접근 방식에 초점을 맞췄으며, 여기에는 의미론적 파싱과 적대적 입력에 대한 NLP 시스템의 견고성을 조사하는 방법이 포함되었다. 그는 2010년대 초반에 스탠포드 교수진에 합류하여 NLP, 머신 러닝 이론, 그리고 트랜스포머 아키텍처 도입 이후 이 분야를 지배하게 된 대규모 사전 훈련 모델에 걸쳐 연구 그룹을 구축했다.
기초 모델
2021년, Liang은 스탠포드 논문 "기초 모# 모델의 기회와 위험에 대하여"의 주최자이자 공동 저자로 참여했으며, 이 논문은 기초 모델이라는 용어를 도입하고 대# 대중화하여 GPT-3 및 BERT와 같은 대규모 모델을 설명했다. 이러한 모델은 광범위한 데이터로 대규모 훈련을 받고 미세 조정 또는 맥락 내 학습을 통해 다양한 하위 작업에 적응할 수 있다. 이 논문은 기초 모델로의 전환이 AI 연구에서 의미 있는 패러다임 변화를 나타내며, 소수의 널리 재사용되는 기초 모델의 결함이나 편향이 많은 하위 응용 프로그램에 전파될 수 있으므로 동질화import화 위험을 지적했다.
HELM 및 평가
Liang은 언어 모델의 엄격하고 투명한 평가를 위한 저명한 옹호자였다. 그의 그룹은 HELM(언어 모델의 총체적 평가)을 만들었는데, 이는 정확성, 보정, 견고성, 공정성 및 효율성을 포함한 많은 시나리오와 지표를 동시에 평가하도록 설계된 벤치마크 제품군이다. 이는 MMLU와 같은 초기 벤치마크가 단일 리더보드 숫자에 최적화되는 경향이 있었던 것과는 대조적이다. HELM은 벤치마크 포화 및 조작에 대한 우려에 대응하여 설계되었으며, 공통 시나리오 집합에서 여러 제공업체의 모델 동작에 대한 더 넓고 재현 가능한 그림을 제공하는 것을 목표로 한다.
영향
CRFM을 통해 Liang은 기초 모델 생태계를 추적하는 널리 인용된 연구를 계속 발표해 왔으며, 여기에는 주요 AIimport AI 연구소가 모델의 훈련 데이터, 컴퓨팅 및 배포에 대해 얼마나 많이 공개하는지 점수화하는 투명성 지수가 포함된다. 그의 작업은 경험적 AI 연구와 AI 정책의 교차점에# 에 있으며, OpenAI, Anthropic 및 Google DeepMind를 포함한 모델을 구축하는 연구소 자체가 생성한 결과와 평가에 점점 더 지배되는 분야에 더 독립적이고 학문적인 검증을 가져오는 것을 목표로 한다.