영향 함수(Influence functions)는 강건 통계(robust statistics) 분야에서 유래한 수학적 도구로, 단일 훈련 예제가 모델의 학습된 매개변수와 결과적으로 그 예측에 미치는 영향을 측정하는 데 사용된다. 머신러닝에서 이는 근본적인 질문에 원리적인 답을 제공한다: 주어진 예측에 가장 큰 책임이 있는 훈련 데이터 포인트는 무엇인가, 또는 전체 모델 성능에 가장 해로운 포인트는 무엇인가? 훈련 포인트가 제거되거나 가중치가 증가할 때 발생할 모델 매개변수의 변화를 근사함으로써, 영향 함수는 심층 신경망을 포함한 복잡한 모델의 불투명한 동작을 들여다볼 수 있는 렌즈를 제공한다.
.
이 개념은 1970년대와 1980년대 강건 통계 분야에서 시작되었으며, 추정량이 이상치에 얼마나 민감한지 평가하기 위해 개발되었다. 그 맥락에서 추정량의 영향 함수는 한 지점에서의 무한소 오염이 추정량 값에 미치는 영향을 설명한다. 이러한 통계적 기반은 이후 머신러닝에 적용되었으며, 가장 주목할 만한 것은 스탠포드 대학교와 UC 버클리 연구진의 2017년 논문으로, 2차 최적화 기법을 사용하여 신경망에 대한 영향 함수를 효율적으로 계산할 수 있음을 보여주었다. 그 이후로 영향 함수는 데이터 중심 AI의 신흥 분야에서 핵심 도구가 되었으며, 데이터 평가, 데이터셋 디버깅, 모델 동작 이해에 응용되고 있다.
수학적 공식화
영향 함수는 leave-one-out 재훈련의 개념에 기반을 둔다. 크기 n의 훈련 데이터셋의 경우, 단일 포인트 제거의 정확한 효과를 측정하려면 모델을 n번 재훈련해야 하며, 이는 현대 모델에는 계산적으로 불가능하다. 대신 영향 함수는 모델의 손실 함수와 헤시안 행렬을 사용하여 폐쇄형 근사를 제공한다. θ로 매개변수화되고 경험적 위험 최소화로 훈련된 모델의 경우, 훈련 포인트 z가 모델 매개변수에 미치는 영향은 다음과 같이 주어진다:
I_up,loss(z) = -H_θ⁻¹ ∇_θ L(z, θ)
여기서 H_θ는 훈련 손실의 헤시안이고, ∇_θ L(z, θ)는 포인트 z에 대한 손실의 기울기이다. 이 공식은 포인트 z가 무한소 양만큼 가중치가 증가할 경우의 매개변수 변화를 근사한다. 특정 테스트 예측에 대한 영향을 추정하려면, 이 매개변수 영향에 테스트 손실의 매개변수에 대한 기울기를 곱한다. 계산에는 헤시안의 역행렬이 필요하며, 이는 종종 켤레 기울기 방법이나 우드베리 항등식과 같은 기법을 사용하여 전체 행렬 역변환을 피하고 근사된다
강건 통계와의 연결
영향 함수의 지적 계보는 강건 통계로 직접 이어지며, 이는 1960년대와 1970년대에 고전적 추정량의 이상치 및 모델 오지정에 대한 민감성을 해결하기 위해 등장한 분야이다. 영향 함수는 1974년 Frank Hampel에 의해 추정량의 국소적 강건성을 특성화하는 도구로 공식적으로 도입되었다. 그 프레임워크에서 영향 함수는 한 지점에서의 무한소 오염으로 인한 점근적 편향을 측정한다. 이 개념은 이후 Peter Rousseeuw와 다른 연구자들에 의해 강건 회귀 및 공분산 추정 방법 개발로 확장되었다. 머신러닝 적용은 핵심 아이디어 - 개별 데이터 포인트에 대한 민감도 측정 - 를 보존하지만, 초점을 이론적 강건성에서 실용적 모델 디버깅 및 데이터 평가로 전환한다
머신러닝에서의 응용
영향 함수는 현대 머신러닝 파이프라인에서 여러 실용적 응용을 찾았다. 가장 두드러진 것 중 하나는 훈련 데이터 디버깅이다: 잘못 분류된 테스트 예제에 대한 각 훈련 포인트의 영향을 계산함으로써, 실무자는 모델 성능을 저하시키는 잘못된 레이블 또는 노이즈 데이터를 식별할 수 있다. 예를 들어, 훈련 이미지가 잘못 레이블된 경우, 특정 테스트 클래스에 대한 모델 오류에 미치는 영향이 불균형적으로 높아, 이러한 포인트를 자동으로 플래그할 수 있다. 이 접근 방식은 컴퓨터 비전 및 자연어 처리 작업에서 최종 모델 배포 전 데이터셋을 정리하는 데 사용되었다
또 다른 핵심 응용은 데이터 평가로, 영향 함수는 모델 성능에 대한 기여도를 기준으로 각 훈련 포인트에 정량적 점수를 할당한다. 이는 기여자가 데이터 가치에 따라 보상을 받을 수 있는 협업 데이터 마켓플레이스에서 특히 관련이 있다. 영향 기반 평가는 대규모 데이터셋에 계산적으로 불가능한 leave-one-out 정확도와 같은 더 단순한 휴리스틱에 대한 원리적인 대안을 제공한다. OpenAI 및 Google DeepMind와 같은 기업은 대규모 언어 모델에서 특정 능력을 구동하는 훈련 코퍼스의 부분을 이해하기 위해 영향 기반 방법을 탐구했다
계산적 과제
이론적 우아함에도 불구하고, 영향 함수는 현대 모델에 적용될 때 상당한 계산적 장애물에 직면한다. 수백만 또는 수십억 개의 매개변수를 가진 심층 신경망의 헤시안 행렬은 직접 계산하거나 역변환하기에는 너무 크다. 연구자들은 이를 해결하기 위해 여러 근사 기법을 개발했다. 가장 일반적인 접근 방식은 헤시안-벡터 곱의 확률적 추정을 사용하고, 켤레 기울기 방법과 결합하여 헤시안을 명시적으로 형성하지 않고 선형 시스템을 푸는 것이다. 트랜스포머 및 기타 대규모 아키텍처의 경우, 이는 여전히 모델을 통한 여러 역전파 패스를 필요로 하며, 수십억 개의 매개변수까지의 모델에는 비용이 들지만 다루기 어렵지 않다
또 다른 과제는 근사 자체의 정확성이다. 영향 함수는 손실 표면이 국소적으로 2차 함수이고 모델이 국소 최솟값에 있다고 가정한다. 실제로 딥러닝 모델은 종종 확률적 경사 하강법으로 훈련되며 진정한 최솟값에 도달하지 못할 수 있고, 손실 표면은 고도로 비볼록할 수 있다. 경험적 연구는 이러한 설정에서 영향 함수 근사가 노이즈가 많거나 오해의 소지가 있을 수 있음을 보여주었으며, 특히 드롭아웃 또는 배치 정규화와 같이 확률성을 도입하는 모델에서 두드러진다. 최근 연구는 훈련 체크포인트 전반의 기울기 유사성을 사용하는 'TracIn' 방법과 같은 변형을 제안하여 더 강건한 영향 추정을 제공한다
다른 데이터 귀속 방법과의 관계
영향 함수는 더 넓은 데이터 귀속 기법 계열의 일부이다. 더 단순한 방법에는 정확하지만 비용이 많이 드는 leave-one-out 재훈련과, 훈련 및 테스트 포인트의 기울기를 비교하는 기울기 기반 유사성 측정이 포함된다. 더 최근의 접근 방식에는 마지막 레이어의 가중치를 사용하여 모델 예측을 훈련 포인트의 기여로 분해하는 representer point 방법과, 협력 게임 이론을 사용하여 각 데이터 포인트에 공정한 크레딧을 할당하는 Shapley 값 기반 방법이 있다. 영향 함수는 중간 지점을 차지한다: 기울기 유사성보다 더 원리적이지만 Shapley 값보다 계산 집약적이지 않다. 각 방법은 정확성, 확장성, 해석 가능성에서 트레이드오프가 있으며, 선택은 종종 특정 응용 및 모델 크기에 따라 달라진다
현대 AI 시스템에서의 사용
영향 함수는 대규모 AI 시스템의 부상과 함께 새로운 주목을 받았다. 수조 개의 토큰으로 훈련된 대규모 언어 모델의 경우, 어떤 훈련 예제가 특정 행동 - 사실적 지식, 추론 능력, 또는 유해한 출력 - 에 기여하는지 이해하는 것은 중요한 미해결 문제이다. Anthropic 및 기타 연구소의 연구자들은 영향 기반 기법을 사용하여 모델 출력을 훈련 데이터로 추적하고, 해석 가능성 및 안전 감사에 도움을 주었다. 생성형 AI의 맥락에서, 영향 함수는 암기 또는 저작권 침해로 이어지는 훈련 데이터를 식별하는 데 도움이 될 수 있으며, 이는 법적 및 윤리적 함의를 가진다
생산 시스템에서, 영향 함수는 데이터 품질 모니터링에 사용된다. 예를 들어, Amazon Web Services 및 Google Cloud는 영향 기반 도구가 고객이 데이터셋을 디버깅하는 데 도움이 되는 머신러닝 플랫폼을 제공한다. Halcyon 및 Omniscient와 같은 스타트업은 영향 함수를 핵심 구성 요소로 사용하는 데이터 귀속 제품을 구축했다. 이 접근 방식은 데이터가 장치에 분산되어 있는 연합 학습에도 관련이 있으며, 영향 함수는 어떤 클라이언트가 모델 성능에 가장 많이 기여하는지 식별하는 데 도움이 될 수 있다
한계 및 미해결 문제
영향 함수는 몇 가지 알려진 한계가 있다. 근사 오류는 모델 복잡성과 데이터셋 크기에 따라 증가하며, 이 방법은 모델이 수렴하도록 훈련되었다고 가정하지만, 이는 실제로 거의 사실이 아니다. 비볼록 모델의 경우, 영향 함수는 국소 최솟값 선택에 민감할 수 있어 불안정한 추정으로 이어진다. 또한, 영향 함수는 국소 선형 근사를 제공하며, 훈련 포인트 간의 고차 상호작용을 놓칠 수 있다. 예를 들어, 두 포인트의 결합 영향은 개별 영향의 합보다 클 수 있으며, 이는 표준 공식으로 포착되지 않는 현상이다
또 다른 미해결 문제는 수백억 개의 매개변수를 가진 모델, 예를 들어 가장 큰 트랜스포머에 대한 영향 계산의 확장성이다. 현재 방법은 기울기 및 헤시안-벡터 곱을 저장하거나 재계산해야 하며, 이는 메모리 집약적이다. 연구자들은 저랭크 분해 및 랜덤 프로젝션을 사용한 근사를 탐구하여 이 규모에서 영향 함수를 실현 가능하게 만들고 있다. 또한, 테스트 분포가 훈련 분포와 다른 분포 이동에 대해 영향 함수를 더 강건하게 만드는 작업도 진행 중이며, 이는 실제 배포에서 흔하다
미래 방향
영향 함수의 미래는 다른 해석 가능성 도구와 결합하는 하이브리드 접근 방식에 있을 가능성이 높다. 예를 들어, 영향 함수는 추가 검사를 위한 후보 훈련 포인트를 식별하는 데 사용될 수 있으며, 이는 이후 기계적 해석 가능성 기법을 사용하여 기본 메커니즘을 이해하기 위해 분석될 수 있다. 또한, 모델이 레이블할 가장 정보성 있는 데이터 포인트를 선택하는 능동 학습과, 훈련 데이터가 수렴을 개선하기 위해 영향에 따라 정렬되는 커리큘럼 학습에 영향 함수를 사용하는 데에도 관심이 있다. 모델이 규모와 복잡성에서 계속 성장함에 따라, 원리적인 데이터 귀속 방법에 대한 수요는 더욱 증가할 것이며, 영향 함수를 AI 도구 키트의 기초 도구로 만들 것이다