영향 함수(Influence functions)는 강건 통계(robust statistics) 분야에서 유래한 수학적 도구로, 단일 훈련 예제가 모델의 학습된 매개변수와 결과적으로 예측에 미치는 영향을 측정하는 데 사용된다. 머신러닝에서 이는 근본적인 질문에 원리적인 답을 제공한다: 특정 예측에 가장 큰 책임이 있는 훈련 데이터 포인트는 무엇인가, 또는 전체 모델 성능에 가장 해로운 포인트는 무엇인가? 훈련 포인트가 제거되거나 가중치가 증가할 때 발생할 모델 매개변수의 변화를 근사함으로써, 영향 함수는 심층 신경망을 포함한 복잡한 모델의 불투명한 행동을 들여다보는 렌즈를 제공한다.
이 개념은 1970년대와 1980년대 강건 통계 분야에서 시작되었으며, 추정량이 이상치에 얼마나 민감한지 평가하기 위해 개발되었다. 그 맥락에서 추정량의 영향 함수는 한 지점에서의 무한소 오염이 추정량 값에 미치는 영향을 설명한다. 이러한 통계적 기반은 이후 머신러닝에 적용되었으며, 특히 2017년 스탠퍼드 대학교와 UC 버클리 연구자들의 논문에서 2차 최적화 기법을 사용하여 신경망에 대한 영향 함수를 효율적으로 계산할 수 있음을 입증했다. 그 이후로 영향 함수는 데이터 중심 AI의 신흥 분야에서 핵심 도구가 되었으며, 데이터 가치 평가, 데이터셋 디버깅, 모델 행동 이해에 응용되고 있다.
수학적 공식화
영향 함수는 leave-one-out 재훈련의 개념에 기반을 둔다. 크기가 n인 훈련 데이터셋에서 단일 포인트를 제거하는 정확한 효과를 계산하려면 모델을 n번 재훈련해야 하며, 이는 현대 모델에는 계산적으로 불가능하다. 대신 영향 함수는 모델의 손실 함수와 헤세 행렬(Hessian matrix)을 사용하여 닫힌 형태의 근사를 제공한다. θ로 매개변수화된 모델이 경험적 위험을 최소화하도록 훈련될 때, 훈련 포인트 z가 모델 매개변수에 미치는 영향은 다음과 같이 주어진다:
I_up,loss(z) = -H_θ⁻¹ ∇_θ L(z, θ)
여기서 H_θ는 훈련 손실의 헤세 행렬이고, ∇_θ L(z, θ)는 포인트 z에 대한 손실의 기울기이다. 이 공식은 포인트 z가 무한소 양만큼 가중치가 증가할 때의 매개변수 변화를 근사한다. 특정 테스트 예측에 대한 영향을 추정하려면 이 매개변수 영향에 테스트 손실의 매개변수에 대한 기울기를 곱한다. 계산에는 헤세 행렬의 역행렬이 필요하며, 이는 종종 켤레 기울기 방법이나 Woodbury 항등식과 같은 기법을 사용하여 전체 행렬 역변환을 피하고 근사한다.
강건 통계와의 연결
영향 함수의 지적 계보는 1960년대와 1970년대에 고전적 추정량의 이상치와 모델 오지정에 대한 민감성을 해결하기 위해 등장한 강건 통계 분야로 직접 이어진다. 영향 함수는 1974년 Frank Hampel에 의해 추정량의 국소적 강건성을 특성화하는 도구로 공식적으로 도입되었다. 그 프레임워크에서 영향 함수는 한 지점에서의 무한소 오염으로 인한 점근적 편향을 측정한다. 이 개념은 이후 Peter Rousseeuw와 다른 연구자들에 의해 강건 회귀 및 공분산 추정 방법으로 확장되었다. 머신러닝 적용은 개별 데이터 포인트에 대한 민감성 측정이라는 핵심 아이디어를 유지하지만, 초점을 이론적 강건성에서 실용적인 모델 디버깅 및 데이터 가치 평가로 이동시킨다.
머신러닝에서의 응용
영향 함수는 현대 머신러닝 파이프라인에서 여러 실용적 응용을 찾았다. 가장 두드러진 것 중 하나는 훈련 데이터 디버깅이다: 잘못 분류된 테스트 예제에 대한 각 훈련 포인트의 영향을 계산함으로써, 실무자는 모델 성능을 저하시키는 잘못된 레이블 또는 노이즈 데이터를 식별할 수 있다. 예를 들어, 훈련 이미지가 잘못 레이블된 경우 특정 테스트 클래스에 대한 모델 오류에 미치는 영향이 불균형적으로 높아져 이러한 포인트를 자동으로 플래그할 수 있다. 이 접근 방식은 컴퓨터 비전 및 자연어 처리 작업에서 최종 모델 배포 전에 데이터셋을 정리하는 데 사용되었다.
또 다른 핵심 응용은 데이터 가치 평가로, 영향 함수는 모델 성능에 대한 기여도를 기반으로 각 훈련 포인트에 정량적 점수를 할당한다. 이는 기여자가 데이터 가치에 따라 보상을 받을 수 있는 협업 데이터 마켓플레이스에서 특히 관련이 있다. 영향 기반 평가는 대규모 데이터셋에서 계산적으로 불가능한 leave-one-out 정확도와 같은 단순한 휴리스틱에 대한 원리적인 대안을 제공한다. OpenAI 및 Google DeepMind와 같은 회사는 대규모 언어 모델에서 특정 능력을 구동하는 훈련 코퍼스의 부분을 이해하기 위해 영향 기반 방법을 탐구했다.
계산적 과제
이론적 우아함에도 불구하고, 영향 함수는 현대 모델에 적용될 때 상당한 계산적 장애물에 직면한다. 수백만 또는 수십억 개의 매개변수를 가진 심층 신경망의 헤세 행렬은 직접 계산하거나 역변환하기에는 너무 크다. 연구자들은 이를 해결하기 위해 여러 근사 기법을 개발했다. 가장 일반적인 접근 방식은 헤세-벡터 곱의 확률적 추정을 켤레 기울기 방법과 결합하여 헤세 행렬을 명시적으로 형성하지 않고 선형 시스템을 푸는 것이다. 트랜스포머 및 기타 대규모 아키텍처의 경우, 이는 여전히 모델을 통한 여러 역전파 패스가 필요하며, 수십억 매개변수 모델까지는 비용이 들지만 처리 가능하다.
또 다른 과제는 근사 자체의 정확성이다. 영향 함수는 손실 표면이 국소적으로 2차 함수이고 모델이 국소 최솟값에 있다고 가정한다. 실제로 딥러닝 모델은 종종 확률적 경사 하강법으로 훈련되며 진정한 최솟값에 도달하지 못할 수 있고, 손실 표면은 고도로 비볼록할 수 있다. 경험적 연구에 따르면 영향 함수 근사는 이러한 설정에서, 특히 드롭아웃 또는 배치 정규화와 같은 확률성을 도입하는 모델에서 노이즈가 많거나 오해의 소지가 있을 수 있다. 최근 연구는 훈련 체크포인트 전반의 기울기 유사성을 사용하는 'TracIn' 방법과 같은 변형을 제안하여 더 강건한 영향 추정을 제공한다.
다른 데이터 귀속 방법과의 관계
영향 함수는 더 넓은 데이터 귀속 기법 계열의 일부이다. 더 단순한 방법에는 정확하지만 비용이 많이 드는 leave-one-out 재훈련과 훈련 및 테스트 포인트의 기울기를 비교하는 기울기 기반 유사성 측정이 포함된다. 더 최근의 접근 방식에는 마지막 레이어의 가중치를 사용하여 모델의 예측을 훈련 포인트의 기여로 분해하는 대표 포인트 방법과 협동 게임 이론을 사용하여 각 데이터 포인트에 공정한 크레딧을 할당하는 Shapley 값 기반 방법이 있다. 영향 함수는 중간 지점을 차지한다: 기울기 유사성보다 더 원리적이지만 Shapley 값보다 계산 집약적이지 않다. 각 방법은 정확성, 확장성, 해석 가능성에서 절충점이 있으며, 선택은 종종 특정 응용과 모델 크기에 따라 달라진다.
현대 AI 시스템에서의 사용
영향 함수는 대규모 AI 시스템의 부상과 함께 새로운 주목을 받았다. 수조 개의 토큰으로 훈련된 대규모 언어 모델의 경우, 사실적 지식, 추론 능력 또는 유해한 출력과 같은 특정 행동에 기여하는 훈련 예제를 이해하는 것은 중요한 미해결 문제이다. Anthropic 및 다른 연구소의 연구자들은 영향 기반 기법을 사용하여 모델 출력을 훈련 데이터로 추적하고, 해석 가능성 및 안전 감사에 도움을 주었다. 생성 AI의 맥락에서 영향 함수는 암기 또는 저작권 침해로 이어지는 훈련 데이터를 식별하는 데 도움이 될 수 있으며, 이는 법적 및 윤리적 함의를 가진다.
프로덕션 시스템에서 영향 함수는 데이터 품질 모니터링에 사용된다. 예를 들어, 아마존 웹 서비스 및 구글 클라우드는 영향 기반 도구가 고객이 데이터셋을 디버깅하는 데 도움이 되는 머신러닝 플랫폼을 제공한다. Halcyon 및 Omniscient과 같은 스타트업은 영향 함수를 핵심 구성 요소로 사용하여 데이터 귀속 제품을 구축했다. 이 접근 방식은 데이터가 장치에 분산되어 있는 연합 학습에도 관련이 있으며, 영향 함수는 어떤 클라이언트가 모델 성능에 가장 많이 기여하는지 식별하는 데 도움이 된다.
한계 및 미해결 문제
영향 함수에는 몇 가지 알려진 한계가 있다. 근사 오류는 모델 복잡성과 데이터셋 크기에 따라 증가하며, 이 방법은 모델이 수렴하도록 훈련되었다고 가정하지만 실제로는 거의 그렇지 않다. 비볼록 모델의 경우 영향 함수는 국소 최솟값 선택에 민감할 수 있어 불안정한 추정을 초래한다. 또한 영향 함수는 국소 선형 근사를 제공하므로 훈련 포인트 간의 고차 상호작용을 놓칠 수 있다. 예를 들어, 두 포인트의 결합 영향은 개별 영향의 합보다 클 수 있으며, 이는 표준 공식으로 포착되지 않는 현상이다.
또 다른 미해결 문제는 가장 큰 트랜스포머와 같은 수천억 개의 매개변수를 가진 모델에 대한 영향 계산의 확장성이다. 현재 방법은 기울기와 헤세-벡터 곱을 저장하거나 다시 계산해야 하므로 메모리 집약적이다. 연구자들은 저랭크 분해 및 무작위 투영을 사용한 근사를 탐구하여 이 규모에서 영향 함수를 실현 가능하게 만들고 있다. 또한 테스트 분포가 훈련 분포와 다른 분포 이동에 대해 영향 함수를 더 강건하게 만드는 작업이 진행 중이며, 이는 실제 배포에서 흔한 상황이다.
미래 방향
영향 함수의 미래는 다른 해석 가능성 도구와 결합하는 하이브리드 접근 방식에 있을 가능성이 높다. 예를 들어, 영향 함수는 추가 검사를 위한 후보 훈련 포인트를 식별하는 데 사용될 수 있으며, 이후 기계적 해석 가능성 기법으로 분석하여 기본 메커니즘을 이해할 수 있다. 또한 영향 함수를 능동 학습에 사용하는 데 관심이 있으며, 여기서 모델은 레이블을 지정할 가장 정보가 풍부한 데이터 포인트를 선택하고, 영향에 따라 훈련 데이터를 정렬하여 수렴을 개선하는 커리큘럼 학습에도 관심이 있다. 모델이 계속해서 규모와 복잡성이 증가함에 따라 원리적인 데이터 귀속 방법에 대한 수요는 증가할 것이며, 영향 함수는 AI 도구 키트에서 기초적인 도구가 될 것이다.