영향 함수(Influence functions)는 강건 통계(robust statistics)에서 유래한 방법으로, 머신러닝에 적응되어 개별 훈련 예제가 모델의 예측에 미치는 영향을 정량화하는 데 사용됩니다. 훈련된 모델과 특정 테스트 포인트가 주어졌을 때, 영향 함수는 특정 훈련 예제가 제거되거나 가중치가 증가되었을 때 해당 테스트 포인트에 대한 모델의 예측이 얼마나 변할지를 나타내는 수치적 점수를 계산합니다. 이는 모델의 행동을 훈련 데이터에 귀속시키는 원리적인 방법을 제공하며, 잘못 레이블된 데이터 식별, 데이터셋 편향 탐지, 예측 설명과 같은 작업을 지원합니다.
이 개념은 고전 통계학에서 시작되었으며, 여기서 영향 함수는 데이터 분포의 섭동에 대한 추정량의 민감도를 측정하기 위해 개발되었습니다. 현대 Machine learning의 맥락에서 영향 함수는 leave-one-out 재훈련에 대한 계산적으로 효율적인 근사치를 제공하며, 이는 대규모 모델의 경우 비용이 너무 많이 들어 실행 불가능합니다. 훈련 손실의 역 헤시안(inverse Hessian)을 사용함으로써, 영향 함수는 모델을 재훈련하지 않고도 훈련 포인트의 가중치에 대한 극소 변화의 효과를 추정할 수 있습니다.
수학적 공식화
표준 공식화에서, θ로 매개변수화된 모델을 고려하고, n개의 훈련 포인트에 대한 경험적 손실을 최소화하여 훈련한다고 가정합니다: θ̂ = argmin_θ (1/n) Σ L(z_i, θ), 여기서 L은 손실 함수이고 z_i는 i번째 훈련 예제입니다. 훈련 포인트 z_i를 작은 양 ε만큼 가중치를 증가시키는 영향은 최적 매개변수의 ε에 대한 도함수로 주어집니다: dθ̂/dε = -H^{-1} ∇_θ L(z_i, θ̂), 여기서 H는 θ̂에서 평균 손실의 헤시안입니다. z_i가 테스트 포인트 z_test에서 손실에 미치는 영향은 ∇_θ L(z_test, θ̂)ᵀ dθ̂/dε로 계산됩니다.
이 공식은 손실이 두 번 미분 가능하고 헤시안이 역행렬 가능하다고 가정하며, 이는 ReLU 활성화를 가진 Neural network과 같은 비매끄러운 모델에서는 성립하지 않을 수 있습니다. 실제로는 감쇠된 헤시안이나 확률적 추정을 사용하는 근사치가 사용됩니다. 이 방법은 2017년 Pang Wei Koh와 Percy Liang의 논문에 의해 머신러닝 커뮤니티에서 대중화되었으며, 데이터 디버깅과 모델 해석에 대한 유용성을 입증했습니다.
데이터 디버깅에서의 응용
영향 함수의 주요 응용 중 하나는 모델 성능에 불균형적으로 크거나 부정적인 영향을 미치는 훈련 예제를 식별하는 것입니다. 예를 들어, 모델이 테스트 포인트를 잘못 분류하는 경우, 영향 함수는 해당 오분류에 기여하는 훈련 예제를 순위로 매길 수 있습니다. 상위 순위의 예제는 종종 잘못 레이블되거나 노이즈가 있는 데이터 포인트입니다. 이러한 영향력 있는 포인트를 제거하거나 수정함으로써 실무자는 최소한의 수동 검사로 모델 정확도를 향상시킬 수 있습니다.
Koh와 Liang의 실험은 영향 함수가 MNIST와 CIFAR-10과 같은 데이터셋에서 손상된 레이블을 식별할 수 있음을 보여주었으며, 무작위 샘플링이나 그래디언트 기반 휴리스틱보다 높은 정밀도를 달성했습니다. 이 접근 방식은 훈련 데이터가 방대하고 종종 노이즈가 있어 수동 검토가 불가능한 Large language model으로 확장되었습니다. 영향 함수는 검사할 데이터 포인트의 우선순위를 정하는 데 도움을 주어 데이터 큐레이션 비용을 줄입니다.
모델 해석과 공정성
디버깅 외에도 영향 함수는 모델 해석 도구로 사용됩니다. 주어진 예측에 대해 출력에 가장 강하게 영향을 미친 훈련 예제 목록을 제공합니다. 이는 사용자가 모델이 특정 결정을 내린 이유를 이해하는 데 도움이 되며, 의료나 금융과 같은 고위험 분야에서 가치가 있습니다. 예를 들어, 의료 진단 모델에서 영향 함수는 예측으로 이끈 가장 관련성 높은 환자 기록을 강조하여 임상의가 추론을 검증하는 데 도움을 줄 수 있습니다.
공정성의 맥락에서 영향 함수는 보호 속성에 대한 예측에 특정 훈련 예제 그룹이 불균형적으로 영향을 미치는지 여부를 밝힐 수 있습니다. 인구통계학적 하위 그룹의 영향을 분석함으로써 실무자는 훈련 데이터의 편향을 감지하고 모델을 조정할 수 있습니다. 이는 Artificial intelligence에서 책임성과 투명성을 보장하려는 광범위한 노력과 일치합니다.
계산적 과제
실제로 영향 함수를 사용하는 주요 장애물은 역 헤시안 계산으로, d 매개변수를 가진 모델의 경우 메모리에서 O(d²), 시간에서 O(d³)이 필요합니다. 수백만 또는 수십억 개의 매개변수를 가진 현대 딥러닝 모델의 경우 이는 다루기 어렵습니다. 연구자들은 역을 명시적으로 형성하지 않고 H^{-1}v를 해결하기 위해 켤레 그래디언트 방법을 사용하거나 미니배치로 확률적 추정을 사용하는 근사치를 개발했습니다. 또한 헤시안 자체가 조건이 나쁠 수 있어 감쇠나 정규화가 필요할 수 있습니다.
또 다른 과제는 영향 함수가 손실의 국소 최소값에 모델이 있다고 가정하는데, 이는 확률적 그래디언트 하강으로 훈련된 비볼록 모델에서는 거의 사실이 아닙니다. 최근 연구는 Fisher 정보 행렬이나 마지막 레이어만 기반으로 한 영향 함수를 사용하는 대체 공식화를 탐구하여 안정성을 개선했습니다. 이러한 과제에도 불구하고 영향 함수는 많은 후속 방법에 영감을 준 이론적으로 근거한 접근 방식으로 남아 있습니다.
확장과 변형
영향 함수를 다양한 설정에 적응시키기 위해 여러 확장이 제안되었습니다. 예를 들어, 전이 학습에서 영향 함수는 사전 훈련된 체크포인트에서 모델이 미세 조정될 때 훈련 데이터가 대상 작업에 미치는 영향을 추정할 수 있습니다. 이는 종종 사전 훈련된 가중치로 초기화되는 Deep learning 모델에 특히 관련이 있습니다. "클러스터링을 위한 영향 함수"라는 또 다른 변형은 비지도 학습에 개념을 적용합니다.
Transformer (architecture)과 같은 시퀀스 모델의 경우, 영향 함수는 가변 길이 입력과 주의 메커니즘을 처리하도록 적응되었습니다. 일부 연구는 자연어 처리에서 예측을 설명하기 위해 영향 함수를 사용하여 출력을 특정 훈련 문장에 귀속시킵니다. 그러나 계산 비용은 여전히 높으며, 많은 실무자는 그래디언트 유사성이나 대표 포인트와 같은 더 간단한 휴리스틱을 사용합니다.
다른 귀속 방법과의 관계
영향 함수는 훈련 데이터 귀속을 위한 여러 기술 중 하나입니다. 다른 방법으로는 정확하지만 대규모 데이터셋에는 실행 불가능한 leave-one-out 재훈련과 공정한 귀속을 위한 게임 이론적 프레임워크를 제공하는 Shapley 값이 있습니다. 영향 함수는 중간 지점을 제공합니다: leave-one-out보다 확장성이 높지만 Shapley 값보다 이론적으로 덜 강건합니다. 실제로 영향 함수는 훈련 포인트 수가 많을 때 Shapley 값에 대한 빠른 근사치로 자주 사용됩니다.
훈련 및 테스트 그래디언트 간의 유사성을 측정하는 그래디언트 기반 방법과 비교하여, 영향 함수는 손실 경관의 곡률을 고려하여 많은 경우 더 정확합니다. 그러나 손실 함수 선택과 헤시안 근사 품질에 민감합니다. 최근 연구는 Data Augmentation과 함께 영향 함수를 사용하여 증강된 데이터 포인트가 모델 행동에 미치는 영향을 이해하는 방법도 탐구하고 있습니다.
실제 구현
여러 오픈 소스 라이브러리가 영향 함수를 구현했으며, Koh와 Liang의 "influence" 패키지는 로지스틱 회귀와 작은 신경망을 지원합니다. 더 큰 모델의 경우 연구자들은 분산 컴퓨팅을 사용한 확장 가능한 버전을 개발했습니다. 예를 들어, 2020년 Guo 등의 논문은 헤시안의 저랭크 근사를 사용하여 딥러닝 모델에 대한 영향 함수를 계산하는 방법을 제안하여 수백만 개의 매개변수를 가진 모델에 적용할 수 있게 했습니다.
산업계에서 영향 함수는 Generative AI와 Large language model을 작업하는 팀이 훈련 데이터를 디버깅하고 모델 정렬을 개선하는 데 사용합니다. 예를 들어, OpenAI와 Anthropic은 데이터 귀속에 대한 연구를 발표했지만 종종 독점적인 방법을 사용합니다. 이 기술은 해석 가능성에 초점을 맞춘 Google DeepMind 및 다른 연구소에도 관련이 있습니다.
한계와 미래 방향
영향 함수의 주요 한계는 손실의 국소 이차 근사에 의존한다는 점입니다. 고도로 비선형적인 모델의 경우 이 근사는 부정확할 수 있어 잘못된 영향 점수를 초래할 수 있습니다. 또한 이 방법은 훈련 손실이 매끄럽고 볼록하다고 가정하는데, 이는 딥 네트워크에서는 사실이 아닙니다. 연구자들은 확률적 추정을 사용하거나 Curriculum Learning과 통합하여 훈련 초기에 중요한 데이터 포인트를 식별하는 등 영향 함수를 더 강건하게 만드는 방법을 탐구하고 있습니다.
또 다른 방향은 영향 함수를 Model Pruning과 결합하여 모델의 용량에 가장 책임이 있는 훈련 예제를 식별하는 것입니다. 이는 높은 영향 데이터에 초점을 맞춤으로써 더 효율적인 훈련으로 이어질 수 있습니다. 모델이 계속해서 규모가 커짐에 따라 확장 가능한 귀속 방법의 필요성이 더욱 절실해지며, 영향 함수는 이 분야에서 여전히 기초적인 개념으로 남아 있습니다.
결론
영향 함수는 훈련 데이터가 모델 예측을 어떻게 형성하는지 이해하기 위한 엄격한 프레임워크를 제공합니다. 계산적 장애물에도 불구하고 데이터 디버깅, 모델 해석, 공정성 분석에서 유용함이 입증되었습니다. 머신러닝 모델이 더 복잡해지고 데이터 중심이 됨에 따라 영향 함수는 신뢰성과 투명성을 보장하는 중요한 도구로 남을 것입니다. 미래 연구는 확장성과 정확성을 개선하여 오늘날 사용되는 가장 큰 모델에 적용 가능하게 만드는 데 초점을 맞출 것입니다.