서러게이트 모델은 더 복잡한 시스템, 프로세스 또는 모델의 단순화된 수학적 또는 계산적 근사치이다. 원래 시스템의 입력-출력 동작을 훨씬 낮은 계산 비용으로 모방하도록 설계되었으며, 일부 충실도를 희생한다. 서러게이트 모델은 공학 설계, 과학 컴퓨팅 및 머신 러닝에서 최적화, 민감도 분석 및 불확실성 정량화와 같은 작업을 가능하게 하기 위해 널리 사용되며, 실제 시스템을 반복적으로 평가하는 것은 엄청나게 비용이 많이 들 수 있다. 인공 지능의 맥락에서 서러게이트 모델은 불투명한 딥 러닝 시스템을 위한 해석 가능한 대리자 역할을 하여 개별 예측 또는 전반적인 동작에 대한 설명을 제공한다.
서러게이트 개념은 새로운 것이 아니며, 1950년대의 고전적 반응 표면 방법론에 뿌리를 두고 있으며, 여기서 다항식 근사치가 실험 설계 공간을 탐색하는 데 사용되었다. 그러나 "서러게이트 모델"이라는 용어는 1990년대와 2000년대에 시뮬레이션 기반 공학 커뮤니티, 특히 공기역학 및 구조 최적화 분야에서 두각을 나타냈다. 2010년대 딥 러닝의 부상과 함께 서러게이트 모델은 설명 가능성 도구로서 새로운 응용 분야를 찾았으며, 고성능이지만 불투명한 신경망과 인간이 이해할 수 있는 추론의 필요성 사이의 격차를 메웠다.
머신 러닝 및 AI에서의 역할
머신 러닝에서 서러게이트 모델은 근사와 설명이라는 두 가지 주요 역할을 수행한다. 근사자로서 더 큰 시스템의 비용이 많이 드는 구성 요소를 대체할 수 있다. 예를 들어, 강화 학습에서 서러게이트 모델은 더 빠른 정책 훈련을 가능하게 하기 위해 환경 역학을 근사할 수 있다. 생성 모델링에서 서러게이트 모델은 복잡한 생성 프로세스의 가능성을 근사하여 효율적인 샘플링 또는 점수를 허용할 수 있다.
설명자로서 서러게이트 모델은 블랙박스 모델, 특히 심층 신경망을 해석하는 데 사용된다. 이 범주에서 가장 두드러진 기술은 2016년 Marco Tulio Ribeiro, Sameer Singh 및 Carlos Guestrin이 도입한 LIME(Local Interpretable Model-agnostic Explanations)이다. LIME은 입력을 교란하고 블랙박스 출력을 관찰하여 특정 예측 주변에 로컬 선형 서러게이트 모델을 구축한다. 그런 다음 서러게이트는 어떤 특징이 해당 예측에 가장 큰 영향을 미쳤는지 설명하는 데 사용된다. 또 다른 일반적인 접근 방식은 SHAP(SHapley Additive exPlanations)으로, 게임 이론적 Shapley 값을 사용하여 중요도 점수를 할당하며, 종종 서러게이트 모델을 통해 계산된다.
의사 결정 트리 또는 규칙 목록과 같은 전역 서러게이트 설명은 신경망의 전체 결정 경계를 근사할 수 있다. 이는 복잡한 모델을 해석 가능한 형태로 증류하는 관행인 모델 증류 또는 지식 추출에 사용된다. 예를 들어, 의사 결정 트리 서러게이트는 특정 작업에 대한 분류 논리를 근사하기 위해 대규모 언어 모델의 출력에 대해 훈련될 수 있다.
서러게이트 모델의 유형
서러게이트 모델은 여러 형태로 제공되며, 각각 뚜렷한 장점과 단점이 있다. 선형 및 2차 모델을 포함한 다항식 반응 표면은 간단하고 빠르지만 고도로 비선형적인 동작에는 어려움을 겪는다. 크리깅이라고도 알려진 가우시안 프로세스 모델은 불확실성 추정이 포함된 확률적 예측을 제공하여 베이지안 최적화에 인기가 있다. 방사 기저 함수 네트워크는 국소화된 기저 함수를 사용하여 데이터 포인트를 보간하며, 중간 차원에서 유연성을 제공한다.
서포트 벡터 회귀 및 신경망 서러게이트는 복잡한 비선형성을 포착할 수 있지만 더 많은 데이터와 튜닝이 필요하다. 최근 몇 년 동안 합성곱 또는 트랜스포머 아키텍처 기반의 딥 러닝 서러게이트가 고차원 물리 시뮬레이션을 근사하는 데 사용되었다. 예를 들어, 합성곱 신경망은 계산 유체 역학 솔버의 서러게이트 역할을 하여 흐름 필드를 몇 시간 대신 몇 밀리초 만에 예측할 수 있다.
랜덤 포레스트 또는 그래디언트 부스팅과 같은 앙상블 방법도 서러게이트로 사용되어 견고성을 제공하고 혼합 입력 유형을 처리한다. 서러게이트 모델의 선택은 입력 공간의 차원, 사용 가능한 훈련 데이터의 양, 요구되는 정확도 및 불확실성 정량화의 필요성에 따라 달라진다.
공학 및 과학에서의 응용
공학 설계에서 서러게이트 모델은 비용이 많이 드는 시뮬레이션의 최적화를 가능하게 한다. 예를 들어, 항공 우주 공학에서 날개의 공기역학적 형상은 평가당 몇 시간이 걸릴 수 있는 계산 유체 역학(CFD) 시뮬레이션을 사용하여 최적화된다. 일련의 CFD 결과에 대해 훈련된 서러게이트 모델은 최적화 프로그램이 수천 개의 설계 후보를 몇 초 만에 탐색할 수 있게 하며, 최상의 후보는 전체 시뮬레이션을 사용하여 검증된다.
구조 역학에서 서러게이트 모델은 다양한 하중 하에서 응력, 변형 및 파괴 위험을 평가하기 위해 유한 요소 해석 결과를 근사한다. 환경 과학에서 서러게이트는 정책 결정을 지원하기 위해 기후 또는 지하수 흐름을 모델링한다. 약물 발견에서 서러게이트 모델은 결합 친화도와 같은 분자 특성을 예측하여 값비싼 습식 실험 전에 대규모 화학 라이브러리를 선별한다.
원자력 공학에서 서러게이트 모델은 전체 시뮬레이션이 계산 집약적인 원자로 설계 및 안전 분석에 사용된다. 바바 원자력 연구 센터는 원자로 물리 계산에 서러게이트 모델링을 사용해 왔다. 마찬가지로 재료 과학에서 서러게이트는 조성 및 가공 매개변수로부터 재료 특성을 예측하여 새로운 합금 또는 폴리머 발견을 가속화한다.
최적화에서의 서러게이트 모델
베이지안 최적화는 일반적으로 가우시안 프로세스인 서러게이트 모델에 의존하는 두드러진 프레임워크이다. 서러게이트는 목적 함수에 대한 사후 분포를 제공하며, 획득 함수는 탐험(불확실한 영역 샘플링)과 활용(유망한 영역 샘플링)의 균형을 맞춘다. 이 접근 방식은 각 평가가 전체 모델 훈련을 포함하는 머신 러닝 모델의 하이퍼파라미터 튜닝에 널리 사용된다. 예를 들어, 심층 신경망의 학습률 또는 배치 크기 튜닝은 서러게이트를 사용한 베이지안 최적화로 수행할 수 있어 필요한 훈련 실행 수를 수백 번에서 수십 번으로 줄인다.
서러게이트 기반 최적화는 신경망 자체의 설계, 특히 아키텍처 검색에도 사용된다. 여기서 서러게이트는 후보 아키텍처를 완전히 훈련하지 않고 성능을 예측하여 아키텍처 공간의 효율적인 탐색을 가능하게 한다. 이 기술은 자동화된 머신 러닝(AutoML) 플랫폼에 적용되었다.
해석 가능성 및 설명 가능성
AI에서 서러게이트 모델의 가장 영향력 있는 용도 중 하나는 설명 가능성이다. 딥 러닝 모델이 대규모 언어 모델에서 수십억 개의 매개변수로 복잡해짐에 따라 결정을 이해하는 것이 신뢰와 안전에 중요해진다. 서러게이트 모델은 인간이 읽을 수 있는 형태로 로컬 또는 전역 동작을 근사함으로써 실용적인 솔루션을 제공한다.
LIME과 같은 로컬 서러게이트는 모델에 구애받지 않으며 모든 분류기 또는 회귀기에 적용할 수 있다. 특정 인스턴스 주변의 교란을 샘플링하고, 근접성에 따라 가중치를 부여하고, 선형 회귀 또는 의사 결정 트리와 같은 간단한 모델을 피팅하여 작동한다. 그런 다음 계수 또는 트리 구조는 어떤 특징이 예측을 주도했는지 보여준다. 이는 의료, 금융 및 형사 사법과 같은 고위험 영역에서 특히 유용하다.
의사 결정 트리 또는 규칙 집합과 같은 전역 서러게이트는 전체 모델을 근사하는 것을 목표로 한다. 그러나 딥 네트워크의 전체 복잡성을 포착하지 못하는 경우가 많아 부정확한 설명으로 이어진다. 연구자들은 원래 모델의 출력에 대해 더 간단한 모델을 훈련시키는 "증류"와 같은 기술을 개발했지만, 여전히 충실도 손실이 발생할 수 있다. 2025년 현재 생성 AI를 사용하여 자연어 설명을 생성하는 활발한 연구가 있지만, 이는 전통적인 의미에서 엄격한 서러게이트 모델은 아니다.
한계 및 과제
서러게이트 모델에는 고유한 한계가 있다. 주요 과제는 충실도와 해석 가능성 사이의 균형이다. 매우 정확한 서러게이트는 원래 모델만큼 불투명할 수 있어 설명의 목적을 무산시킨다. 반대로, 간단한 서러게이트는 신뢰할 수 없을 정도로 부정확할 수 있다.
또 다른 과제는 차원의 저주이다. 입력 공간이 커짐에 따라 정확한 서러게이트를 훈련하는 데 필요한 샘플 수가 기하급수적으로 증가한다. 이는 이미지 또는 텍스트 분류와 같은 고차원 문제에서 특히 문제가 되며, 로컬 서러게이트는 수천 차원의 공간에서 작동해야 한다.
서러게이트 모델은 또한 기본 함수가 매끄럽고 연속적이라고 가정하지만, 이는 모든 시스템에 해당하지 않을 수 있다. 불연속성 또는 급격한 변화는 서러게이트가 실패하게 할 수 있다. 또한 서러게이트는 훈련된 데이터만큼만 좋다. 훈련 데이터가 편향되거나 대표성이 없으면 서러게이트는 해당 편향을 전파한다.
설명 가능성의 맥락에서 "설명 세탁"의 위험이 있다 - 그럴듯하지만 부정확한 설명을 제공하기 위해 서러게이트를 사용하는 것. 이는 모델 결정에 대한 잘못된 확신으로 이어질 수 있다. 멜라니 미첼 및 알렉산더 마드리와 같은 연구자들은 이러한 우려를 강조하며 서러게이트 기반 설명의 엄격한 검증 필요성을 강조했다.
미래 방향
서러게이트 모델의 미래 개발은 충실도와 확장성 개선에 초점을 맞출 가능성이 높다. 서러게이트가 원래 모델에서 쿼리할 데이터 포인트를 선택하는 능동 학습과 같은 기술은 훈련 비용을 줄일 수 있다. 다중 충실도 서러게이트는 저충실도 및 고충실도 데이터를 결합하여 제한된 값비싼 평가로 더 나은 정확도를 달성한다.
딥 러닝에서 물리 시뮬레이션의 서러게이트로 신경망을 사용하는 것에 대한 관심이 증가하고 있으며, 종종 "신경 연산자"라고 불린다. 푸리에 신경 연산자와 같은 이러한 모델은 함수 공간 간의 매핑을 학습하고 다양한 해상도에 걸쳐 일반화할 수 있다. 이는 일기 예보 및 기후 모델링과 같은 분야를 혁신할 수 있다.
설명 가능성을 위해 특정 수준의 충실도를 보장할 수 있는 더 충실한 서러게이트에 대한 추진이 있다. "앵커"와 같은 방법은 로컬에서 충실한 if-then 규칙을 제공한다. 또한 개별 예측뿐만 아니라 전체 모델의 동작, 예를 들어 모델 출력에 가장 큰 영향을 미치는 훈련 데이터 포인트를 식별하는 것을 설명하기 위해 서러게이트 모델을 사용하는 연구가 있다.
AI 시스템이 중요한 의사 결정에 더 통합됨에 따라 신뢰할 수 있는 서러게이트 모델에 대한 수요는 증가할 것이다. OpenAI 및 Google DeepMind와 같은 조직은 해석 가능성 연구에 투자하고 있으며, 서러게이트 모델은 그 노력의 핵심 도구이다. 과제는 단순성과 정확성의 균형을 맞추고 서러게이트가 오해의 소지가 있는 지름길이 아닌 신뢰할 수 있는 안내자 역할을 하도록 보장하는 것이다.
결론
서러게이트 모델은 공학과 인공 지능 모두에서 다재다능하고 필수적인 도구이다. 복잡한 시스템을 근사화하여 최적화, 분석 및 설명을 가능하게 하는 실용적인 수단을 제공한다. 고차원 및 불연속 설정에서 특히 한계가 있지만, 지속적인 연구는 그 능력을 계속 확장하고 있다. 2025년 현재 서러게이트 모델은 모델 해석 가능성과 효율적인 계산의 초석으로 남아 있으며, 복잡한 모델의 힘과 인간 이해의 필요성 사이의 격차를 메우고 있다.