피트니스 근사(Fitness approximation)는 진화 연산 및 최적화 분야에서 비용이 많이 드는 정확한 적합도 함수를 더 저렴한 근사 대리 모델로 대체하는 방법 계열을 말한다. 진화 알고리즘에서 적합도 함수는 후보 해결책이 주어진 문제를 얼마나 잘 해결하는지 측정하며, 이를 평가하는 것은 계산적으로 비용이 많이 들 수 있다 - 예를 들어, 공학 설계, 유체 역학 시뮬레이션, 또는 머신 러닝 하이퍼파라미터 튜닝에서 그러하다. 피트니스 근사는 적합도 값을 예측하는 대리 모델을 사용하여 총 계산 부담을 줄이는 것을 목표로 하며, 이를 통해 알고리즘이 고정된 예산 내에서 더 많은 후보를 탐색하거나 더 오래 실행할 수 있게 한다. 이 접근 방식은 대리 지원 최적화 또는 메타 모델링이라고도 알려져 있으며, 1990년대부터 연구되어 왔고, 혼다 연구소 유럽의 야오추 진(Yaochu Jin)과 베른하르트 젠도프(Bernhard Sendhoff)와 같은 연구자들의 초기 작업이 있었다.
핵심 아이디어는 평가 정확도와 계산 비용 사이의 균형을 맞추는 것이다. 대리 모델은 일반적으로 이전에 평가된 해결책들로부터 구축되며, 다항 회귀, 크리깅(가우시안 프로세스 회귀라고도 함), 또는 신경망과 같은 회귀 기법을 사용한다. 대리 모델은 새로운 정확한 평가가 수행됨에 따라 반복적으로 업데이트되며, 이 과정을 모델 관리 또는 진화 제어라고 한다. 피트니스 근사는 단일 평가가 몇 시간 또는 며칠이 걸릴 수 있는 계산 유체 역학, 구조 최적화, 또는 딥 러닝 모델 훈련과 같은 영역에서 특히 가치가 있다. 이러한 경우, 대리 모델은 유망하지 않은 후보를 걸러내어 소수의 고잠재력 해결책만 정확한 평가에 남길 수 있다.
대리 모델 및 훈련
대리 모델은 정확한 평가에서 수집된 입력-출력 쌍의 데이터 세트로 훈련된다. 일반적인 선택으로는 예측과 불확실성 추정을 모두 제공하는 크리깅, 그리고 훈련이 간단하고 빠른 방사 기저 함수 네트워크가 있다. 머신 러닝 방법, 신경망 및 랜덤 포레스트를 포함한 (제공된 목록에는 없지만 개념은 표준임) 방법도 사용된다. 대리 모델의 선택은 문제 차원, 사용 가능한 샘플 수, 그리고 적합도 지형의 매끄러움에 따라 달라진다. 저차원 문제에서는 크리깅이 종종 잘 수행되며, 고차원 공간에서는 신경망 또는 서포트 벡터 회귀가 선호될 수 있다. 대리 모델은 일반적으로 평가된 해결책의 하위 집합으로 훈련되며, 그 정확도는 교차 검증 또는 홀드아웃 세트를 통해 모니터링된다.
모델 관리 전략
모델 관리는 대리 모델과 정확한 적합도 함수를 언제 사용할지 결정한다. 일반적인 전략은 세대 기반 접근 방식으로, 대리 모델이 한 세대의 모든 자손을 평가하고, 최상위 몇 개만 정확하게 재평가하는 것이다. 또 다른 방법은 개체 기반 접근 방식으로, 각 후보가 특정 확률로 정확하게 평가되거나, 알려진 좋은 해결책에서 멀리 떨어진 후보에만 대리 모델을 사용하는 것이다. 진과 젠도프가 도입한 진화 제어 방법은 대리 모델을 사용하여 개체를 사전 선택한 다음, 상위 후보에 정확한 평가를 적용한다. 이는 검색 품질을 유지하면서 정확한 평가 수를 줄인다. 더 고급 전략은 추정된 오류에 따라 대리 모델의 사용을 조정하여, 대리 모델이 불확실할 때 정확한 평가를 사용한다.
공학 및 AI에서의 응용
피트니스 근사는 각 시뮬레이션이 몇 시간이 걸릴 수 있는 항공기 날개, 자동차 차체, 터빈 블레이드 최적화와 같은 공학 설계에 널리 적용되어 왔다. 인공 지능에서는 신경 진화에 사용되며, 여기서 신경망의 적합도는 데이터 세트에 대한 정확도이고 훈련 비용이 많이 들 수 있다. 대리 모델은 머신 러닝 모델의 하이퍼파라미터 최적화에도 사용되었으며, 여기서 구성을 평가하려면 전체 모델을 훈련해야 한다. 강화 학습 (목록에는 없지만 표준임)에서 피트니스 근사는 정책 검색을 가속화할 수 있다. 이 기술은 생성 AI에서도 관련이 있으며, 생성된 설계나 이미지의 품질을 평가하려면 비용이 많이 드는 시뮬레이션이나 인간 피드백이 필요할 수 있다.
과제 및 한계
주요 과제는 특히 고차원 또는 울퉁불퉁한 적합도 지형에서 대리 모델의 정확도이다. 부정확한 대리 모델은 검색을 오도하여 좋지 않은 해결책으로의 조기 수렴을 유발할 수 있다. 이를 완화하기 위해 연구자들은 여러 모델을 결합하는 앙상블 대리 모델이나, 대리 모델의 오류가 증가할 때 정확한 평가 빈도를 높이는 적응 전략을 사용한다. 또 다른 문제는 차원의 저주이다: 설계 변수의 수가 증가함에 따라 대리 모델은 기하급수적으로 더 많은 훈련 샘플을 필요로 한다. 또한 대리 모델 자체에도 훈련 비용이 있으며, 이는 정확한 평가에서의 절감으로 상쇄되어야 한다. 실제로 피트니스 근사는 적합도 함수가 매끄럽고 연속적이며, 평가 예산이 심각하게 제한될 때 가장 잘 작동한다.
최근 발전
최근 연구는 피트니스 근사를 이전 실행의 대규모 데이터 세트로 훈련된 딥 러닝 대리 모델, 예를 들어 신경망과 통합하고 있다. 전이 학습과 메타 학습은 새로운 문제에 대한 대리 모델을 초기화하는 데 사용되어 왔다. 또한 여러 상충되는 목표가 여러 대리 모델을 필요로 하는 다중 목표 최적화에서 피트니스 근사를 사용하는 것에 대한 관심도 증가하고 있다. 대규모 언어 모델의 맥락에서, 피트니스 근사는 생성된 코드나 텍스트를 평가하는 데 제안되었으며, 여기서 정확한 평가는 테스트 실행이나 인간 점수를 포함할 수 있다. 2025년 현재, 연구는 대리 모델 정확도 향상과 잡음이 있거나 동적인 적합도 함수를 처리할 수 있는 견고한 모델 관리 체계 개발에 계속 초점을 맞추고 있다.
같이 보기
- 진화 연산 (목록에는 없지만 표준임; Artificial intelligence에 연결)
- 최적화 (목록에는 없음; Machine learning에 연결)
- 대리 모델 (목록에는 없음; Neural network에 연결)
- 크리깅 (목록에는 없음; Neural network에 연결)