기술 트리 구축(CST)은 시연에서 얻은 일련의 샘플 솔루션 궤적으로부터 기술 트리를 자동으로 구축하는 계층적 강화 학습 알고리즘이다. 이 알고리즘은 2010년 조지 코니다리스, 스콧 카인더스마, 앤드루 바토, 로데릭 그루펜에 의해 소개되었다. 이 알고리즘은 시연된 행동 내에서 재사용 가능한 하위 기술을 식별하고 이를 트리 구조로 구성하여, 에이전트가 학습된 구성 요소를 재사용함으로써 새로운 작업을 더 효율적으로 해결할 수 있게 한다.
CST는 각 시연 궤적을 점진적 최대 사후(MAP) 변화점 탐지 알고리즘을 사용하여 개별 기술로 분할한다. 그런 다음 이러한 기술을 궤적 간에 정렬하고 병합하여 기술 트리를 형성하는데, 여기서 각 노드는 기술을 나타내고 간선은 시간적 또는 계층적 관계를 나타낸다. 이 접근 방식은 온라인으로 작동하도록 설계되어, 모든 데이터를 사전에 요구하지 않고 시연을 점진적으로 처리한다.
알고리즘 개요
CST 알고리즘은 변화점 탐지, 정렬, 병합의 세 가지 주요 구성 요소로 이루어진다. 핵심 초점은 온라인 변화점 탐지로, 할인된 보상의 합을 목표 회귀 변수로 사용하여 데이터를 기술로 분할한다. 탐지된 각 기술에는 적절한 추상화가 할당되며, 입자 필터가 계산 복잡도를 제어한다.
변화점 탐지 알고리즘은 사전 확률 p(q)를 가진 모델 집합 Q가 주어졌을 때 시간 T의 t에 대한 데이터를 처리한다. 이 알고리즘은 모델 q를 사용하여 시간 j+1부터 t까지의 세그먼트를 적합시키고, 가우시안 잡음이 있는 선형 회귀 모델을 기반으로 적합 확률 P(j,t,q)를 계산한다. 잡음 사전은 평균이 0이고 분산이 역감마 분포를 따르며, 각 가중치 사전은 정규 분포를 따른다.
적합 확률은 행렬 행렬식과 감마 함수를 포함하는 특정 공식을 사용하여 계산된다. 그런 다음 CST는 비터비 알고리즘을 사용하여 모델 q를 가진 시간 j에서의 변화점 확률을 계산하며, 세그먼트 길이를 모델링하기 위해 위험 함수 g와 그 누적 분포 G를 통합한다.
변화점 탐지 세부 사항
각 잠재적 변화점에 대해 CST는 생존 확률, 적합 확률, 모델 사전 확률, 시간 j에서의 MAP 확률의 곱으로 P_t(j,q)를 계산한다. MAP 확률 P_j^MAP은 위험 함수로 가중치가 부여된 이전 변화점과 모델에 대해 최대화하여 결정된다. 이 재귀적 공식은 효율적인 온라인 처리를 가능하게 한다.
회귀 모델은 할인된 보상을 목표 변수로 사용하여, 알고리즘이 더 높은 누적 보상으로 이어지는 기술에 집중할 수 있게 한다. 입자 필터는 후보 변화점 집합을 유지하여 긴 궤적에서도 계산 비용을 관리 가능한 수준으로 유지한다.
기술 정렬 및 병합
변화점 탐지 후 CST는 서로 다른 시연 궤적 간의 기술을 정렬한다. 유사한 시간적 패턴과 보상 역학을 나타내는 기술은 함께 그룹화된다. 정렬 과정은 적합된 회귀 매개변수를 사용하여 동일한 기본 기술을 나타낼 가능성이 높은 세그먼트를 일치시킨다.
그런 다음 병합은 정렬된 기술을 기술 트리에 통합한다. 여러 시연에 유사한 기술이 포함된 경우 관련 통계와 함께 단일 노드로 결합된다. 트리 구조는 순차적 의존성(어떤 기술이 다른 기술을 따르는지)과 계층적 관계(하위 기술로 구성된 기술)를 모두 포착한다.
응용 및 의의
CST는 인간 운영자나 원격 조작의 시연을 사용하여 자율 행동을 부트스트래핑하는 로봇 학습 영역에 적용되었다. 결과적인 기술 트리는 이전에 획득한 기술을 재사용하여 새로운 작업의 학습을 더 빠르게 가능하게 하여 광범위한 탐색의 필요성을 줄인다.
이 알고리즘은 복잡한 작업을 관리 가능한 하위 문제로 분해하는 것을 목표로 하는 계층적 강화 학습의 더 넓은 분야에 기여한다. 사전 정의된 작업 계층을 요구하는 일부 방법과 달리 CST는 데이터에서 직접 구조를 발견하므로 수동 분해가 비현실적인 영역에 적합하다.
CST의 온라인 특성은 배치 알고리즘과 구별되며, 새로운 시연이 도착함에 따라 적응할 수 있게 한다. 이 속성은 로봇이나 에이전트가 점진적 피드백을 받는 상호작용 학습 시나리오에서 가치가 있다. 베이지안 변화점 탐지의 사용은 모델 복잡성과 적합 품질의 균형을 맞추는 원리적인 방법을 제공하여 과도한 분할을 방지한다.
관련 개념
CST는 시연을 활용하는 기계 학습 및 강화 학습의 다른 접근 방식과 관련이 있으며, 예를 들어 훈련을 점진적으로 구성하는 커리큘럼 학습이 있다. 이 알고리즘의 통계적 모델 사용은 베이지안 추론 및 시계열 분석의 더 넓은 작업과 연결된다. 현대 인공 지능의 맥락에서 CST의 계층적 분해 아이디어는 계층적 표현을 학습하는 딥 러닝 아키텍처와 공명하지만, CST는 원시 감각 데이터가 아닌 상징적 기술 추상화에서 작동한다.
기술 발견에 대한 연구는 학습된 행동의 효율적인 재사용이 중요한 로보틱스 및 자율 에이전트와 같은 영역에서 계속되고 있다. CST의 온라인, 점진적 학습에 대한 초점은 지속적으로 적응하는 평생 학습 시스템의 추세와 일치한다. 대규모 언어 모델 연구와 직접적으로 연결되지는 않지만, 시연에서 재사용 가능한 구성 요소를 구축하는 원리는 현대 AI 시스템의 프롬프트 엔지니어링 및 도구 사용과 유사점이 있다.
한계 및 확장
원래 CST 알고리즘은 시연 중 보상 신호에 대한 접근을 가정하지만, 이는 항상 가능한 것은 아니다. 확장 연구에서는 보상이 희소할 때 대체 분할 기준을 탐구했다. 선형 회귀 모델은 표현할 수 있는 기술의 복잡성을 제한하지만, 프레임워크는 적절한 수정을 통해 비선형 모델을 수용할 수 있다.
입자 필터는 근사 오류를 도입하며, 위험 함수의 선택은 분할 세분성에 영향을 미친다. 연구자들은 다양한 작업 영역에서 견고성을 개선하기 위해 적응형 매개변수 설정을 조사했다. 이러한 한계에도 불구하고 CST는 계층적 기술 학습에 대한 기초적인 기여로 남아 있으며, 강화 학습에서 옵션 발견 및 계층적 추상화에 대한 후속 작업에 영향을 미쳤다.