설명 기반 학습(EBL)은 매우 강력하거나 완벽한 도메인 이론 - 응용 도메인에 대한 형식적 이론으로, 온톨로지 공학의 도메인 모델과 유사함 - 을 활용하여 훈련 예제로부터 일반화를 만들거나 개념을 형성하는 기계 학습의 한 형태이다. 많은 예제를 요구하는 경험적 방법과 달리, EBL은 도메인 이론을 사용하여 예제가 개념의 구성원인 이유를 설명함으로써 단일 예제에서 일반화할 수 있다. 이 설명은 이후 재사용 가능한 규칙 또는 매크로로 컴파일되어 향후 추론을 가속화한다. EBL은 또한 학습을 돕기 위해 기억 속의 부호화와 연결되며, 파생된 일반화는 효율적인 검색을 위해 저장된다.
이 접근 방식은 완전한 도메인 이론이 원칙적으로 도메인에 대한 모든 질문을 결정하는 데 필요한 모든 정보를 포함한다는 아이디어에 기반을 둔다. 예를 들어, 체스의 규칙은 체스에 대한 완벽한 도메인 이론을 형성하여 어떤 위치에서든 최선의 수를 추론할 수 있게 하지만, 실제로는 조합 폭발로 인해 다루기 어렵다. EBL은 훈련 예제를 사용하여 연역적 결과에 대한 검색을 안내함으로써 실제로 이 과정을 효율적으로 만든다.
기본 공식화
EBL 시스템은 네 가지 입력을 받는다: 가설 공간(가능한 모든 결론의 집합), 도메인 이론(관심 도메인에 대한 공리), 훈련 예제(일부 가설을 배제하는 특정 사실), 그리고 운영성 기준(센서로 직접 감지할 수 있는 것과 같이 효율적으로 인식 가능한 특징을 결정하는 기준). 시스템은 도메인 이론에서 각 훈련 예제에 대한 짧은 증명을 찾은 다음, 그 증명을 유사한 미래 예제를 빠르게 분류하는 데 적용할 수 있는 규칙으로 일반화하는 방식으로 작동한다. 이 과정은 도메인 이론 데이터베이스를 확장하여 관련 인스턴스의 더 빠른 분류를 가능하게 한다.
EBL의 주요 단점은 Minton이 처음 분석한 유용성 문제이다: 학습된 증명 매크로의 수가 증가함에 따라 이를 적용하는 비용이 이점을 능가할 수 있다. 이 문제는 학습된 규칙이 선택되고 사용되는 방식의 개선을 주도했다.
자연어 처리에서의 응용
EBL에 특히 적합한 응용 분야는 자연어 처리(NLP)이다. 여기서 풍부한 도메인 이론 - 예를 들어 자연어 문법 - 은 완벽하거나 완전하지 않지만 트리뱅크를 훈련 예제로 사용하여 특정 응용 또는 언어 사용에 맞게 조정될 수 있다. Rayner가 이 작업을 개척했으며, 최초의 성공적인 산업 응용은 관계형 데이터베이스에 대한 상업적 자연어 인터페이스였다. 이 방법은 여러 대규모 자연어 파싱 시스템에 성공적으로 적용되었으며, 여기서 유용성 문제는 원래 문법(도메인 이론)을 생략하고 전문화된 LR 파싱 기법을 사용하여 해결되었고, 이로 인해 큰 속도 향상을 얻었지만 적용 범위는 줄어들고 중의성 해소에서는 이득을 얻었다.
EBL을 NLP에 적용할 때, 운영성 기준은 수작업으로 만들거나 트리뱅크에서 or-노드의 엔트로피 또는 목표 적용 범위/중의성 해소 균형(재현율/정밀도 균형 또는 f-점수와 동일)을 사용하여 추론할 수 있다. EBL은 또한 일반 통일 문법에서 음성 인식을 위한 문법 기반 언어 모델을 컴파일하는 데 사용될 수 있다. 유용성 문제는 원래 문법을 폐기함으로써 해결되었으며, 인용된 기사는 "문법 전문화"라는 문구를 포함하는 경향이 있다 - 이는 원래 용어인 "설명 기반 일반화"와는 상당히 반대이다. 이 기법에 대한 최상의 이름은 데이터 기반 검색 공간 축소일 것이다.
NLP를 위한 EBL에 작업한 다른 연구자로는 Guenther Neumann, Aravind Joshi, Srinivas Bangalore, Khalil Sima'an이 있다. EBL 유사 기법은 파싱의 반대인 표면 생성에도 적용되었다.
다른 학습 패러다임과의 관계
EBL은 Machine learning 및 Deep learning에서 사용되는 것과 같은 경험적 또는 귀납적 학습 방법과 대조되며, 이러한 방법은 일반화를 위해 대규모 데이터 세트를 요구한다. Neural network 접근 방식, 예를 들어 Large language model 시스템의 Transformer (architecture) 모델은 대규모 말뭉치에서 통계적 패턴을 학습하는 반면, EBL은 명시적 기호 지식을 활용한다. 이는 EBL이 강력한 이론이 존재하지만 데이터가 부족한 도메인에 특히 적합하게 만든다. 그러나 EBL이 완벽하거나 거의 완벽한 도메인 이론에 의존한다는 점은 잘 이해된 도메인으로 적용 범위를 제한하는 반면, 통계적 방법은 노이즈가 있거나 잘 이해되지 않은 문제를 처리할 수 있다.
컴퓨터 비전에서 EBL은 단일 예제에서 모델이 학습하는 원샷 학습과 관련이 있지만, EBL은 예제를 설명하기 위해 도메인 이론을 요구하는 반면, 원샷 학습은 종종 관련 작업의 사전 지식을 사용한다. 예제 없이 보이지 않는 범주를 분류하는 제로샷 학습도 개념적으로 유사하지만 일반적으로 연역적 증명 대신 의미적 임베딩을 사용한다.
한계 및 확장
EBL의 주요 한계는 유용성 문제로, 학습된 규칙을 저장하고 일치시키는 오버헤드가 성능을 저하시킬 수 있다. Minton의 분석은 학습된 증명 매크로를 적용하는 비용이 축적됨에 따라 금지될 수 있음을 보여주었다. 해결책으로는 NLP 응용에서 원래 문법을 폐기하는 것과 같이 유용한 규칙의 선택적 유지가 있다. EBL의 확장은 귀납적 방법과의 결합을 탐구했으며, 예를 들어 Curriculum Learning에서 검색을 안내하거나 Data Augmentation 전략을 개선하는 데 EBL을 사용하는 것이다. Artificial intelligence 연구에서 EBL은 계획 및 진단에서 설명 기반 일반화에 대한 작업에 영향을 미쳤지만, 현대 Generative AI 시스템은 주로 통계적 학습에 의존한다.
같이 보기
- 컴퓨터 비전의 원샷 학습
- 제로샷 학습
- Machine learning
- Artificial intelligence