Eurisko는 1970년대 후반과 1980년대 초반에 스탠퍼드 대학교와 이후 마이크로일렉트로닉스 앤 컴퓨터 테크놀로지 코퍼레이션(MCC)에서 컴퓨터 과학자 더글러스 레넷이 만든 선구적인 인공지능 프로그램이다. 이 프로그램은 일반 및 도메인 특화 휴리스틱의 지식 기반을 사용하고, 성과에 따라 기존 휴리스틱을 수정, 결합 또는 대체할 수 있는 메타 휴리스틱 집합을 적용하여 문제 해결을 위한 경험 법칙인 휴리스틱을 발견하고 개선하도록 설계되었다. Eurisko는 시간이 지남에 따라 자체 문제 해결 전략을 개선할 수 있게 한 자기 수정 아키텍처와 수학, 게임 플레이, 과학적 발견과 같은 영역에서 새로운 휴리스틱을 발견한 성공으로 주목할 만하다.
Eurisko의 개발은 지식 기반 시스템과 휴리스틱 탐색에 초점을 맞춘 1970년대 인공지능 연구의 광범위한 노력의 일부였다. 고정된 알고리즘에 의존한 초기 프로그램과 달리 Eurisko는 휴리스틱 발견 과정을 자동화하는 것을 목표로 했으며, 이는 현대 머신 러닝 및 메타 러닝 접근법의 선구자였다. 그리스어로 "나는 발견한다"에서 유래한 이름은 알려진 해결책을 단순히 적용하는 것이 아니라 새로운 해결책을 찾는 목표를 반영했다.
기원과 개발
Eurisko는 1976년에 수학적 개념과 추측을 발견한 AM(자동 수학자) 프로그램을 이전에 개발한 더글러스 레넷이 구상했다. AM은 탐색을 안내하기 위해 휴리스틱 집합을 사용했지만, 레넷은 휴리스틱이 정적이어서 성과가 정체되는 것을 관찰했다. 이를 해결하기 위해 그는 Eurisko를 휴리스틱을 다른 휴리스틱에 의해 검사, 평가 및 수정될 수 있는 일급 객체로 취급하도록 설계했다. 이 프로그램은 기호 조작과 자기 참조를 용이하게 하는 Lisp 프로그래밍 언어로 구현되었다.
레넷은 스탠퍼드 대학교에서 Eurisko를 개발했으며, 1984년부터 텍사스주 오스틴의 MCC에서 작업을 계속했다. 이 프로그램은 정수론의 개념 발견, 퍼즐 풀기, 게임 플레이를 포함한 다양한 작업에서 테스트되었다. Eurisko의 아키텍처는 각각 조건과 행동을 가진 휴리스틱의 전역 메모리와 이러한 휴리스틱의 생성, 삭제 및 변경을 제어하는 메타 휴리스틱 집합으로 구성되었다. 이 프로그램은 성공적인 결과에 기여한 휴리스틱을 추적하는 신용 할당 형태를 사용하여 효과적인 규칙을 강화하고 비효과적인 규칙을 폐기할 수 있게 했다.
성과와 응용
Eurisko의 가장 유명한 성과 중 하나는 SF 워게임인 Traveller TCS 게임에서의 성적이었다. 1981년, Eurisko는 최소한의 인간 지도로 전국 대회에서 인간이 설계한 함대를 물리친 함대를 설계하여 챔피언십을 차지했다. 이 프로그램의 성공은 인간 플레이어가 고려하지 않은 방식으로 게임 규칙을 활용한 특정 무기와 장갑 구성을 가진 함선을 설계하는 것과 같은 비관습적인 휴리스틱을 발견하는 능력에 기인했다. 그러나 게임 규칙은 나중에 Eurisko의 전략을 방지하기 위해 변경되었으며, 이는 프로그램이 비자명한 해결책을 찾는 능력을 강조했다.
수학에서 Eurisko는 집합론과 정수론의 개념을 탐구하는 데 사용되었으며, 알려진 결과를 재발견하고 때때로 새로운 추측을 제안했다. 예를 들어, 특정 수학적 구조 간의 관계를 식별했지만, 그 발견이 항상 획기적인 것은 아니었다. Eurisko는 화학 반응에 대한 규칙을 가설하는 것과 같은 과학적 발견에서도 잠재력을 보여주었지만, 이러한 응용은 게임 플레이 성공보다 덜 발전했다.
아키텍처와 방법
Eurisko의 핵심 혁신은 자기 수정 휴리스틱 시스템이었다. 이 프로그램은 각각 조건과 행동을 가진 규칙으로 표현된 휴리스틱의 지식 기반을 유지했다. 메타 휴리스틱은 그 자체로 휴리스틱이었으며, 다른 휴리스틱에 적용될 수 있어 Eurisko가 기존 규칙을 결합, 특수화 또는 일반화하여 새 규칙을 생성할 수 있게 했다. 이 프로그램은 과거 성과와 참신성에 기반하여 규칙의 잠재적 가치를 추정하는 효용 함수에 의해 안내되는 "휴리스틱 탐색"이라는 메커니즘을 사용하여 가능한 휴리스틱 공간을 탐색했다.
Eurisko는 목표 달성에서의 성공에 따라 휴리스틱의 강도를 업데이트하는 강화 학습 형태를 사용했다. 또한 Curriculum Learning과 유사한 기술을 사용하여 시도하는 작업의 복잡성을 점진적으로 증가시켰다. 이 프로그램이 기호 수준에서 자체 코드를 수정하는 능력은 일반적으로 수치 매개변수를 조정하는 이후의 통계적 접근법과 구별되었다. Eurisko의 접근 방식은 Artificial intelligence에서 여전히 활발한 연구 영역인 프로그램 합성 및 자동 발견에 더 가까웠다.
영향과 유산
Eurisko는 메타 러닝 및 자기 개선 AI 시스템에 대한 이후 연구에 영향을 미쳤다. 자동 휴리스틱 발견에 대한 아이디어는 Neural network 아키텍처 탐색 및 Machine learning 하이퍼파라미터 최적화와 같은 현대 기술을 예고했다. 그러나 Eurisko의 성공은 계산 제약과 기호 접근법을 대규모 실제 문제로 확장하는 어려움으로 제한되었다. 레넷은 이후 상식 지식을 인코딩하는 것을 목표로 한 Cyc 프로젝트로 초점을 전환했으며, Eurisko는 1980년대 중반 이후 적극적으로 개발되지 않았다.
오래되었음에도 불구하고 Eurisko는 스스로를 개선할 수 있는 AI 시스템의 주목할 만한 예로 남아 있으며, 이는 Generative AI 및 Large language model 개발 연구를 계속 추진하는 목표이다. 그 유산은 현대 AI의 자동 발견 및 적응형 알고리즘 강조에서 분명하지만, 현대 시스템은 기호 휴리스틱보다 Deep learning 및 Transformer (architecture) 아키텍처에 의존한다. Eurisko는 AI의 역사와 진정한 자율 문제 해결 시스템을 만드는 과제에 대한 논의에서 자주 인용된다.
현대 AI와의 비교
Eurisko는 명시적 기호 규칙으로 작동한 반면, Large language model과 같은 현대 AI 시스템은 방대한 데이터 세트에서 학습된 통계적 패턴을 사용한다. Eurisko의 자기 수정은 의도적이고 해석 가능했지만, 현대 모델은 Stochastic Gradient Descent Variants 및 Backpropagation 유사 방법을 통해 가중치를 조정하며, 이는 덜 투명하다. Eurisko는 초기 휴리스틱의 수동 지정이 필요했지만, 현대 시스템은 원시 데이터에서 학습한다. 그러나 두 접근법 모두 경험을 통한 성과 향상이라는 목표를 공유하며, Eurisko의 새로운 전략 발견 강조는 Reinforcement Learning from AI Feedback (RLAIF) 및 자동 프롬프트 엔지니어링의 현재 연구와 공명한다.
Eurisko의 한계 - 수작업 지식에 대한 의존과 확장의 어려움 - 은 고차원 데이터와 복잡한 작업을 처리할 수 있는 현대 Neural network 접근법의 장점을 강조한다. 그럼에도 불구하고 자기 개선 및 휴리스틱 발견에 대한 Eurisko의 개념적 기여는 여전히 관련이 있으며, 그 이야기는 기호 추론에서 Machine learning으로의 AI 진화에 대한 통찰력을 제공한다.
참고 문헌 및 추가 읽을거리
- Lenat, D. B. (1983). "Eurisko: A program that learns new heuristics and domain concepts." Artificial Intelligence, 21(1-2), 61-98.
- Lenat, D. B., & Brown, J. S. (1984). "Why AM and Eurisko appear to work." Artificial Intelligence, 23(3), 269-294.
- Buchanan, B. G., & Shortliffe, E. H. (1984). "Rule-Based Expert Systems." Addison-Wesley.
이러한 저작물은 Eurisko의 설계, 실험 및 이론적 기초에 대한 상세한 설명을 제공하며, 1980년대 Artificial intelligence 연구의 광범위한 맥락 내에서 프로그램을 위치시킨다.