인공지능(AI)에서 예측은 에이전트가 미래에 대한 명시적 신념에 기반하여 결정을 내리는 능력을 의미한다. 이는 에이전트가 미래 시스템 상태를 예측하지 않고 현재 감각 입력에만 반응하는 반응적 패러다임과 대조된다. 더 넓은 의미에서, 예측은 에이전트가 미래 사건에 대한 명시적 모델을 보유하지 않더라도 미래 사건을 적절히 고려하는 방식으로 행동하는 능력을 설명하기도 한다. 이 개념은 이론 생물학과 사이버네틱스에 뿌리를 두고 있으며, 역동적이고 불확실한 환경에서 작동해야 하는 지능형 시스템 설계의 핵심 주제가 되었다.
AI 연구에서 예측은 종종 예측 시스템의 개념을 통해 공식화된다. 1985년, 이론 생물학자 로버트 로젠은 그러한 시스템을 자신 및/또는 환경에 대한 예측 모델을 포함하여, 모델의 예측에 따라 특정 순간에 상태를 변경할 수 있는 시스템으로 정의했다. 이 정의는 학습이 데이터로부터 미래 입력이나 결과에 대한 기대를 형성하는 것을 본질적으로 포함하기 때문에, 기계 학습을 통합하는 모든 시스템에 적용할 수 있을 만큼 광범위하다. 핵심 설계 질문은 시스템의 행동 중 얼마나 많은 부분이 전용 표현(예: 기호 모델 또는 학습된 잠재 상태)에 대한 추론에 의해 결정되어야 하는지, 얼마나 많은 부분이 온라인 계획(예: 탐색 또는 모델 예측 제어)에 의해 결정되어야 하는지, 그리고 얼마나 많은 부분이 시스템 설계자에 의해 하드 코딩되어야 하는지이다.
의사 결정에서의 예측
예측을 사용하는 에이전트는 환경의 미래 상태를 예측하려 시도하고 이러한 예측을 사용하여 행동을 안내한다. 고전적인 예시는 날씨 기반 의사 결정을 포함한다. 하늘이 흐리고 기압이 낮으면, 에이전트는 곧 비가 올 것이라고 예측하고 따라서 우산을 가져가기로 결정한다. 그렇지 않으면, 우산을 집에 둔다. 이러한 규칙은 가능한 미래 사건을 명시적으로 고려하여, 현재 비에만 반응하는 순수 반응적 규칙과 예측적 행동을 구별한다.
실제로, 예측적 의사 결정은 여러 방식으로 구현될 수 있다. 모델 기반 에이전트는 마르코프 결정 과정의 전이 함수와 같은 환경 역학의 명시적 표현을 유지하고 이를 사용하여 미래 궤적을 시뮬레이션할 수 있다. 대안적으로, 에이전트는 미래 센서 판독값을 예측하는 신경망과 같은 딥 러닝 기술을 사용하여 데이터로부터 예측 모델을 학습할 수 있다. 표현의 선택은 에이전트의 유연성, 샘플 효율성 및 분포 변화에 대한 견고성에 영향을 미친다.
기계 학습과의 관계
로젠의 예측 정의는 학습 알고리즘이 일반적으로 보이지 않는 데이터에 대한 미래 성능을 최적화하기 때문에 기계 학습을 통합하는 모든 시스템에 적용된다. 예를 들어, 지도 학습은 새로운 입력에 대한 레이블을 예측하도록 모델을 훈련시키며, 이는 데이터 생성 과정에 대한 예측의 한 형태이다. 강화 학습 에이전트는 가치 함수를 추정하거나 모델 기반 롤아웃을 사용할 때 미래 보상을 예측한다. 대규모 언어 모델과 같은 생성 모델은 이전 맥락에 기반하여 시퀀스의 다음 토큰을 예측한다.
그러나 예측의 정도는 다양하다. 일부 시스템은 명시적 예측 모델 없이 훈련에서 미래 지향적 행동이 나타나는 암시적 예측에 의존한다. 다른 시스템은 의사 결정 중에 참조되는 별도의 예측 구성 요소를 유지하는 명시적 예측을 사용한다. 이러한 구분은 명시적 모델이 더 쉽게 검사되고 수정될 수 있으므로 해석 가능성과 제어에 중요하다.
동물에서의 예측
인간은 교통을 피하기 위한 경로 계획이나 겨울을 위한 음식 저장과 같이 미래에 대한 명시적 신념에 기반하여 결정을 내릴 수 있다. 더 넓게는, 동물은 미래 사건을 고려하는 방식으로 행동할 수 있지만, 반드시 미래에 대한 명시적 인지 모델을 가지고 있지는 않을 수 있다. 진화는 좁은 영역에서 적응적 예측 행동을 초래하는 더 단순한 시스템적 특징을 형성했을 수 있다. 예를 들어, 동면은 예측적 행동이지만, 미래에 대한 인지 모델에 의해 구동되는 것으로 보이지 않는다. 오히려 계절 변화에 대한 진화된 생리적 반응이다.
인지적 예측과 진화된 예측 사이의 이러한 구분은 AI와 관련이 있다. AI 시스템은 설계자가 미래 사건을 고려하는 규칙을 인코딩했기 때문에, 데이터로부터 그러한 규칙을 학습했기 때문에, 또는 아키텍처가 본질적으로 미래 지향적 예측을 편향하기 때문에 예측적 행동을 나타낼 수 있다. 예측의 원천을 이해하는 것은 연구자가 새로운 상황에 일반화되는 시스템을 설계하는 데 도움이 된다.
현대 AI에서의 응용
예측은 많은 현대 AI 시스템의 핵심 구성 요소이다. 자율 주행에서 차량은 안전한 궤적을 계획하기 위해 보행자, 자전거 이용자 및 다른 차량의 미래 위치를 예측해야 한다. Waymo 및 Tesla과 같은 회사는 이 목적을 위해 예측 모델을 사용한다. 로봇 공학에서 모델 예측 제어는 로봇이 환경과 자신의 행동의 미래 상태를 시뮬레이션하여 최상의 제어 시퀀스를 선택하는 표준 기술이다. MIT CSAIL, Stanford AI Lab 및 BAIR (Berkeley AI Research)와 같은 기관의 연구 그룹은 이러한 방법에 기여했다.
자연어 처리에서 예측은 시퀀스 생성에 내재되어 있다. Transformer (architecture) 기반 Large language model과 같은 모델은 이전 토큰이 주어지면 다음 토큰을 예측하며, 이는 의도된 메시지에 대한 예측의 한 형태이다. Beam Search, Top-K Sampling 및 Top-P (Nucleus) Sampling과 같은 기술은 예측된 미래 토큰 중에서 선택하는 데 사용된다. 유사하게, 컴퓨터 비전에서 예측은 모델이 과거 프레임에서 미래 프레임을 예측하는 비디오 예측에 사용되어 감시 및 인간-로봇 상호 작용과 같은 응용을 가능하게 한다.
과제와 한계
예측 시스템은 여러 과제에 직면한다. 첫째, 정확한 예측은 복잡하고 부분적으로 관찰 가능한 설정에서 얻기 어려울 수 있는 환경의 좋은 모델을 요구한다. 둘째, 좋은 모델이 있더라도 긴 시간 범위에 걸친 계획은 계산적으로 비용이 많이 들 수 있으며, 근사치 또는 계층적 분해를 요구한다. 셋째, 예측은 틀릴 수 있으며, 에이전트는 기대가 위반될 때 적응할 수 있어야 한다. 이는 견고한 계획, 온라인 학습 및 불확실성 정량화에 대한 연구로 이어졌다.
또 다른 과제는 예측과 반응성 사이의 균형이다. 순수 예측 시스템은 예상치 못한 사건에 느리게 반응할 수 있는 반면, 순수 반응 시스템은 선견지명을 요구하는 기회를 놓칠 수 있다. 많은 실용 시스템은 예측을 사용하여 높은 수준의 결정을 안내하고 반응성을 사용하여 낮은 수준의 제어를 처리함으로써 둘을 결합한다. 예를 들어, 로봇은 예측 모델을 사용하여 경로를 계획할 수 있지만, 장애물이 나타나면 계획을 무시하는 반응적 충돌 회피 기능도 가질 수 있다.
역사적 맥락
예측의 개념은 사이버네틱스와 시스템 이론의 초기 역사에 뿌리를 두고 있다. 로버트 로젠의 1985년 연구는 피드백 및 피드포워드 제어에 대한 초기 아이디어를 기반으로 예측 시스템의 개념을 공식화했다. 1990년대와 2000년대에 인지 과학 및 AI 연구자들은 예측을 지능적 행동의 통합 원리로 탐구했으며, 이는 에이전트가 성능을 향상시키기 위해 예측을 사용할 수 있는 방법을 조사한 MindRACES 이니셔티브(반응적에서 예측적 인지 구현 시스템으로, 2004)와 같은 프로젝트로 이어졌다.
2010년대와 2020년대에 딥 러닝의 부상은 예측을 AI의 최전선으로 가져왔다. Deep learning 모델, 특히 Residual Network (ResNet) 아키텍처와 Attention 메커니즘을 갖춘 Neural network은 대규모 데이터 세트에서 예측 모델을 학습할 수 있음을 입증했다. OpenAI, Anthropic 및 Google DeepMind와 같은 기관의 Generative AI 시스템 개발은 텍스트 생성, 이미지 합성 및 게임 플레이와 같은 작업에서 예측의 힘을 보여주었다. 이러한 시스템은 종종 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백으로부터의 강화 학습) 및 Curriculum Learning과 같은 기술을 사용하여 예측 및 계획 능력을 향상시킨다.
미래 방향
예측에 대한 연구는 계속 진화하고 있다. 한 방향은 모델 기반 강화 학습 및 세계 모델과 같은 영역에서 예측과 Machine learning 이론의 통합이다. 또 다른 방향은 자신의 한계와 불확실성에 대해 추론할 수 있는 예측 시스템의 개발로, 더 견고하고 신뢰할 수 있는 AI로 이어진다. 또한 게임 및 자율 주행에서 볼 수 있듯이 각 에이전트가 다른 에이전트의 행동을 예측해야 하는 다중 에이전트 설정에 예측을 적용하는 데 대한 관심도 있다.
AI 시스템이 더 유능해짐에 따라 예측의 역할은 성장할 가능성이 높다. 미래 사건을 정확히 예측하고 그에 따라 계획할 수 있는 시스템은 복잡하고 역동적인 환경을 처리하는 데 더 잘 갖춰질 것이다. 그러나 예측적 감시로 인한 개인 정보 보호 문제와 예측에 기반한 결정에 대한 책임과 같은 예측 AI의 윤리적 함의는 신중한 고려가 필요할 것이다. 예측과 반응성 사이의 균형, 그리고 명시적 모델과 암시적 모델 사이의 균형은 AI 연구 및 개발의 중심 주제로 남을 것이다.