기계 학습에서 지식 차단(또는 데이터 차단)은 대규모 언어 모델이 새 데이터로 훈련되지 않은 시점을 의미한다. 대규모 언어 모델은 인터넷, 서적 및 기타 출처에서 수집된 데이터의 정적 스냅샷으로 사전 훈련되므로, 모든 모델의 지식은 배포 전에 훈련된 내용에 고정된다. 이 날짜 이후의 사건에 대한 정보는 모델의 훈련 데이터에 없으며, 모델은 검색 증강 생성과 같은 실시간 데이터 접근 시스템 없이는 이를 접근할 수 없다. 검색 증강 생성은 외부 데이터베이스에서 새 정보를 가져온다.
지식 차단은 환각(모델이 확신하지만 거짓된 진술을 생성하는 현상), 정보 공백, 진화하는 지식에 대한 정확도 저하와 같은 한계를 도입할 수 있다. 연구에 따르면 지식 차단은 의료와 같은 영역에서 안전에 중요한 영향을 미치며, 오래된 지식은 해로운 권장 사항으로 이어질 수 있다. 임상 영역에서 더 늦은 지식 차단을 가진 모델은 더 새로운 지침을 반영한 질문에서 더 높은 정확도를 보였다.
설명
대규모 언어 모델은 배포 전에 특정 지식 차단 날짜까지 수집된 데이터의 정적 스냅샷으로 훈련된다. 훈련 중에 LLM은 언어적 패턴, 의미론, 맥락적 의미를 학습할 수 있다. 그런 다음 모델은 주어진 문장 뒤에 올 수 있는 각 후보 단어의 확률을 추정하도록 훈련되며, 이러한 확률을 사용하여 텍스트를 생성한다. 지식이 훈련 시점에 고정되므로, 고정된 지식 차단을 가진 모델은 사전 훈련된 지식만으로는 나중에 등장한 사실이나 발전에 대한 정보를 제공할 수 없다. 일부 모델은 검색 도구를 통해 더 새로운 정보를 검색할 수 있지만, 그 판단은 훈련된 데이터에 의해 형성된 상태로 유지된다. 차단 이후의 발전에 대한 프롬프트는 불완전하거나, 오래되었거나, 부정확한 답변을 받을 수 있다.
가장 고급 AI 시스템을 훈련하는 것은 점점 더 비용이 많이 들고 있다. 스탠포드 대학교와 Epoch AI 연구자들의 2024년 연구는 가장 큰 AI 시스템 훈련 비용이 2027년까지 수십억 달러에 이를 것으로 예측했다. GPT-4 모델은 2021년 9월의 지식 차단을, GPT-4 Turbo 모델은 2023년 12월의 지식 차단을, GPT-5 모델은 2024년 9월의 지식 차단을 가진다. GPT-OSS-120B는 2024년 5월의 지식 차단을, Llama 4 Maverick은 2024년 8월의 지식 차단을 가진다.
정보 공백
지식 차단은 정보 공백을 만든다. LLM은 훈련 데이터에 포함되지 않은 사건이나 발견에 대한 지식이 부족하다. 이러한 모델은 훈련 패턴을 기반으로 가장 가능성 높은 단어 시퀀스를 생성하도록 훈련되므로, 해당 정보를 넘어서는 질문을 받으면 확신하지만 부정확한 출력을 생성할 수 있다. Cacioli 등의 연구는 미국 감염병 학회의 COVID-19 치료 지침 두 버전을 기반으로 한 363개 질문 벤치마크를 만들었다. 지식 차단이 더 새로운 지침보다 앞선 모델(예: GPT-3.5-Turbo 및 Llama-2)은 이러한 질문에서 더 낮은 성능을 보였고(각각 76.03% 및 35.26%), 더 늦은 차단을 가진 모델(예: GPT-4o 및 Llama 3.3)은 90% 이상의 정확도를 보였다. 연구는 정보의 최신성이 정렬 또는 해석 가능성과 동등한 안전 중요 속성으로 취급되어야 하며, 임상 의사 결정에서 지식 차단의 안전 문제를 강조한다고 결론지었다.
유효 날짜와 보고된 날짜
우치 대학교의 Pęzik 등의 연구는 모델의 지식이 반드시 차단 날짜와 일치하지 않음을 나타냈다. 유효 차단(모델이 정보를 안정적으로 알 수 있는 날짜)은 주제에 따라 종종 다르며, 훈련 데이터 내 정보 분포에 의해 영향을 받는다. 일부 주제는 다른 주제보다 더 늦은 지식을 반영할 수 있으며, 차단 이전의 지식이 없을 수도 있다. 훈련 데이터는 주제별로 정보가 고르지 않다. 대규모 언어 모델을 재훈련하는 높은 비용 때문에, 모델은 지식 차단을 연장하기 위해 거의 재훈련되지 않는다. 일부 모델은 통합 검색 도구를 사용하여 더 최근 정보에 접근할 수 있으며, 이는 답변이 모델의 원래 훈련에서 왔는지 실시간 검색에서 왔는지 불분명하게 만든다. GPT-4는 검색 도구에 접근하여 실시간 정보를 제공할 수 있다.
검색 증강 생성
검색 증강 생성은 외부 출처의 업데이트된 데이터로 대규모 언어 모델을 보강하여 더 나은 정보를 바탕으로 한 응답을 생성할 수 있게 한다. RAG에서 언어 모델은 외부 지식 베이스 또는 검색 엔진에 연결되어 실시간 데이터를 검색한다. 이를 통해 모델은 쿼리와 관련된 현재 정보를 찾아 인용과 함께 응답에 통합할 수 있다. 모델의 답변을 검색된 출처에 연결하는 외부 데이터에 모델을 근거시키는 것은 환각 빈도를 줄이고 출력 정확도를 향상시키는 데 도움이 된다. 그러나 외부 지식 베이스는 오래되었거나 편향을 포함할 수 있으며, 이는 부정확한 정보(또는 환각)로 이어질 수 있다. Google의 AI 개요는 모델이 가져온 출처를 잘못 해석하거나 고품질 출처를 검색하지 못할 수 있으므로 거짓 주장을 하고 신뢰할 수 없는 결과를 제공한 적이 있다. 검색만으로는 오래된 지식 차단을 완전히 보완할 수 없다. 모델의 기본 이해는 훈련 데이터에 뿌리를 두고 있기 때문이다. 이는 인간 피드백 기반 강화 학습과 같은 기술로 완화할 수 있으며, 이는 AI 모델을 인간 선호도에 맞추는 기술로, 대규모 언어 모델 응답의 품질과 신뢰성을 향상시킬 수 있다.
점진적 학습
또 다른 접근 방식은 점진적 학습(또는 지속적 학습)으로, 새 데이터를 지속적으로 사용하여 기존 모델의 지식을 확장하는 기계 학습 방법이다. 이는 AI가 학습한 내용을 갑자기 잊어버리는 파괴적 망각을 방지하는 것을 목표로 한다. 그러나 실제로는 파괴적 망각을 완전히 방지하지 못하는 경우가 많다. 이 기술은 전체 재훈련 주기의 비용 없이 모델에 효율적이고 점진적인 업데이트를 가능하게 한다. 한 가지 지속적 학습 기술은 미세 조정으로, AI 연구소가 모델의 동작을 정밀하게 조정할 수 있게 한다. 더 효율적인 미세 조정 방법은 저순위 적응과 같은 방법을 포함한다. 그러나 이는 실시간 인식을 제공하지 않는다. 시스템에 모듈을 추가하면 모델의 가중치가 새 데이터 세트에 편향되어 파괴적 망각이 발생할 수 있기 때문이다.