가드레일(Guardrails)은 AI 시스템에서 모델 주변에 입력, 출력 또는 둘 모두에 계층화되어 모델 자체 훈련을 통해 달성되는 것 이상으로 동작을 제약하는 안전 및 제어 메커니즘이다. 정렬 및 RLHF와 같은 기술이 훈련 중 모델의 동작을 형성하는 반면, 가드레일은 배포 시점에 작동한다. 즉, 사용자 입력을 필터링하거나 재작성하고, 생성된 출력을 검사하거나 차단하며, 훈련만으로 보장할 수 있는 것보다 더 엄격하거나, 더 최신이거나, 더 감사 가능한 애플리케이션별 정책을 적용한다.
가드레일은 2022년 이후 챗봇과 AI 에이전트가 연구 데모에서 고객 대상 제품으로 전환됨에 따라 프로덕션 AI 시스템의 표준 부분이 되었다. 이는 챗봇이 공격적이거나, 허위이거나, 법적 위험이 있는 출력을 생성하는 것과 같은 주목할 만한 실패와 범용 모델을 특정 비즈니스 사용 사례의 경계 내에 유지해야 하는 실질적 필요성에 의해 추진되었다.
가드레일 유형
가드레일 구현은 매우 다양하지만 일반적으로 몇 가지 범주로 나뉜다. 입력 가드레일은 모델에 도달하기 전에 허용되지 않는 콘텐츠, 시도된 탈옥 또는 프롬프트 주입 공격에 대해 들어오는 프롬프트를 검사한다. 출력 가드레일은 생성된 텍스트에서 정책 위반, 개인 식별 정보, 유해 언어 또는 인용이나 면책 조항을 촉발해야 하는 사실적 주장을 확인하며, 때로는 분류기 또는 판사로 별도의 더 작은 모델을 사용한다. 주제 가드레일은 배포된 어시스턴트를 정의된 범위로 제한한다. 예를 들어 고객 서비스 봇이 관련 없는 질문에 답하거나 의료 또는 법률 조언을 제공하는 것을 방지한다. 구조적 가드레일은 출력 형식을 제약한다. 예를 들어 다운스트림 시스템을 위해 유효한 JSON을 강제한다.
구현 접근 방식
가드레일은 Meta의 Llama Guard 및 OpenAI의 조정 엔드포인트와 같은 별도의 분류기 모델, 키워드 목록 또는 정규 표현식을 사용하는 규칙 기반 필터, 또는 사용자에게 표시되기 전에 첫 번째 모델의 출력을 비판하거나 승인하도록 요청받은 동일하거나 다른 대규모 모델에 대한 두 번째 호출로 구현될 수 있다. NVIDIA의 NeMo Guardrails 및 Guardrails AI와 같은 오픈 소스 프레임워크는 이 패턴을 표준화하여 개발자가 각 검사를 수동으로 코딩하는 대신 허용된 주제, 필수 출력 구조 및 대체 동작을 선언적으로 정의할 수 있게 했다.
한계 및 비판
가드레일은 불완전하다는 것이 널리 인정된다. 일반적으로 모델의 기본 기능을 변경하는 대신 모델 주변의 패턴 매칭 또는 분류 계층으로 작동하기 때문에 충분히 창의적인 탈옥 시도에 의해 무력화될 수 있으며, 과도하게 공격적인 가드레일은 합법적인 요청을 차단하는 오탐을 생성하여 사용자를 좌절시키고, 비판자들은 시스템을 의미 있게 더 안전하게 만들지 않으면서 덜 유용하게 만들 수 있다고 주장한다. 가드레일은 일반적으로 헌법적 AI 및 더 넓은 AI 안전 관행과 같은 훈련 시점 안전 작업을 보완하는 것으로 간주되며, 기본 모델에 직접 도달할 수 있는 결정적인 공격자는 가드레일을 완전히 우회하기 때문이다.
영향
2020년대 중반까지 가드레일은 엔터프라이즈 AI 배포 체크리스트의 표준 항목이자 별개의 제품 범주가 되었으며, 공급업체는 애플리케이션과 기본 기반 모델 사이의 미들웨어로 가드레일 플랫폼을 제공했다. EU AI 법과 같은 규제 프레임워크는 점점 더 출력 모니터링 및 콘텐츠 제어를 준수 요구 사항으로 언급하여 가드레일을 배포된 AI 시스템의 예상 인프라로 더욱 자리 잡게 했다.