Human-in-the-loop(HITL)은 인간 운영자가 인공지능 시스템의 훈련, 평가 또는 운영에 참여하는 설계 패러다임이다. 이 접근 방식은 자동화된 시스템이 모호성을 완전히 해결할 수 없거나, 오류 비용이 크거나, 출력이 인간의 가치와 규정을 준수해야 할 때 사용된다.
HITL 워크플로우는 일반적으로 피드백 주기를 포함한다: 모델이 예측을 생성하고, 인간이 이를 검토하거나 수정하며, 수정 사항이 모델의 다음 훈련 반복에 통합된다. 이 주기는 데이터 라벨링부터 최종 의사 결정까지 다양한 단계에 적용될 수 있으며, 많은 현대 대규모 언어 모델 파이프라인의 핵심 구성 요소이다.
방법 및 워크플로우
일반적인 방법 중 하나는 능동 학습(active learning)으로, 모델이 성능을 가장 크게 향상시킬 수 있는 예제를 식별하고 해당 예제에 대한 라벨을 인간 주석자에게 요청한다. 이는 무작위 샘플링에 비해 필요한 라벨 수를 줄인다. 대화형 머신 러닝은 사용자가 실시간으로 출력을 수정할 수 있도록 확장하며, 수정 사항은 추가 훈련 데이터가 된다. 생성 모델의 경우 오픈AI와 앤트로픽은 인간 피드백 기반 강화 학습(RLHF)을 사용하여 모델 행동을 사용자 의도에 맞추었다. RLHF에서 인간 평가자는 모델 응답을 비교하고 순위를 매긴다; 이러한 순위는 보상 모델을 훈련시키며, 이후 강화 학습을 통해 미세 조정을 안내한다. 관련 기법인 AI 피드백 기반 강화 학습은 AI 시스템이 피드백을 생성하도록 하여 인간 감독의 필요성을 줄이지만 완전히 제거하지는 않는다.
HITL은 또한 딥러닝 및 신경망 훈련과 교차한다. 예를 들어, 트랜스포머 모델은 초기 비지도 사전 훈련 단계 후 인간 선호도로 미세 조정되는 경우가 많다. 일부 시스템은 HITL을 커리큘럼 학습과 결합하여 작업을 쉬운 것부터 어려운 것까지 순서화하고 인간 피드백을 가장 어려운 예제에 집중한다.
응용 분야
자율 주행에서 웨이모와 테슬라 오토파일럿은 인식 시스템이 자신 있게 해결할 수 없는 가장자리 사례를 처리하기 위해 원격 운영자와 안전 운전자를 고용한다. 이러한 인간 개입은 기록되어 이후 모델 버전을 개선하는 데 사용된다. 의료 분야에서 인튜이티브 서지컬의 다빈치 시스템은 외과의가 로봇 기기를 제어할 수 있게 하며, AI 지원 진단 도구는 종종 임상의가 자동화된 결과를 확인하거나 무시해야 한다. 콘텐츠 조정 플랫폼은 특히 증오 발언이나 잘못된 정보와 같은 미묘한 문제에 대해 플래그가 지정된 게시물을 검토하기 위해 HITL을 사용한다.
클라우드 제공업체는 관리형 HITL 서비스를 제공한다: 아마존 웹 서비스 SageMaker Ground Truth와 구글 클라우드 AI Platform 데이터 라벨링은 고객이 인간 주석자와 함께 맞춤형 데이터 세트를 구축할 수 있게 한다. 마이크로소프트 애저도 유사한 라벨링 서비스를 제공한다. 이러한 서비스는 크라우드소싱 플랫폼과 통합되며 생성형 AI 응용 프로그램용 모델을 훈련하는 데 사용될 수 있다.
역사 및 연구
자동화된 시스템을 인간이 감독한다는 개념은 20세기 중반 제어 이론과 인간 공학으로 거슬러 올라간다. 1960년대에 제록스 팔로알토 연구소의 연구자들은 대화형 컴퓨팅을 탐구했으며, 이후 MIT 컴퓨터 과학 및 인공지능 연구소의 작업은 인간이 예제와 수정을 통해 머신 러닝을 안내할 수 있는 방법을 조사했다. 2000년대에는 아마존 Mechanical Turk와 같은 크라우드소싱 플랫폼이 등장하여 대규모 인간 주석을 경제적으로 실현 가능하게 만들었다. 대화형 머신 러닝에 대한 학술 연구는 2000년대에 확장되었으며, 여러 기관의 기여가 있었다.
과제 및 한계
HITL은 상당한 비용과 지연 시간을 도입한다. 인간 주석은 비용이 많이 들며, 검토에 필요한 시간은 실시간 응용 프로그램을 느리게 할 수 있다. 주석자 간 의견 불일치는 흔하며, 인간 판단의 편향이 모델에 인코딩될 수 있다. 알렉산더 매드리와 동료들의 연구는 인간 피드백이 특히 작업이 주관적이거나 평가자가 적대적 입력에 영향을 받을 때 일관성이 없을 수 있음을 보여주었다. 이러한 문제를 완화하기 위해 실무자는 합성 훈련 예제를 생성하기 위해 데이터 증강을 사용하고, 인간 검토가 필요한 결정 수를 줄이기 위해 모델 가지치기를 사용한다. 고위험 영역에서는 규제 프레임워크가 자동화된 결정에 인간 개입을 점점 더 요구하지만, 실제 구현은 여전히 열린 과제로 남아 있다.
향후 방향
AI 시스템이 더욱 강력해짐에 따라 인간의 역할은 예제별 라벨링에서 높은 수준의 정렬 및 감사로 전환되고 있다. 구글 딥마인드는 더 큰 모델을 평가하는 데 더 작은 모델이 도움을 주는 확장 가능한 감독을 연구했으며, 오픈AI와 앤트로픽은 모델 개발 중 인간 피드백 통합에 대한 지침을 발표했다. HITL과 트랜스포머 기반 아키텍처 및 신경망 훈련 파이프라인의 통합은 활발한 연구 영역이며, 신뢰성과 공정성을 유지하면서 필요한 인간 노력의 양을 줄이는 데 초점을 맞추고 있다.