질문 응답(QA)은 정보 검색과 자연어 처리(NLP) 분야 내의 컴퓨터 과학 분야로, 인간이 자연어로 제기한 질문에 자동으로 답변할 수 있는 시스템을 구축하는 데 초점을 맞춘다. QA 구현은 일반적으로 컴퓨터 프로그램이며, 구조화된 지식 베이스를 쿼리하거나, 더 일반적으로는 구조화되지 않은 자연어 문서 모음에서 답변을 추출하여 답을 구성할 수 있다. 이러한 문서 모음의 예로는 참고 문헌, 편집된 뉴스 통신사 기사, 위키백과 페이지 및 기타 월드 와이드 웹 콘텐츠가 있다.
역사
초기 질문 응답 시스템에는 BASEBALL과 LUNAR가 있다. BASEBALL은 1년 동안 메이저 리그 야구에 관한 질문에 답변했으며, LUNAR는 아폴로 달 탐사 임무에서 회수된 암석의 지질학적 분석에 관한 질문을 다루었다. 두 시스템 모두 선택된 도메인 내에서 매우 효과적이었다. LUNAR는 1971년 달 과학 컨벤션에서 시연되어, 해당 도메인에서 훈련되지 않은 사용자가 제기한 질문의 90%에 답변했다. 이러한 시스템은 ELIZA와 DOCTOR(최초의 챗봇 프로그램)에서 사용된 것과 유사한 언어 기술과 수작업으로 작성된 지식 베이스에 의존했다.
1960년대 후반과 1970년대 초반에 Terry Winograd는 장난감 "블록 세계"에서 로봇을 시뮬레이션하는 질문 응답 프로그램인 SHRDLU를 개발하여 사용자가 그 세계의 상태에 대해 질문할 수 있게 했다. 그 강점은 매우 특정한 도메인과 인코딩하기 쉬운 단순한 물리 규칙에 있었다. 1970년대에는 더 좁은 지식 베이스를 가진 전문가 시스템이 등장하여 해당 영역 내에서 더 반복 가능하고 유효한 응답을 생성했다. 이러한 시스템은 대규모 텍스트 코퍼스의 통계적 처리보다는 전문가가 구축한 지식 베이스에 의존한다는 점에서 현대 QA와 달랐다.
1970년대와 1980년대에는 전산 언어학의 발전이 있었고, U.C. 버클리의 Unix Consultant(UC)와 같은 프로젝트로 이어졌다. UC는 포괄적인 수작업 지식 베이스로 Unix 운영 체제에 관한 질문에 답변했으며, LILOG는 독일 도시의 관광 정보를 위한 텍스트 이해 시스템이었다. 이러한 시스템은 시연 단계에 머물렀지만, 전산 언어학 및 추론 이론에 기여했다. 건강 및 생명 과학자를 위한 EAGLi와 같은 특수 시스템도 개발되었다.
2011년, IBM의 Watson이라는 QA 컴퓨터 시스템이 Jeopardy!의 전시 경기에서 Brad Rutter와 Ken Jennings를 상대로 승리했다. Facebook Research는 위키백과를 지식 소스로 사용하는 오픈 소스 시스템인 DrQA를 출시했다. deepset의 오픈 소스 프레임워크인 Haystack은 오픈 도메인 QA와 생성적 질문 응답을 결합하고 산업용 언어 모델의 도메인 적응을 지원한다. GPT-4 및 Gemini와 같은 대규모 언어 모델(LLM)은 더 정교한 텍스트 이해와 생성을 가능하게 하는 성공적인 QA 시스템이며, 텍스트, 이미지, 오디오를 처리하는 다중 모드 시스템과 결합될 때 QA 기능을 크게 향상시킨다.
유형
QA 연구는 사실, 목록, 정의, 방법, 이유, 가상, 의미론적 제약, 교차 언어 질문을 포함한 광범위한 질문 유형을 다룬다. 주어진 기사에 대한 질문에 시스템이 답변하는 독해 QA는 문맥이 상대적으로 짧기 때문에 더 간단한 형태이다. 폐쇄형 QA는 훈련 중에 사실을 암기하고 명시적 문맥 없이 답변할 수 있는 시스템을 말하며, 인간이 폐쇄형 시험을 치르는 것과 유사하다.
폐쇄 도메인 QA는 의학이나 자동차 유지보수와 같은 특정 도메인 내의 질문을 다루며, 종종 온톨로지로 공식화된 도메인별 지식을 활용할 수 있다. 또한 설명적 질문보다는 절차적 질문과 같은 제한된 질문 유형만 허용되는 상황을 나타낼 수도 있다. 예를 들어 알츠하이머병에 대한 의료 QA 시스템이 구축되었다. 오픈 도메인 QA는 거의 모든 것에 관한 질문을 처리하며, 일반 온톨로지와 세계 지식에 의존하고, 일반적으로 답변 추출에 사용할 수 있는 데이터가 훨씬 많다.
현대적 접근 방식
현대 QA 시스템은 점점 더 대규모 언어 모델과 트랜스포머 아키텍처를 활용한다. 방대한 텍스트 코퍼스로 훈련된 이러한 모델은 학습된 지식에서 답변을 생성하여 폐쇄형 QA를 수행할 수 있다. 오픈 도메인 시스템은 종종 검색 증강 생성을 사용하며, 코퍼스에서 관련 문서를 선택하는 검색기와 답변을 공식화하는 생성기를 결합한다. 이 접근 방식은 Haystack 및 DrQA와 같은 프레임워크에서 사용된다.
딥러닝과 신경망은 최근 발전을 주도하여 시스템이 복잡한 질문 유형과 다중 모드 입력을 처리할 수 있게 했다. OpenAI 및 Anthropic과 같은 기관에서 개발한 생성형 AI 모델은 다양한 도메인에서 강력한 QA 성능을 입증했다. 상호작용성, 답변 재사용, 의미론적 구문 분석, 답변 표현, 지식 표현, 소셜 미디어 분석과 같은 주제에 대한 연구가 계속되고 있다.
응용 및 과제
QA 시스템은 고객 지원, 의료, 교육, 정보 검색 등 다양한 분야에 적용된다. 이들은 가상 비서, 검색 엔진, 기업 지식 관리 도구를 지원한다. 과제에는 모호한 질문 처리, 사실적 정확성 보장, 훈련 데이터의 편향 관리가 포함된다. 현재 연구는 에이전트가 물리적 환경과 상호작용하는 구현 QA와 이미지 이해와 질문 응답을 결합한 시각적 QA를 탐구한다.
미래 방향
미래 QA 시스템은 오디오와 비디오를 포함한 다중 모드 데이터와 더 깊이 통합되고, 시스템이 명확화 질문을 할 수 있게 하는 상호작용 기능을 개선할 가능성이 높다. 강화 학습과 모델 효율성의 발전은 더 강력하고 확장 가능한 시스템을 가능하게 할 수 있다. 인공지능이 계속 진화함에 따라 QA는 인간-컴퓨터 상호작용의 핵심 구성 요소로 남을 것이다.