대화 내 감정 인식은 인공지능과 머신러닝의 하위 분야로, 대화에 참여하는 사람들의 감정 상태를 자동으로 식별하고 추적하는 데 초점을 맞춘다. 텍스트를 긍정, 부정, 중립으로 분류하는 기본적인 감정 분석과 달리, 이 작업은 인간 상호작용에서 감정의 역동적이고 맥락 의존적인 특성을 고려한다. 언어, 음성 운율, 때로는 표정에서 신호를 통합하며, 가상 비서, 정신 건강 모니터링, 고객 서비스 분석 등의 영역에 적용된다.
이 분야는 2010년대 딥러닝의 부상, 특히 신경망 아키텍처와 트랜스포머 모델의 등장과 함께 주목을 받기 시작했다. 초기 시스템은 오디오와 텍스트에서 수작업으로 만든 특징에 의존했지만, 현대적 접근 방식은 대규모 대화 데이터셋으로 훈련된 종단 간 모델을 사용한다. 이 작업은 종종 시퀀스 라벨링으로 구성되며, 대화의 각 발화에 감정 라벨(예: 기쁨, 슬픔, 분노, 중립)을 할당하는 동시에 시간에 따른 화자의 감정 상태를 모델링한다.
핵심 과제
핵심 과제 중 하나는 맥락 의존성이다. 같은 단어라도 누가 말하는지, 누구에게 말하는지, 이전에 무엇이 말해졌는지에 따라 다른 감정을 전달할 수 있다. 예를 들어, 풍자적인 발언은 표면적으로는 긍정적으로 보일 수 있지만 좌절감을 표현할 수 있다. 따라서 모델은 화자 정체성과 발화 순서 패턴을 포함한 대화 이력을 인코딩해야 한다. 이를 위해 가변 길이 대화를 처리할 수 있는 시퀀스-투-시퀀스 또는 인코더-디코더 아키텍처가 필요하다.
또 다른 문제는 감정의 다중 양상 특성이다. 대면 또는 음성 기반 대화에서 감정은 단어뿐만 아니라 어조, 음높이, 말하기 속도로 전달된다. 텍스트만 사용하는 시스템은 이러한 단서를 놓친다. 다중 양상 모델은 음향 특징을 텍스트 임베딩과 융합하며, 종종 교차 주의 메커니즘을 사용하여 서로 다른 양상의 정보를 정렬한다. 그러나 정렬된 오디오-텍스트-감정 데이터셋을 수집하는 것은 비용이 많이 들고 라벨링 주관성에 취약하다.
기술적 접근 방식
현대 시스템은 일반적으로 사전 훈련된 대규모 언어 모델을 백본으로 사용하여 대화 감정 데이터셋에 미세 조정한다. 이러한 모델은 다중 헤드 주의를 활용하여 현재 감정을 예측할 때 과거 발화의 중요성을 가중한다. 예를 들어, 트랜스포머는 대화 초반 친구의 위로하는 말에 주의를 기울여 이후 눈물 흘리는 반응을 슬픔이 아닌 안도로 해석할 수 있다.
LSTM과 같은 순환 아키텍처는 트랜스포머 이전에 인기가 있었지만 장기 의존성에 어려움을 겪었다. 현재 최첨단 모델은 종종 트랜스포머 인코더와 조건부 무작위장(CRF) 계층을 결합하여 발화 간 라벨 일관성을 강화한다. 일부 접근 방식은 또한 화자별 임베딩을 통합하여 한 사람이 다른 사람보다 더 표현적이라는 등의 개별 감정 성향을 포착한다.
훈련 데이터는 IEMOCAP 코퍼스(녹음된 이인 대화)와 MELD(텔레비전 쇼의 다자간 대화)와 같은 출처에서 나온다. 이러한 데이터셋은 발화 수준의 감정 라벨을 제공하지만 크기와 도메인이 제한적이다. 이를 완화하기 위해 연구자들은 데이터 증강 기법(예: 의역 또는 합성 노이즈 추가)과 커리큘럼 학습을 사용하는데, 후자는 모델이 더 어려운 대화를 학습하기 전에 더 단순한 대화를 먼저 학습하는 방식이다.
응용 및 시스템
대화 내 감정 인식은 여러 상업 및 연구 환경에서 배포된다. 아마존 웹 서비스와 구글 클라우드 같은 회사의 가상 비서는 사용자의 좌절감이나 만족도에 따라 응답을 조정하는 데 이를 사용한다. 의료 분야에서는 환자의 말에서 우울증이나 불안 징후를 감지하는 치료 챗봇을 지원한다. 고객 서비스 플랫폼은 콜센터 녹음을 분석하여 화난 고객을 인간 개입을 위해 표시한다.
MIT CSAIL과 스탠포드 AI 랩을 포함한 연구 실험실은 대화 감정 모델링에 관한 영향력 있는 논문을 발표했다. 할시온과 옴니시언트 같은 스타트업은 감정 감지용 특수 API를 구축했지만 정확도는 다양하다. 이 분야는 또한 기계가 인간 감정을 인식하고 시뮬레이션하는 방법을 연구하는 정서 컴퓨팅과 교차한다.
평가 및 한계
성능은 일반적으로 보류된 테스트 세트에서 정확도와 가중 F1 점수로 측정된다. 그러나 감정 라벨에 대한 인간 합의는 종종 낮아서, 세분화된 범주의 경우 약 60-70%에 불과하며 이는 달성 가능한 성능을 제한한다. 모델은 또한 감정 표현의 문화적 차이에 어려움을 겪는다. 한 문화에서 공손한 것으로 간주되는 표현이 다른 문화에서는 무례할 수 있어 오분류로 이어진다.
또 다른 한계는 혼합되거나 미묘한 감정의 처리이다. 실제 대화는 불안한 흥분과 같은 혼합된 상태를 포함하는 경우가 많으며, 이산 라벨 세트는 이를 포착하지 못한다. 일부 연구자는 원자가와 각성과 같은 연속 차원을 제안하지만, 이러한 차원은 주석을 달기가 더 어렵다. 또한 모델은 인구통계학적 요인에 의해 편향될 수 있으며, 훈련 데이터와 다른 말투를 가진 화자에 대해 성능이 더 나빠질 수 있다.
향후 방향
향후 연구는 감정을 인식할 뿐만 아니라 감정적으로 적절한 응답을 생성할 수 있는 생성형 AI 모델을 통합하는 것을 목표로 한다. 이를 위해서는 한 사람의 분노가 다른 사람의 분노를 고조시키거나 완화시킬 수 있는 방식과 같은 감정 역학에 대한 더 깊은 이해가 필요하다. 연구자들은 또한 인간의 감정 선호도에 모델을 정렬하기 위해 AI 피드백 기반 강화 학습(RLAIF)을 탐구하고 있다.
실시간 대화 처리를 위한 실시간 처리에 대한 관심이 증가하고 있으며, 이는 엣지 디바이스에서 실행되는 효율적인 아키텍처를 요구한다. 퀄컴과 ARM 홀딩스 같은 회사는 이 목적을 위해 저전력 신경 가속기를 개발하고 있다. 프라이버시와 감정 조작의 위험을 포함한 윤리적 고려 사항도 감정 AI 시스템의 규제와 투명성에 대한 요구를 촉발하고 있다.
같이 보기
- 감정 분석 (관련 개념, 목록에 명시되지는 않았지만 암시됨)
- affective-computing (관련 분야)
- dialogue-systems (응용 영역)
참고 문헌
- Poria, S., et al. (2019). "Conversational Emotion Recognition." IEEE Transactions on Affective Computing.
- Hazarika, D., et al. (2018). "MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations." ACL.
- Busso, C., et al. (2008). "IEMOCAP: Interactive emotional dyadic motion capture database." Language Resources and Evaluation.