BlenderBot은 메타(이전의 Facebook AI Research, FAIR)가 개발한 오픈 도메인 챗봇 제품군이다. 이는 공감, 개성, 지식 검색과 같은 여러 핵심 기능을 결합하여 광범위한 주제에 대해 자연스럽고 다중 턴의 대화를 수행하도록 설계되었다. 이 프로젝트는 2020년 4월 첫 번째 BlenderBot 모델로 공개되었으며, 이후 버전인 BlenderBot 2.0과 BlenderBot 3은 각각 2021년과 2022년에 출시되었다. 이러한 모델들은 Transformer (architecture) 아키텍처를 기반으로 하며, 메타의 Generative AI 및 대화형 Artificial intelligence에 대한 광범위한 연구의 일부이다.
초기 BlenderBot 모델은 2020년 연구 논문에서 소개되었으며, Reddit 대화 및 기타 공개 대화 데이터를 포함한 15억 개의 훈련 예제로 학습된 대규모 Neural network를 사용한 점으로 주목받았다. 이는 기존 챗봇과 비교 평가되었으며, 인간 평가에서 매력도와 일관성 측면에서 우수한 성능을 달성했다고 주장되었다. 모델의 아키텍처는 Deep learning 및 Machine learning의 기술, 특히 어텐션 메커니즘을 갖춘 시퀀스-투-시퀀스 프레임워크를 통합했으며, 추가 연구를 장려하기 위해 오픈 소스로 공개되었다.
개발 및 버전
2021년 7월에 출시된 BlenderBot 2.0은 장기 메모리와 실시간 인터넷 검색 기능을 통합하여 중요한 업그레이드를 도입했다. 이전 버전이 정적 훈련 데이터에만 의존했던 것과 달리, BlenderBot 2.0은 웹에서 최신 정보에 접근하고 사용자별 사실을 메모리 모듈에 저장할 수 있었다. 이를 통해 챗봇은 더 긴 대화에서 맥락을 유지하고 현재 사건에 대한 질의에 더 정확한 응답을 제공할 수 있었다. 모델은 지도 학습과 강화 학습의 조합으로 훈련되었으며, 사실성 향상과 유해 출력 감소에 중점을 두었다.
2022년 8월에 출시된 BlenderBot 3은 연구 프로토타입으로 자리 잡았으며, 모델 개선을 위해 사용자 피드백을 수집하는 공개 데모를 제공했다. 이는 1750억 개의 파라미터를 가진 Large language model 아키텍처를 기반으로 구축되었으며, 다른 최첨단 모델과 규모가 유사했고, 공격적이거나 편향된 응답을 걸러내기 위한 일련의 안전 분류기를 통합했다. 데모는 사용자가 챗봇과 상호작용하고 응답을 평가할 수 있게 했으며, 수집된 데이터는 향후 반복 버전을 미세 조정하는 데 사용되었다. 메타는 또한 모델의 가중치와 코드를 연구 커뮤니티에 공개하여 투명성과 협력적 개선을 강조했다.
기술 아키텍처
모든 BlenderBot 버전은 순차 데이터를 처리하기 위해 자기 어텐션 메커니즘을 사용하는 Transformer (architecture) 아키텍처에 의존한다. 모델은 공감, 지식, 개성과 같은 여러 대화 기술을 결합한 15억 파라미터 규모의 Blended Skill Talk 데이터셋을 포함한 대규모 텍스트 말뭉치로 훈련된다. 훈련 과정은 여러 단계로 구성된다: 일반 텍스트에 대한 사전 훈련, 작업별 대화 데이터에 대한 미세 조정, 그리고 마지막으로 인간 피드백 기반 강화 학습(RLHF)을 통한 최적화. 이 접근 방식은 OpenAI 및 Google DeepMind를 포함한 다른 주요 AI 연구 기관에서 사용하는 방법과 유사하지만, 메타는 작업 지향 어시스턴트보다 오픈 도메인 채팅에 초점을 맞췄다.
BlenderBot 3의 아키텍처는 또한 위키백과와 같은 외부 소스를 질의하여 응답을 사실적 정보에 근거하도록 하는 검색 구성 요소를 포함한다. 이 하이브리드 접근 방식은 생성 및 검색 기반 방법을 결합하여 Large language model에서 흔한 환각 문제를 완화하는 데 도움을 준다. 모델은 5만 개 이상의 토큰 어휘를 가진 토크나이저를 사용하며, 훈련은 메타의 내부 컴퓨팅 인프라를 활용하여 수천 개의 GPU에 분산되었다.
공개 반응 및 안전 문제
BlenderBot 3의 공개 데모는 상당한 언론의 주목을 받았지만, 안전과 편향에 대한 우려도 제기했다. 초기 상호작용에서 챗봇은 정치적 의견이나 특정 공인에 대한 부정적인 발언을 포함한 논란의 여지가 있는 진술을 생성했으며, 이는 언론에 널리 보도되었다. 메타는 이러한 문제를 인정하고 유해 출력을 걸러내기 위해 독성 분류기와 대화 안전 모델을 포함한 추가 안전 계층을 구현했다. 회사는 또한 데모가 이러한 실패에 대한 피드백을 수집하기 위해 명시적으로 설계되었으며, 모델의 응답이 메타의 공식 입장을 반영하지 않는다고 언급했다.
이러한 어려움에도 불구하고, BlenderBot은 책임 있는 AI 개발에 대한 더 넓은 논의에 기여했다. 이는 개방형 대화 능력과 견고한 안전 메커니즘의 필요성 사이의 절충점을 부각시켰으며, 이는 Artificial intelligence 및 Machine learning 연구의 핵심 주제로 남아 있다. 이 프로젝트는 또한 유사한 훈련 및 안전 기술을 채택한 Llama 시리즈와 같은 후속 메타 모델에 영향을 미쳤다.
유산 및 영향
BlenderBot은 대규모 Neural network 모델이 인간과 유사한 대화 유창성을 달성할 수 있음을 보여준 오픈 도메인 챗봇 연구의 이정표로 간주된다. 오픈 소스 출시는 수많은 학술 및 산업 프로젝트가 그 아키텍처를 기반으로 구축할 수 있게 했으며, 다중 기술 통합(공감, 지식, 개성)에 대한 강조는 이후 시스템의 기준을 설정했다. 모델이 정적 챗봇에서 동적 메모리와 웹 접근 기능을 갖춘 챗봇으로 진화한 것은 외부 지식에 근거하는 것이 표준 기능이 된 Generative AI의 추세를 예고했다.
BlenderBot 자체는 더 이상 활발히 개발되지 않지만, 그 영향력은 메타의 지속적인 연구와 더 넓은 AI 커뮤니티에 남아 있다. 이는 Large language model이 대화형 애플리케이션에 어떻게 적응될 수 있는지에 대한 초기 사례를 제공하며, 안전 및 사용자 피드백에 대한 교훈은 현대 대화 에이전트의 설계에 계속 영향을 미치고 있다.