ERNIE(Enhanced Representation through Knowledge Integration)는 중국 기술 기업 바이두(Baidu)가 개발한 대규모 언어 모델 제품군이다. 이 모델들은 지식 그래프 및 어휘 정보와 같은 외부 지식을 사전 학습 과정에 통합하여 자연어 이해와 생성을 개선하도록 설계되었다. ERNIE 모델은 검색, 뉴스 추천, 대화형 AI를 포함한 바이두의 제품 전반에 적용되었으며, 연구 커뮤니티를 위한 오픈소스 리소스로도 공개되었다.
ERNIE 시리즈는 2019년 원래 ERNIE 모델의 발표로 시작되었으며, 사전 학습 중 지식 마스킹 전략을 통합하여 Transformer (architecture) 아키텍처를 확장했다. 이후 버전인 ERNIE 2.0과 ERNIE 3.0은 지속적인 멀티태스크 학습과 통합 사전 학습 프레임워크를 도입했으며, 2021년에 공개된 ERNIE 3.0 Titan은 260억 개의 파라미터로 확장되었다. 이 모델들은 다양한 중국어 및 영어 자연어 처리 작업에서 벤치마킹되었으며, 공개 당시 최첨단 결과를 달성하는 경우가 많았다.
아키텍처 및 사전 학습
ERNIE 모델은 BERT와 같은 다른 사전 학습 언어 모델과 유사하게 Transformer (architecture) 아키텍처를 기반으로 한다. 핵심 혁신은 지식 인식 작업을 통합하는 사전 학습 목표에 있다. 예를 들어, 원래 ERNIE는 개별 토큰 대신 전체 엔티티나 구절을 마스킹하는 엔티티 수준 및 구절 수준 마스킹을 사용하여 모델이 단어 간의 의미적 관계를 학습하도록 강제한다. 이 접근 방식은 Machine learning 기술을 활용하여 어휘 및 구문 정보를 모두 포착한다.
ERNIE 2.0은 모델이 단어 인식, 구조 인식, 의미 인식 작업을 포함한 일련의 작업에 대해 학습되는 지속적인 멀티태스크 학습 프레임워크를 도입했다. 이를 통해 모델은 문장 순서 및 담화 관계와 같은 다양한 신호를 학습할 수 있다. ERNIE 3.0은 자기회귀 및 자동인코딩 목표를 결합하여 사전 학습 프로세스를 통합했으며, 이를 통해 모델이 이해 및 생성 작업을 모두 처리할 수 있게 되었다. 이 아키텍처는 또한 효율적인 확장을 지원하는 Neural network 설계를 통합한다.
버전 및 출시
ERNIE 제품군에는 여러 주목할 만한 버전이 포함된다. ERNIE 1.0은 2019년 1월에, ERNIE 2.0은 2019년 7월에 출시되었다. ERNIE 3.0은 2021년 7월에 출시되었으며, Titan 변형은 2021년 12월에 260억 개의 파라미터로 발표되었다. 2023년에 바이두는 ERNIE 3.0 아키텍처를 기반으로 구축된 대화형 AI 시스템인 ERNIE Bot을 도입했으며, 이는 바이두의 검색 엔진 및 기타 서비스에 통합되었다. 이 모델들은 바이두의 PaddlePaddle Deep learning 프레임워크를 통해 제공되었으며, 더 작은 버전의 오픈소스 체크포인트도 공개되었다.
응용 및 영향
ERNIE 모델은 특히 중국어 처리 분야의 다양한 Artificial intelligence 응용 프로그램에 배포되었다. 이 모델들은 바이두 검색 엔진의 의미적 이해를 지원하여 더 정확한 쿼리 매칭과 문서 순위를 가능하게 한다. ERNIE는 또한 바이두의 뉴스 피드 추천 시스템에 사용되어 콘텐츠 개인화를 개선한다. 대화형 AI 영역에서 ERNIE Bot은 고객 서비스 및 가상 비서를 위한 자연어 상호 작용을 제공한다. 이 모델들은 또한 외부 개발자와 연구자들에 의해 채택되어 개체명 인식 및 감성 분석과 같은 중국어 NLP 작업의 발전에 기여하고 있다.
비교 및 생태계
ERNIE는 종종 OpenAI의 GPT 시리즈 및 Google DeepMind의 모델과 같은 다른 대규모 언어 모델과 비교된다. GPT가 생성 작업에 초점을 맞추는 반면, ERNIE는 지식 통합을 강조하여 사실적 이해가 필요한 작업에 특히 효과적이다. 바이두는 ERNIE를 AI 전략의 핵심 구성 요소로 자리매김하고 있으며, Alibaba Cloud 및 기타 중국 기술 기업의 모델과 경쟁하고 있다. 이 모델들은 Amazon Web Services 및 Microsoft Azure 클라우드 인프라에서 학습되지만, 바이두는 자체 클라우드 서비스도 운영한다. ERNIE의 개발은 MIT CSAIL 및 Stanford AI Lab과 같은 기관의 연구 지원을 받았지만, 주요 작업은 바이두의 연구소에서 수행된다.
향후 방향
2024년 현재 바이두는 멀티모달 기능과 효율성 개선에 대한 지속적인 연구를 통해 ERNIE 시리즈를 계속 반복하고 있다. 이 모델들은 Generative AI 및 Reinforcement learning 기술의 발전에 따라 진화할 것으로 예상되며, 정렬을 위해 인간 피드백을 통합할 가능성도 있다. ERNIE의 오픈소스 출시는 개발자 커뮤니티를 조성했으며, 향후 버전은 Model Pruning 및 기타 최적화 방법을 통해 계산 비용을 줄이는 데 초점을 맞출 수 있다. ERNIE의 궤적은 지식 강화 모델이 실제 응용 프로그램에서 점점 더 중요해지는 Artificial intelligence 분야의 광범위한 추세를 반영한다.