Alice AI는 2023년 주요 AI 연구소 출신 연구자들이 설립한 회사인 Alice AI Inc.이 개발한 대규모 언어 모델이다. 이 모델은 2024년에 처음 출시되었으며, 텍스트 완성, 질문 응답, 코드 생성 등 다양한 생성 작업을 위해 설계되었다. Alice AI는 다른 현대 대규모 언어 모델과 유사하게 트랜스포머 아키텍처를 기반으로 하며, 공개적으로 이용 가능한 대규모 텍스트 데이터 말뭉치로 학습되었다.
Alice AI의 개발은 2023년에 시작되었으며, 회사는 OpenAI, Google DeepMind, Anthropic과 같은 기관 출신의 연구자와 엔지니어 팀을 구성했다. 모델은 NVIDIA GPU를 포함한 고성능 컴퓨팅 자원 클러스터를 사용하여 학습되었으며, 학습 과정에는 1조 개 이상의 텍스트 데이터 토큰이 사용되었다. 2024년 초에 출시된 Alice AI의 초기 버전은 700억 개의 파라미터를 보유하여 유사한 규모의 다른 모델과 경쟁력을 갖추었다.
아키텍처 및 학습
Alice AI는 대규모 언어 모델의 표준 설계인 디코더 전용 트랜스포머 아키텍처를 사용한다. 이 모델은 멀티헤드 어텐션 메커니즘을 채택하며, Adam 옵티마이저의 변형을 사용하여 학습된다. 학습 과정에서는 커리큘럼 러닝이라는 기법이 사용되었는데, 이는 모델이 먼저 더 간단한 작업으로 학습된 후 더 복잡한 작업에 노출되는 방식이다. 학습 데이터는 책, 기사, 웹사이트를 포함한 다양한 인터넷 텍스트에서 수집되었으며, 중복 및 저품질 콘텐츠를 제거하기 위해 전처리되었다.
Alice AI의 학습은 여러 단계로 진행되었다. 초기 사전 학습 단계는 약 6개월 동안 10,000개의 GPU 클러스터를 사용하여 수행되었다. 사전 학습 후, 모델은 인간이 주석을 단 데이터에 대한 지도 학습을 사용하여 미세 조정 단계를 거쳤다. 이어서 인간 피드백 기반 강화 학습(RLHF) 단계가 진행되었으며, 이는 모델의 출력을 인간의 선호도와 정렬하는 데 도움이 되었다.
기능 및 성능
Alice AI는 텍스트 생성, 요약, 번역, 질문 응답을 포함한 다양한 자연어 처리 작업을 수행할 수 있다. 벤치마크 테스트에서 Alice AI는 MMLU(Massive Multitask Language Understanding) 및 코드 생성 벤치마크인 HumanEval과 같은 표준 데이터셋에서 경쟁력 있는 결과를 달성했다. MMLU에서 Alice AI는 85.3%를 기록했으며, HumanEval에서는 pass@1 비율 74.2%를 달성했다.
이 모델은 또한 최대 128,000개의 토큰 컨텍스트 창을 지원하여 긴 문서를 처리하고 확장된 대화에서 일관성을 유지할 수 있다. Alice AI는 API와 웹 인터페이스를 통해 제공되며, 다양한 타사 애플리케이션에 통합되었다.
출시 이력
Alice AI는 초기 출시 이후 여러 차례 업데이트를 거쳤다. 첫 번째 버전인 Alice AI 1.0은 2024년 1월에 출시되었다. 2024년 6월, 회사는 추론 능력의 개선과 환각 비율 감소를 도입한 Alice AI 1.5를 출시했다. 2024년 11월에는 더 큰 파라미터 수인 1,750억 개와 확장된 256,000개 토큰 컨텍스트 창을 갖춘 Alice AI 2.0이 출시되었다. 회사는 또한 온디바이스 배포를 위해 설계된 Alice AI 7B 및 Alice AI 13B와 같은 더 작은 변형 모델도 출시했다.
응용 분야 및 사용 사례
Alice AI는 고객 지원 챗봇, 콘텐츠 제작 도구, 교육 플랫폼을 포함한 다양한 응용 분야에서 사용된다. 이 모델은 기술 및 미디어 분야의 여러 회사에서 채택되었다. 예를 들어, 주요 전자상거래 회사는 Alice AI를 사용하여 제품 설명을 생성하고, 한 뉴스 조직은 기사 초안 작성에 이를 사용한다. 의료 분야에서는 Alice AI가 의료 문서화 및 환자 커뮤니케이션을 위해 탐구되고 있다.
이 모델은 또한 소프트웨어 개발에서도 사용되며, 프로그래머가 코드 스니펫을 생성하고 버그 수정을 제안하는 데 도움을 준다. Alice AI의 코드 이해 및 생성 능력은 개발자들 사이에서 인기 있는 도구가 되었다.
윤리적 고려 사항 및 안전
Alice AI Inc.는 대규모 언어 모델과 관련된 잠재적 위험을 완화하기 위해 여러 안전 조치를 구현했다. 회사는 유해 콘텐츠, 편향, 잘못된 정보에 대해 모델의 출력을 평가하는 전담 안전 팀을 보유하고 있다. RLHF 단계에서 인간 주석자는 유용성과 무해성을 우선시하도록 지시받았다. 회사는 또한 개발자에게 사용 지침을 제공하고 API에 콘텐츠 필터링을 구현했다.
이러한 노력에도 불구하고 Alice AI는 다른 대규모 언어 모델과 마찬가지로 부정확하거나 편향된 정보를 생성할 수 있다. 회사는 사용자에게 중요한 정보를 검증할 것을 권장하며 모델의 한계를 설명하는 투명성 보고서를 발행했다.
향후 방향
Alice AI Inc.는 모델의 효율성과 기능을 개선하는 방법을 적극적으로 연구하고 있다. 향후 계획에는 이미지와 오디오를 처리할 수 있는 멀티모달 버전 개발, 추론 및 사실 정확성 개선이 포함된다. 회사는 또한 모델 가지치기 및 양자화 기법을 통해 학습 및 추론의 계산 비용을 줄이는 방법을 탐구하고 있다.
평가 및 영향
Alice AI는 성능과 접근성에 대해 AI 커뮤니티로부터 긍정적인 피드백을 받았다. 코드 생성 작업에서의 강력한 성능과 긴 컨텍스트 창으로 칭찬을 받았다. 그러나 일부 비평가들은 모델의 학습 데이터와 평가 방법이 완전히 공개되지 않아 주장을 독립적으로 검증하기 어렵다고 지적했다. 회사는 기술 논문을 발표하고 학습 과정에 대한 더 많은 세부 정보를 제공함으로써 이에 대응했다.
전반적으로 Alice AI는 대규모 언어 모델의 성장하는 생태계에 기여하며, 더 큰 조직의 모델에 대한 대안을 제공한다. 그 출시는 AI의 민주화와 모델 개발에서 투명성의 중요성에 대한 논의를 촉발했다.