앨런 인공지능 연구소(Allen Institute for AI, 약칭 Ai2)는 2014년 고(故) 마이크로소프트 공동 창업자이자 박애주의자였던 폴 앨런(Paul Allen)이 설립한 501(c)(3) 비영리 과학 연구 기관이다. 이 연구소는 공공의 이익을 위해 영향력이 큰 인공지능 연구와 엔지니어링을 수행하는 것을 목표로 한다. Ai2는 시애틀에 본사를 두고 있으며, 이스라엘 텔아비브에도 활발한 사무소를 두고 있다.
이 연구소는 인공지능 연구에 기여한 공로로 잘 알려져 있으며, 여기에는 오픈소스 대규모 언어 모델 개발, 자연어 처리 도구, 컴퓨터 비전 플랫폼 등이 포함된다. 그 연구는 기초 연구, 응용 시스템, 대중 대상 도구에 걸쳐 있으며, AI 개발의 재현성과 투명성에 중점을 둔다.
역사
오렌 에치오니(Oren Etzioni)는 2013년 9월 폴 앨런에 의해 연구소의 연구를 지휘하도록 임명되었다. 9년간 조직을 이끈 후, 에치오니는 2022년 9월 30일 CEO 자리에서 물러났다. 그는 회사의 아리스토(Aristo) 프로젝트의 수석 연구원인 피터 클라크(Peter Clark)가 임시로 대체했다. 2023년 6월 20일, Ai2는 알리 파르하디(Ali Farhadi)가 2023년 7월 31일부터 차기 CEO로 취임한다고 발표했다. 2026년 3월 10일, Ai2는 알리 파르하디가 2년 반 만에 CEO에서 물러나고, 다시 피터 클라크가 임시로 대체한다고 발표했다.
연속된 지도자들 아래에서 Ai2는 질문 응답과 추론에 초점을 맞추던 것에서 대규모 오픈 모델 개발, 구현 AI, 환경 응용 분야로 확장해 왔다. 연구소의 자금 조달 모델은 상업적 수익보다는 기금과 보조금에 의존하기 때문에, 오픈 릴리스와 공공 이익을 우선시할 수 있었다.
아리스토와 추론
아리스토는 Ai2의 대표 프로젝트이다. 원래 프로젝트 목표는 텍스트를 읽고, 학습하고, 추론할 수 있고, 궁극적으로 8학년 과학 시험에 통과함으로써 지식을 입증할 수 있는 인공지능 시스템을 설계하는 것이었으며, 팀은 2018년에 이 목표를 달성했다. 이 프로젝트는 시애틀에 본사를 둔 투자 회사 벌칸(Vulcan)이 수행한 유사한 프로젝트인 프로젝트 헤일로(Project Halo)에서 영감을 받았다. 팀의 현재 초점은 체계적으로 추론하고, 설명하고, 시간이 지남에 따라 지속적으로 개선할 수 있는 차세대 시스템을 구축하는 것이다.
아리스토 시스템은 신경망 구성 요소와 기호 추론 및 지식 검색을 결합했다. 과학 시험에서의 성공은 머신러닝에서 하이브리드 접근 방식의 잠재력을 입증했다. 이 프로젝트의 기술은 이후 트랜스포머 기반 모델과 생성형 AI 시스템에 대한 연구에 영향을 미쳤다.
컴퓨터 비전과 구현 AI
PRIOR 팀은 세상을 보고, 탐험하고, 학습하고, 추론할 수 있는 AI 시스템을 만들어 컴퓨터 비전 분야를 발전시키고자 한다. 팀은 2016년 시뮬레이션 환경에서 AI 에이전트 훈련을 지원하는 오픈 구현 AI 플랫폼 AI2-THOR를 출시했다. 2018년 2월, 팀은 제한된 아이콘 집합에서 상황적 장면을 이해하고 생성할 수 있는 AI의 시연으로 게임 아이코너리(Iconary)를 출시했다.
AI2-THOR는 상호작용 가능한 객체가 있는 사실적인 3D 환경을 제공하여 내비게이션, 조작, 작업 계획 연구를 가능하게 한다. 이 플랫폼은 딥러닝 커뮤니티에서 구현 에이전트의 벤치마킹과 훈련을 위해 널리 채택되었다. 게임 회사와 협력하여 개발된 아이코너리는 AI가 그림과 추측을 사용하여 의사소통하는 능력을 테스트하며, 상식과 시각적 이해가 필요하다.
시맨틱 스콜라와 앨런NLP
시맨틱 스콜라(Semantic Scholar) 도구는 2015년 11월 공개된 학술 출판물용 인공지능 기반 검색 엔진이다. 자연어 처리의 발전을 활용하여 학술 논문 요약, 인라인 인용에 대한 맥락 정보, 논문 라이브러리 생성 및 논문 추천 기능과 같은 기능을 제공한다.
앨런NLP 팀은 NLP 시스템의 성능과 책임성을 개선하고, NLP 시스템을 평가하고 이해하기 위한 과학적 방법론을 발전시키는 연구를 수행한다. 팀은 자체 연구뿐만 아니라 NLP 연구를 가속화하는 오픈소스 도구도 생산한다.
2017년 처음 출시된 앨런NLP는 파이토치 기반 딥러닝 모델을 구축하는 인기 있는 라이브러리가 되었다. 개체명 인식, 의미 역할 표지, 텍스트 함의와 같은 작업을 위한 모듈식 구성 요소를 제공한다. 시맨틱 스콜라는 현재 수백만 개의 논문을 색인하고 있으며, TLDR 요약 및 인용 그래프와 같은 기능에 대규모 언어 모델을 사용한다.
모자이크와 상식
모자이크(Mosaic) 프로젝트는 AI 시스템을 위한 상식 지식과 추론을 정의하고 구축하는 데 초점을 맞춘다. 이 노력은 인간이 당연하게 여기는 일상적인 물리적, 사회적 개념을 기계가 이해할 수 있게 하는 AI의 오랜 과제를 해결한다.
모자이크는 Cyc와 같은 초기 상식 이니셔티브를 기반으로 하지만, 현대적인 머신러닝 기술을 사용하여 지식을 획득하고 추론한다. 이 프로젝트는 대규모 언어 모델에 통합되어 추론 능력과 견고성을 개선할 수 있는 자원을 만드는 것을 목표로 한다. 2020년대 중반 기준으로, 모자이크는 AI 시스템의 상식을 평가하기 위한 데이터셋과 벤치마크를 출시했다.
환경을 위한 AI
이 팀들은 전 세계 여러 지역에서 밀렵과 불법 어업을 예방하고, 기후 모델링 및 산불 관리와 같은 환경 문제를 해결하기 위해 인공지능 솔루션을 적용하고자 한다. 이 그룹의 팀에는 어스레인저(EarthRanger), 스카이라이트(Skylight), 기후 모델링(Climate Modeling), 와일드랜즈(Wildlands)가 포함된다.
어스레인저는 센서, 카메라, 레인저 보고서의 데이터를 통합하여 보호 지역 관리자에게 실시간 상황 인식을 제공하는 소프트웨어 플랫폼이다. 스카이라이트는 위성 이미지와 머신러닝을 사용하여 불법 어업에 관여할 가능성이 있는 선박을 감지한다. 기후 모델링은 딥러닝을 적용하여 기후 시뮬레이션의 정확성과 속도를 개선하고, 와일드랜즈는 산불 예측 및 완화에 중점을 둔다.
생성형 AI와 오픈 모델
Ai2는 완전히 공개된 대규모 언어 모델, 데이터셋, 모델 훈련 자산의 출시를 통해 오픈소스 인공지능 개발에 적극적으로 참여해 왔다.
올모 모델 제품군
2023년 5월 11일, Ai2는 다른 최첨단 언어 모델의 성능에 맞추는 것을 목표로 하는 오픈 언어 모델 OLMo를 개발 중이라고 발표했다. 2024년 2월, 1B 및 7B 매개변수 변형 모델이 코드, 중간 스냅샷과 로그가 포함된 모델 가중치, 돌마(Dolma) 훈련 데이터셋의 내용(웹 텍스트, 학술 출판물, 코드, 책, 소셜 미디어, 백과사전적 출처에서 수집된 3조 토큰 영어 말뭉치)과 함께 오픈소스로 공개되어, 가장 개방적인 최첨단 모델이 되었다.
2024년 9월, Ai2는 컨텍스추얼 AI(Contextual AI)와 공동으로 개발한 OLMo 제품군 최초의 전문가 혼합(mixture-of-experts) 모델인 OLMoE를 출시했다. 이 희소 모델은 총 약 70억 개의 매개변수를 가지며, 입력 토큰당 약 10억 개가 활성화되고, 5조 토큰으로 훈련되었다. 다른 OLMo 릴리스와 마찬가지로, 모델 가중치는 훈련 데이터, 코드, 로그, 중간 훈련 체크포인트와 함께 제공되었다.
2024년 11월, Ai2는 올모의 두 번째 버전인 OLMo 2를 출시했으며, 초기 릴리스에는 7B 및 13B 매개변수 모델이 포함되었다. 2025년 3월, Ai2는 OLMo 2의 32B 변형을 출시하면서 "GPT3.5-Turbo와 GPT-4o mini를 능가하는 최초의 완전 개방형 모델(모든 데이터, 코드, 가중치, 세부 사항이 자유롭게 제공됨)"을 출시했다고 주장했다.
2025년 11월, Ai2는 올모 3 모델 세트(이제 소문자 "L"과 "M"으로 표기)를 출시했다. 여기에는 올모 3 씽크(7 및 32B), 올모 3 베이스(7 및 32B), 올모 3 인스트럭트(7B), 올모 3 RL 제로(7B)가 포함된다. 2025년 12월, Ai2는 32B 모델의 업데이트인 올모 3.1을 발표했다.
OLMo 릴리스는 오픈AI 및 앤트로픽 생태계에 영향을 미쳐, 연구자들에게 훈련 데이터와 파이프라인에 대한 완전한 접근을 제공했다. 또한 상업 연구소의 폐쇄적 접근 방식과 대조되는 AI 개발의 투명성에 대한 논의를 촉발했다.
툴루 모델 및 사후 훈련 레시피
완전히 공개된 올모 모델 제품군 외에도, Ai2는 오픈 가중치 기반 모델(예: 메타의 라마)을 기반으로 하는 지시 튜닝 모델 제품군이자 오픈 사후 훈련 레시피인 툴루(Tulu)를 개발하여, 독점적인 지시 튜닝 방법에 대한 완전히 투명한 대안을 제공한다. AI2는 2023년 6월 툴루의 첫 번째 버전을 출시했으며, 이후 2023년 11월(툴루 2)과 2024년 11월(툴루 3)에 후속 버전이 출시되었다.
툴루 모델은 RLHF 및 커리큘럼 학습과 같은 기술과 함께 사용되도록 설계되었으며, 레시피에는 하이퍼파라미터와 데이터 처리에 대한 자세한 문서가 포함된다. 이 작업은 상용 모델에서 종종 블랙박스인 최첨단 지시 튜닝에 대한 접근을 민주화하는 것을 목표로 한다.
같이 보기
- 앨런 뇌 과학 연구소
- 앨런 세포 과학 연구소
- 인공지능
- 인공지능 용어집
- 대규모 언어 모델 목록
참고 문헌
- 국세청 서류. ProPublica 비영리 탐색기.
- 공식 웹사이트.