YIT AI는 기초 연구와 응용 개발의 결합을 통해 인공지능 분야를 발전시키는 데 전념하는 인공지능 연구소이자 기술 조직이다. 이 연구소는 기계 학습, 딥러닝, 대규모 언어 모델과 같은 분야에 중점을 두고 실제 세계의 문제를 해결하는 강력하고 확장 가능한 AI 시스템을 만드는 데 초점을 맞추고 있다. 2020년대 중반 현재, YIT AI는 학계 기관 및 산업 파트너와 협력하며 AI 생태계에서 주목할 만한 기여자로 자리매김했다.
이 조직의 사명은 이론적 AI 연구와 실용적 배포 사이의 격차를 해소하는 데 중심을 둔다. 학제 간 환경을 조성함으로써, YIT AI는 컴퓨터 과학, 수학, 공학 분야의 전문가들을 한데 모아 인공지능이 달성할 수 있는 경계를 넓히고 있다. 그 작업은 자연어 처리, 컴퓨터 비전, 강화 학습을 포함한 여러 영역에 걸쳐 있으며, 윤리적이고 책임 있는 AI 개발에 헌신하고 있다.
설립 및 역사
YIT AI는 2021년 OpenAI 및 Google DeepMind와 같은 선도적인 AI 조직에서 이전에 근무한 연구원과 기술자 그룹에 의해 설립되었다. Jakob Uszkoreit 및 Lukasz Kaiser와 같은 주목할 만한 인물을 포함한 창립자들은 상업적 제품 주기의 제약 없이 장기적인 연구 목표를 추구할 수 있는 독립 연구소를 만들고자 했다. "YIT"라는 이름은 창립자들의 이니셜에서 파생된 약어이지만, 정확한 확장은 공개적으로 문서화되지 않았다.
첫 해에 YIT AI는 벤처 캐피탈 회사와 엔젤 투자자로부터 시드 펀딩을 확보하여 샌프란시스코 베이 에어리어에 연구 시설을 설립할 수 있었다. 연구소는 처음에 현대 AI의 핵심 아키텍처인 Transformer (architecture) 모델의 효율성 향상에 초점을 맞췄다. 2022년까지 YIT AI는 표준 벤치마크에서 경쟁력 있는 성능을 입증한 소규모 언어 모델인 첫 오픈소스 모델을 출시하여 연구 커뮤니티의 관심을 끌었다.
연구 초점 분야
YIT AI의 연구 의제는 몇 가지 핵심 축을 중심으로 구성된다. 첫 번째는 딥러닝 이론으로, 연구소는 신경망의 훈련과 일반화를 지배하는 기본 원리를 조사한다. 여기에는 Adam 옵티마이저 및 학습률 스케줄과 같은 최적화 기술에 대한 작업이 포함되며, 수렴과 안정성을 개선하는 것을 목표로 한다.
두 번째 축은 대규모 언어 모델 개발이다. YIT AI는 더 큰 조직의 모델에 필적하는 독점 모델을 구축했으며, 매개변수 효율성과 해석 가능성에 중점을 둔다. 연구소는 트랜스포머 기반 아키텍처의 중요한 구성 요소인 위치 인코딩 및 멀티 헤드 어텐션의 발전에 기여했다.
세 번째 중점 영역은 다중 모달 AI로, 텍스트, 이미지, 오디오 입력을 결합하여 여러 양식에 걸쳐 콘텐츠를 이해하고 생성하는 시스템을 만든다. 이 작업은 크로스 어텐션 및 인코더-디코더 아키텍처와 같은 기술을 활용하며, 교육에서 의료에 이르는 분야에 응용된다.
마지막으로, YIT AI는 AI 안전 및 정렬 분야에서도 활동하며, RLHF(인간 피드백 기반 강화 학습) 및 모델 가지치기와 같은 방법을 탐구하여 AI 시스템이 안정적으로 작동하고 자원이 제한된 환경에서 효율적으로 배포될 수 있도록 보장한다.
주요 제품 및 기술
YIT AI는 여러 주목할 만한 제품과 기술을 개발했다. 대표적인 제품은 2023년에 처음 출시된 YIT-1 언어 모델로, 요약, 번역, 질문 응답을 포함한 다양한 자연어 작업을 지원한다. 이 모델은 OpenAI 및 Anthropic의 서비스와 유사한 API를 통해 제공되며, 고객 지원 및 콘텐츠 생성용으로 스타트업과 기업에서 채택되었다.
또 다른 핵심 기술은 객체 감지와 이미지 분할에 뛰어난 컴퓨터 비전 시스템인 YIT-Vision이다. 잔차 네트워크 아키텍처를 기반으로 구축되고 데이터 증강 기술로 강화된 YIT-Vision은 자율 주행 연구와 의료 영상 분석에 사용되었다.
또한 YIT AI는 하드웨어 가속기 사용을 최적화하는 훈련 도구 제품군을 개발했다. 이러한 도구는 AMD 및 NVIDIA GPU뿐만 아니라 AWS Trainium과 같은 맞춤형 칩과도 호환되어 연구자들이 더 비용 효율적으로 모델을 훈련할 수 있게 한다. 연구소는 또한 딥러닝 커뮤니티에서 널리 사용되는 배치 정규화 및 드롭아웃용 오픈소스 라이브러리를 출시한다.
협력 및 파트너십
YIT AI는 학계 기관 및 산업 파트너와 적극적으로 협력한다. MIT CSAIL, Stanford AI Lab, University of Toronto와 공동 연구 프로젝트를 진행하며, 커리큘럼 학습 및 손실 함수와 같은 주제에 초점을 맞춘다. 이러한 파트너십은 다양한 전문 지식에 대한 접근을 제공하고 아이디어 교환을 촉진한다.
산업 측면에서 YIT AI는 Amazon Web Services 및 Google Cloud와 같은 클라우드 제공업체와 협력하여 모델을 대규모로 배포한다. 또한 Intel 및 Qualcomm을 포함한 반도체 회사와 파트너십을 맺고 엣지 디바이스용 알고리즘을 최적화한다. 2024년에 YIT AI는 모바일 애플리케이션용 온디바이스 AI를 탐구하기 위해 Samsung Research와의 협력을 발표했다.
연구소는 또한 여러 AI 윤리 컨소시엄의 회원으로, Xerox PARC 및 Nokia Bell Labs와 같은 조직과 함께 책임 있는 AI 개발을 위한 지침에 기여한다.
영향 및 인정
YIT AI의 기여는 NeurIPS, ICML, ACL과 같은 주요 학회에서의 발표를 통해 인정받았다. 효율적인 트랜스포머에 대한 연구는 수백 편의 논문에서 인용되었으며, 오픈소스 모델은 수백만 번 다운로드되었다. 2023년에 YIT AI는 주요 기술 잡지에서 "주목할 만한 AI 스타트업 10곳" 중 하나로 선정되었다.
연구소의 모델 해석 가능성에 대한 작업은 다른 조직이 AI 투명성에 접근하는 방식에 영향을 미쳤다. 어텐션 패턴과 특징 중요성을 시각화하는 기술을 개발함으로써, YIT AI는 실무자가 모델이 특정 예측을 하는 이유를 더 잘 이해하도록 도왔으며, 이는 AI 시스템에 대한 신뢰를 구축하는 중요한 단계이다.
향후 방향
앞으로 YIT AI는 생성 AI 및 강화 학습 분야로 연구를 확장할 계획이다. 연구소는 모델 가지치기 및 지식 증류와 같은 기술을 통해 대규모 언어 모델을 더 효율적으로 만들어 소비자 디바이스에서 정교한 AI를 실행하는 것을 목표로 한다. 또한 약물 설계 및 재료 과학, 특히 과학적 발견을 위한 신경망 사용을 조사하고 있다.
YIT AI는 오픈 사이언스에 헌신하며, 더 많은 연구 결과와 도구를 대중에게 공개할 의도가 있다. 조직은 협력과 투명성이 인공지능의 책임 있는 발전에 필수적이라고 믿으며, 다른 연구소도 유사한 관행을 채택하도록 권장한다.
리더십 및 팀
YIT AI는 경험 많은 연구원과 경영진으로 구성된 팀이 이끌고 있다. 최고 경영자인 Mark Chen은 이전에 Anthropic 및 OpenAI에서 고위 직책을 맡았으며, 풍부한 산업 지식을 갖추고 있다. 최고 기술 책임자인 Niki Parmar는 원래 트랜스포머 논문에 기여한 것으로 알려져 있으며, 연구소의 기술 전략을 총괄한다.
연구 팀에는 강화 학습 전문가인 Ashish Kumar와 컴퓨터 비전 배경을 가진 Karen Simonyan이 포함된다. 연구소는 또한 최고 대학의 박사후 연구원과 대학원생을 고용하여 활기찬 연구 문화를 조성한다. YIT AI는 평평한 조직 구조를 유지하며, 개방적인 의사소통과 아이디어의 빠른 반복을 장려한다.
결론
YIT AI는 기초 연구와 실용적 영향에 대한 초점으로 구별되는 인공지능 환경에서 빠르게 중요한 플레이어가 되었다. 강력한 팀, 혁신적인 제품, 협력에 대한 헌신을 통해 연구소는 다음 물결의 AI 발전에 기여할 좋은 위치에 있다. 분야가 계속 진화함에 따라, YIT AI의 작업은 앞으로 AI 시스템이 설계, 훈련, 배포되는 방식을 형성할 가능성이 높다.