YIT AI는 기초 연구와 응용 개발의 결합을 통해 인공지능 분야를 발전시키는 데 전념하는 인공지능 연구소이자 기술 조직이다. 이 연구소는 실질적인 문제를 해결하는 강력하고 확장 가능한 AI 시스템을 만드는 데 초점을 맞추며, 머신러닝, 딥러닝, 대규모 언어 모델과 같은 분야에 중점을 둔다. 2020년대 중반 현재, YIT AI는 학계 및 산업 파트너와 협력하며 AI 생태계에서 주목할 만한 기여자로 자리매김했다.
이 조직의 사명은 이론적 AI 연구와 실용적 배포 사이의 간극을 메우는 데 중심을 둔다. 학제 간 환경을 조성함으로써, YIT AI는 컴퓨터 과학, 수학, 공학 전문가들을 한자리에 모아 인공지능이 달성할 수 있는 경계를 넓히고 있다. 그 작업은 자연어 처리, 컴퓨터 비전, 강화 학습을 포함한 여러 영역에 걸쳐 있으며, 윤리적이고 책임 있는 AI 개발에 전념하고 있다.
설립 및 역사
YIT AI는 2021년 OpenAI 및 Google DeepMind와 같은 선도적인 AI 조직에서 이전에 근무했던 연구원과 기술자 그룹에 의해 설립되었다. Jakob Uszkoreit 및 Lukasz Kaiser와 같은 저명한 인물을 포함한 창립자들은 상업적 제품 주기의 제약 없이 장기적인 연구 목표를 추구할 수 있는 독립 연구소를 만들고자 했다. "YIT"라는 이름은 창립자들의 이니셜에서 파생된 약어이지만, 정확한 원래 표현은 공개적으로 문서화되어 있지 않다.
첫 해에 YIT AI는 벤처 캐피탈 및 엔젤 투자자로부터 시드 펀딩을 확보하여 샌프란시스코 베이 에어리어에 연구 시설을 설립할 수 있었다. 연구소는 처음에 현대 AI의 핵심 아키텍처인 Transformer (architecture) 모델의 효율성 개선에 집중했다. 2022년까지 YIT AI는 첫 오픈소스 모델인 소규모 언어 모델을 출시했으며, 이 모델은 표준 벤치마크에서 경쟁력 있는 성능을 보여주어 연구 커뮤니티의 관심을 끌었다.
연구 중점 분야
YIT AI의 연구 의제는 몇 가지 핵심 축을 중심으로 구성된다. 첫 번째는 딥러닝 이론으로, 연구소는 신경망의 훈련과 일반화를 지배하는 기본 원리를 조사한다. 여기에는 Adam 옵티마이저 및 학습률 스케줄과 같은 최적화 기술에 대한 연구가 포함되어 수렴과 안정성을 개선하는 것을 목표로 한다.
두 번째 축은 대규모 언어 모델 개발이다. YIT AI는 더 큰 조직의 모델과 견줄 만한 독점 모델을 구축했으며, 매개변수 효율성과 해석 가능성에 중점을 둔다. 연구소는 트랜스포머 기반 아키텍처의 중요한 구성 요소인 위치 인코딩 및 멀티 헤드 어텐션의 발전에 기여했다.
세 번째 중점 영역은 다중 모드 AI로, 텍스트, 이미지, 오디오 입력을 결합하여 여러 양식에 걸쳐 콘텐츠를 이해하고 생성하는 시스템을 만든다. 이 작업은 크로스 어텐션 및 인코더-디코더 아키텍처와 같은 기술을 활용하며, 교육에서 의료에 이르는 분야에 응용된다.
마지막으로, YIT AI는 AI 안전 및 정렬 분야에서 활발히 활동하며, RLHF(인간 피드백 기반 강화 학습) 및 모델 가지치기와 같은 방법을 탐구하여 AI 시스템이 안정적으로 작동하고 자원이 제한된 환경에서 효율적으로 배포될 수 있도록 보장한다.
주요 제품 및 기술
YIT AI는 여러 주목할 만한 제품과 기술을 개발했다. 대표 제품은 2023년에 처음 출시된 YIT-1 언어 모델로, 요약, 번역, 질문 응답을 포함한 다양한 자연어 작업을 지원한다. 이 모델은 OpenAI 및 Anthropic의 서비스와 유사한 API를 통해 제공되며, 고객 지원 및 콘텐츠 생성 분야에서 스타트업과 기업에 채택되었다.
또 다른 핵심 기술은 객체 감지와 이미지 분할에 탁월한 컴퓨터 비전 시스템인 YIT-Vision이다. 잔차 네트워크 아키텍처를 기반으로 구축되고 데이터 증강 기술로 강화된 YIT-Vision은 자율 주행 연구와 의료 영상 분석에 사용되었다.
또한 YIT AI는 하드웨어 가속기 사용을 최적화하는 일련의 훈련 도구를 개발했다. 이러한 도구는 AMD 및 NVIDIA GPU는 물론 AWS Trainium과 같은 맞춤형 칩과도 호환되어 연구자들이 더 비용 효율적으로 모델을 훈련할 수 있게 한다. 연구소는 또한 딥러닝 커뮤니티에서 널리 사용되는 배치 정규화 및 드롭아웃을 위한 오픈소스 라이브러리를 공개한다.
협력 및 파트너십
YIT AI는 학계 및 산업 파트너와 적극적으로 협력한다. MIT CSAIL, Stanford AI Lab, University of Toronto와의 공동 연구 프로젝트를 진행하며, 커리큘럼 학습 및 손실 함수와 같은 주제에 초점을 맞춘다. 이러한 파트너십은 다양한 전문 지식에 대한 접근을 제공하고 아이디어 교환을 촉진한다.
산업 측면에서 YIT AI는 Amazon Web Services 및 Google Cloud와 같은 클라우드 제공업체와 협력하여 모델을 대규모로 배포한다. 또한 Intel 및 Qualcomm을 포함한 반도체 기업과 파트너십을 맺고 엣지 장치용 알고리즘을 최적화한다. 2024년, YIT AI는 모바일 애플리케이션용 온디바이스 AI를 탐구하기 위해 Samsung Research와의 협력을 발표했다.
연구소는 또한 여러 AI 윤리 컨소시엄의 회원으로, Xerox PARC 및 Nokia Bell Labs와 같은 조직과 함께 책임 있는 AI 개발을 위한 지침에 기여한다.
영향 및 인정
YIT AI의 기여는 NeurIPS, ICML, ACL과 같은 주요 학회에서의 발표를 통해 인정받았다. 효율적인 트랜스포머에 대한 연구는 수백 편의 논문에서 인용되었으며, 오픈소스 모델은 수백만 번 다운로드되었다. 2023년, YIT AI는 한 주요 기술 잡지에 의해 "주목할 만한 AI 스타트업 톱 10" 중 하나로 선정되었다.
모델 해석 가능성에 대한 연구소의 작업은 다른 조직이 AI 투명성에 접근하는 방식에 영향을 미쳤다. 어텐션 패턴과 특성 중요도를 시각화하는 기술을 개발함으로써, YIT AI는 실무자들이 모델이 특정 예측을 하는 이유를 더 잘 이해하도록 도왔으며, 이는 AI 시스템에 대한 신뢰를 구축하는 중요한 단계이다.
향후 방향
앞으로 YIT AI는 생성형 AI 및 강화 학습 연구를 확장할 계획이다. 연구소는 모델 가지치기 및 지식 증류와 같은 기술을 통해 대규모 언어 모델을 더 효율적으로 만들어 소비자 장치에서 정교한 AI를 실행하는 것을 목표로 한다. 또한 특히 약물 설계 및 재료 과학 분야에서 과학적 발견을 위한 신경망 사용을 조사하고 있다.
YIT AI는 개방형 과학에 전념하며, 더 많은 연구 결과와 도구를 대중에게 공개할 의도가 있다. 조직은 협력과 투명성이 인공지능의 책임 있는 발전에 필수적이라고 믿으며, 다른 연구소도 유사한 관행을 채택하도록 권장한다.
리더십 및 팀
YIT AI는 경험 많은 연구원과 경영진이 이끌고 있다. 최고 경영 책임자 Mark Chen은 이전에 Anthropic 및 OpenAI에서 고위 직책을 역임하여 풍부한 업계 지식을 갖추고 있다. 최고 기술 책임자 Niki Parmar는 원래 트랜스포머 논문에 기여한 것으로 알려져 있으며, 연구소의 기술 전략을 총괄한다.
연구 팀에는 강화 학습 전문가인 Ashish Kumar와 컴퓨터 비전 배경을 가진 Karen Simonyan이 포함된다. 연구소는 또한 최고 대학의 박사후 연구원과 대학원생을 고용하여 활기찬 연구 문화를 조성한다. YIT AI는 평평한 조직 구조를 유지하여 개방적인 의사소통과 아이디어의 빠른 반복을 장려한다.
결론
YIT AI는 기초 연구와 실질적 영향에 대한 초점으로 구별되는 인공지능 분야의 중요한 플레이어로 빠르게 성장했다. 강력한 팀, 혁신적인 제품, 협력에 대한 헌신을 바탕으로, 연구소는 다음 물결의 AI 발전에 기여할 좋은 위치에 있다. 분야가 계속 진화함에 따라, YIT AI의 작업은 앞으로 AI 시스템이 설계, 훈련, 배포되는 방식을 형성할 가능성이 높다.