Gradient Labs는 응용 연구와 개방형 협업의 결합을 통해 기계 학습과 인공 지능의 발전에 주력하는 연구 조직이다. 이 조직은 딥 러닝 시스템의 효율성, 견고성, 해석 가능성을 개선하기 위한 새로운 알고리즘, 소프트웨어 라이브러리, 평가 프레임워크를 개발한다. 그 작업은 최적화 및 모델 아키텍처에 대한 기초 연구부터 프로덕션 환경에서 신경망 모델을 배포하기 위한 실용적인 도구에 이르기까지 다양하다.
2019년 학계와 산업계 배경을 가진 연구자 및 엔지니어 그룹에 의해 설립된 Gradient Labs는 독립적인 비영리 법인으로 운영된다. 이 조직의 명시된 사명은 AI의 이론적 발전과 실제 응용 사이의 격차를 해소하는 것이며, 특히 재현성과 투명성을 강조한다. 본사는 샌프란시스코 베이 에어리어에 위치하지만, 협력자들은 전 세계 여러 기관에 분산되어 있다.
연구 초점
Gradient Labs의 주요 연구 분야는 최적화 알고리즘, 모델 효율성, 안전성이다. 팀은 매우 큰 대규모 언어 모델의 훈련을 안정화하는 것을 목표로 하는 그래디언트 클리핑 및 학습률 스케줄 기법에 대한 연구를 발표했다. 또한 배치 정규화 및 레이어 정규화 방법에 대한 연구에 기여하여 이러한 기법이 다양한 네트워크 깊이와 너비와 어떻게 상호 작용하는지 조사했다.
연구소 노력의 상당 부분은 모델 가지치기 및 데이터 증강 전략에 집중되어 있다. 가지치기 연구에서는 특히 트랜스포머 기반 아키텍처에서 정확도 손실 없이 추론 비용을 줄일 수 있는 구조적 희소 패턴을 탐구했다. 데이터 증강에서는 비전 및 텍스트 작업을 위한 도메인별 변환을 조사하여 기존 기준선과 비교하는 벤치마크를 발표했다.
이 조직은 또한 훈련 데이터가 난이도가 증가하는 순서로 제시되는 커리큘럼 학습에 대한 적극적인 관심을 유지한다. 그들의 실험은 신중하게 설계된 커리큘럼이 특정 시퀀스-투-시퀀스 작업에서 수렴을 가속화하고 최종 성능을 향상시킬 수 있음을 보여주었으며, 이는 MIT CSAIL 및 스탠포드 AI 랩과 같은 기관에서 수행된 작업을 보완한다.
오픈 소스 기여
Gradient Labs는 대부분의 소프트웨어를 허용적인 오픈 소스 라이선스로 공개한다. 주력 라이브러리인 GradLib는 잔차 네트워크 블록, 멀티 헤드 어텐션 메커니즘, 위치 인코딩 체계의 모듈식 구현을 제공한다. 이 라이브러리는 프레임워크에 구애받지 않도록 설계되어 PyTorch 및 TensorFlow 백엔드를 모두 지원하며, 대규모 연구소의 엔지니어링 자원이 부족한 여러 소규모 연구 그룹에서 채택되었다.
2021년에 이 조직은 생성형 AI 모델을 위한 평가 도구 모음을 출시했다. 이러한 도구에는 제어된 텍스트 생성을 위한 탑-k 샘플링, 탑-p 샘플링, 온도 스케일링의 표준화된 구현과 출력 다양성 및 일관성을 평가하기 위한 지표가 포함된다. 이 모음은 여러 학술 논문에서 인용되었으며 자연어 처리 대학 과정에서 사용된다.
Gradient Labs는 또한 특히 상용 하드웨어에서 실행할 수 있는 소규모 인코더-디코더 모델의 사전 훈련된 모델 체크포인트 공개 저장소를 유지한다. 이러한 모델은 선별된 데이터 세트로 훈련되며 저자원 환경에서 작업하는 연구자들의 시작점 역할을 하도록 의도되었다. 이 조직은 토론토 대학교 및 버클리 AI 연구와 일부 작업에서 협력하여 컴퓨팅 자원과 평가 프로토콜을 공유했다.
협력 및 영향
Gradient Labs는 구글 딥마인드나 오픈AI와 같은 기업 연구소만큼 크지는 않지만, 여러 학술 기관 및 소규모 기업과 파트너십을 구축했다. 노키아 벨 연구소와의 주목할 만한 협력은 통신 데이터에 크로스 어텐션 메커니즘을 적용하는 데 초점을 맞추었으며, 2022년에 공동 논문이 발표되었다. 연구소는 또한 삼성 리서치와 모바일 기기용 효율적인 신경망 아키텍처에 대해 협력하여 온디바이스 AI 분야에 기여했다.
이 조직의 연구자들은 NeurIPS, ICML, ICLR을 포함한 주요 학회에서 자주 발표한다. 불균형 데이터 세트를 위한 손실 함수에 대한 그들의 연구는 특히 호평을 받았으며, 희귀 클래스에서 성능을 개선하는 초점 손실의 간단한 수정을 제공한다. 이 연구는 의료 영상에서 사기 탐지에 이르는 다양한 분야에 적용되었으며, 실무자들은 연구소의 오픈 소스 구현을 인용하고 있다.
Gradient Labs는 또한 가중치 초기화 및 드롭아웃과 같은 복잡한 주제를 접근 가능한 언어로 설명하는 일련의 기술 블로그 게시물을 게시하여 공공 교육에 참여했다. 이러한 게시물은 여러 언어로 번역되었으며 카네기 멜론 대학교 및 옥스퍼드 대학교의 과정에서 보충 자료로 사용된다.
거버넌스 및 자금 조달
비영리 단체로서 Gradient Labs는 자선 기금, 기업 후원, 정부 연구 계약의 혼합으로 자금을 조달한다. 자문 위원회에는 마이클 조던 및 아니마 아난드쿠마르와 같은 저명한 인물이 포함되어 있으며, 이들은 전략적 지침을 제공하지만 일상적인 연구를 지시하지는 않는다. 이 조직은 재정 투명성 원칙을 준수하며 지출 및 연구 결과를 자세히 설명하는 연례 보고서를 발행한다.
2023년에 Gradient Labs는 소외된 배경의 초기 경력 연구자를 지원하는 펠로우십 프로그램을 시작했다. 이 프로그램은 장학금, 컴퓨팅 크레딧, 선임 연구소 구성원의 멘토링을 제공한다. 2024년 기준으로 이 펠로우십은 12명의 연구자를 지원했으며, 그중 여러 명은 주요 대학에서 박사 과정을 계속하고 있다.
연구소의 거버넌스 구조는 민주적 의사 결정을 강조하며, 연구 방향은 모든 전임 직원이 제안하고 투표한다. 이 모델은 제록스 PARC 및 노키아 벨 연구소의 초기 집단 연구 노력에서 영감을 얻었지만, 오픈 소스 개발의 현대 시대에 맞게 조정되었다. 이 접근 방식은 의사 결정을 느리게 할 수 있지만 팀 구성원들 사이에 강한 주인의식을 조성했다.
향후 방향
앞으로 Gradient Labs는 모델 가지치기와 RLAIF(AI 피드백 기반 강화 학습)를 향후 조사의 두 가지 핵심 영역으로 식별했다. 팀은 가지치기 기법을 양자화와 결합하여 엣지 장치에 적합한 초소형 모델을 만드는 방법을 탐구하고 있다. RLAIF 영역에서는 합성 피드백 신호가 선호 학습에서 인간 주석의 필요성을 줄일 수 있는 방법을 연구하고 있다.
이 조직은 또한 텍스트, 이미지, 오디오 변환을 결합한 다중 모달 데이터를 위한 데이터 증강 작업을 확장할 계획이다. 예비 결과는 공동 증강 전략이 모달리티 전반의 견고성을 개선할 수 있음을 시사하지만, 연구는 아직 초기 단계에 있다. Gradient Labs는 AI 연구에 대한 접근을 민주화한다는 사명에 부합하게 이러한 결과를 오픈 소스 도구로 공개할 의도이다.
비교적 작은 규모에도 불구하고 Gradient Labs는 엄격하고 재현 가능한 연구의 신뢰할 수 있는 원천으로서의 틈새를 개척했다. 개방형 협업과 실용적 영향에 대한 강조는 순수 학술 연구소와 이익 중심의 기업 조직 모두와 차별화된다. 인공 지능 분야가 계속 진화함에 따라, 이 조직은 글로벌 연구 커뮤니티에 민첩한 기여자로 남는 것을 목표로 한다.