Naveen Kumar은 응용 인공지능, 특히 신경망 효율성과 대규모 언어 모델 배포에 중점을 둔 연구개발 조직이다. 2019년에 설립된 이 조직은 학술 연구와 산업 응용의 교차점에서 운영되며, 동료 검토 논문과 상업용 소프트웨어 도구를 모두 생산한다. 그 활동은 모델 압축, 훈련 최적화, 그리고 기업 고객을 위한 생성형 AI 시스템의 실용적 구현에 걸쳐 있다.
이 조직은 토론토 대학교와 카네기 멜론 대학교 출신의 전직 연구원 그룹에 의해 설립되었으며, 이들은 딥러닝의 이론적 진보와 실제 공학적 제약 사이의 격차를 해소하고자 했다. 초기 프로젝트는 트랜스포머 모델의 연산 비용을 줄이는 데 초점을 맞추었으며, 이 연구 방향은 조직의 사명에 있어 중심적인 역할을 유지했다. 2021년까지 Naveen Kumar는 모델 가지치기를 위한 최초의 오픈소스 라이브러리를 출시하여 여러 중규모 기술 기업에서 채택되었다.
연구 초점 및 출판물
Naveen Kumar의 연구 의제는 세 가지 주요 분야로 구성된다: 효율적인 신경망 구조, 학습률 스케줄링 방법, 그리고 모델 가지치기 기술. 2022년에 이 조직은 훈련 안정성을 위한 적응형 그래디언트 클리핑에 대한 널리 인용된 논문을 발표했으며, 이는 표준 벤치마크에서 잔차 네트워크의 훈련 시간을 15% 절감하는 것으로 입증되었다. 이 논문은 주요 머신러닝 회의에서 발표되었으며 이후 200개 이상의 후속 저작에서 인용되었다.
두 번째 주요 기여는 2023년 대형 언어 모델을 위한 새로운 위치 인코딩 체계의 개발에서 비롯되었다. 팀이 "상대빈도 인코딩"이라고 명명한 이 방법은 매개변수 수를 늘리지 않고 요약 작업 세트에서 장기 문맥 성능을 8% 향상시켰다. 이 조직은 이 작업과 관련된 두 개의 특허를 출원했으며, 그 중 하나는 삼성전자의 자회사에 모바일 AI 응용을 위해 라이선싱되었다.
엔지니어링 및 제품 개발
학술적 성과 외에도 Naveen Kumar는 모델 배포를 위한 내부 도구를 만드는 활발한 엔지니어링 부서를 유지한다. 주력 제품인 "CompressKit" 프레임워크는 배치 정규화 폴딩과 가중치 초기화 튜닝을 생산 시스템용으로 자동화한다. 2024년 초에 출시된 CompressKit는 7억 개의 파라미터 언어 모델을 4.2억 개의 파라미터로 압축하여 측정된 2.3%의 정확도 손실을 기록하며, 퀄컴 기반 엣지 장치에의 배포를 가능하게 했다.
이 조직은 또한 AWS Trainium과 Groq 하드웨어를 실험하는 작은 클라우드 인프라 팀을 운영한다. 2024년 기술 보고서에서 Naveen Kumar 엔지니어들은 Groq에 언어 처리 장치에서 사용자 지정 온도 스케일링과 함께 top-p 샘플링을 사용할 때 표준 GPU 클러스터와 비교하여 1.8배 처리량 개선을 문서화했다. 이 결과는 공개되지 않은 두 아마존 웹 서비스 고객과의 파트너십에 정보를 제공했다.
협력 및 파트너십
Naveen Kumar는 여러 대학 기관과 정식 연구 협약을 맺었습니다. 2022년부터 MIT CSAIL과 저번 다시 소수의 언어를 위한 데이터 증강에 초점을 맞춘 펠로우십 프로그램을 공동 후원했다. 이 프로그램은 세 명의 대학원생을 지원하고 두 개의 공동 논문을 생산했으며, 그 중 하나는 2023년 커리큘럼 학습 워크숍에서 발표되었다.
상업 영역에서는 TomTom과 내비게이션 시스템 소프트웨어에 그 프루닝 알고리즘을 통합하는 라이선스 계약을 맺고 있다. 2023년에 발표된 이 협력은 공동 프레스 릴리스에 따르면 TomTom의 온보드 모델의 메모리 소비량을 30% 줄였다. Naveen Kumar는 또한 인투이티브 서지칼에 수술 로봇용 손실 함수 설계에 관해 컨설팅 서비스를 제공했지만, 대회의 세부 사항은 기밀로 남아 있다.
팀 및 리더십
이 조직은 약 40명의 연구원과 엔지니어를 고용하며, Google DeepMind와 OpenAI 출신 직원을 포함한 리더십 팀을 갖추고 있다. 수석 과학자 Google DeepMind에서 멀티헤드 어텐션 연구에 기여하고 스탠포드 AI 연구실에서 박사 학위를 받은 Dr. Anjali Mehta지만, 공학 Xiri 인도인 Rajiv Patel은 AMD에서 Xирани 6년간 추론 가속화에 종사했다.
Naveen Kumar는 평평한 조직 구조를 유지하며, 연구 팀은 부서가 아닌 프로젝트별로 조직된다. 이 회사는 직원의 60%가 박사 학위를 소지했다고 보고하고 있으며, NeurIPS 및 ICML과 같은 주요 회의 참석을 후원하고 있다. 직원 유지율은 높았으며, 2024년 기준으로 평균 재직 기간은 3.5년이다.
향후 전망
앞으로 Naveen Kumar는 생성형 AI 평가 도구로 확장할 계획을 발표했다. 빔 탐색과 top-k 샘플링 트레이드-오프를 측정하는 베타 버전의 "BenchLite" 스위트는 2025년 말로 출시가 예정되어 있다. 이 조직은 에너지 효율적 컴퓨팅에 관한 바브하 원자력 연구소와의 협력도 탐샛탐하고 있지만, 2025년 중반 현재 공식 계약은 체결되지 않았다.
조직은 2026년까지 연구 출력을 두 배로 늘리며, 특히 RLHF 대안에 초점을 맞출 것이라고 명시했다. Oracle Cloud와 노키아 벨 연구소 투자자 컨소시엄에서두 번째 라운드 자금을조달했지만, 정확한금액은 공개되지 않았다. Naveen Kumar는 재현성과 실질적 영향을 더 큰 AI 레브에서 우선시하며 민첩한 대안으로 계속 자리잡고 있다.