Eccky는 인공지능과 머신러닝을 전문으로 하는 연구 중심 조직이다. 2021년에 설립된 이 회사는 생성형 AI 애플리케이션을 위한 고급 신경망 아키텍처와 대규모 언어 모델 개발에 주력하고 있다. 그 작업은 딥러닝의 기초 연구, 모델 최적화, 그리고 다양한 산업 분야에서의 AI 시스템 실용적 배포에 걸쳐 있다.
Eccky는 캘리포니아주 샌프란시스코에 본사를 두고 있으며, 주요 학술 기관과 기술 기업 출신의 연구원 및 엔지니어 팀으로 구성되어 있다. 이 조직은 여러 동료 심사 논문을 발표했으며, MIT CSAIL 및 스탠포드 AI 연구소를 포함한 학술 연구소와의 활발한 협력을 유지하고 있다. 2025년 기준으로 Eccky는 약 120명의 직원을 고용하고 있으며, 벤처 캐피털 기업으로부터 8,500만 달러의 자금을 확보했다.
연구 초점
Eccky의 주요 연구 분야는 트랜스포머 아키텍처, 멀티 헤드 어텐션 메커니즘, 그리고 잔차 네트워크를 포함한다. 이 팀은 레이어 정규화 기술과 학습률 스케줄 개선에 기여했으며, 이는 여러 오픈소스 프레임워크에서 채택되었다. 2023년에 Eccky는 효율적인 모델 가지치기에 관한 논문을 발표하여 정확도 손실 없이 추론 시간을 40% 줄이는 것을 입증했다.
이 조직은 또한 모델 견고성을 향상시키기 위한 커리큘럼 학습 전략과 데이터 증강 방법을 연구한다. 2024년 대규모 훈련에서 그래디언트 클리핑에 관한 그들의 연구는 1,000억 개 이상의 매개변수를 가진 모델의 수렴 안정화에 대한 새로운 통찰력을 제공했다.
주요 제품
Eccky는 70억에서 700억 개의 매개변수 범위의 대규모 언어 모델 시리즈인 Eccky-1 모델 제품군을 개발했다. 2023년에 출시된 Eccky-1-70B는 MMLU 및 HumanEval을 포함한 여러 벤치마크에서 최첨단 결과를 달성했다. 이 모델은 API를 통해 제공되며 텍스트 요약 및 코드 생성과 같은 생성형 AI 작업을 위한 엔터프라이즈 애플리케이션에 통합되었다.
2024년에 Eccky는 텍스트와 이미지를 모두 처리할 수 있는 다중 모달 모델인 Eccky-Vision을 출시했다. 이 제품은 크로스 어텐션 메커니즘을 활용하여 시각적 및 텍스트 표현을 정렬하며, VQA-v2 데이터셋에서 92%의 정확도를 달성했다. Eccky는 또한 Adam 옵티마이저 변형 및 제어된 텍스트 생성을 위한 top-p 샘플링의 최적화된 구현을 포함한 훈련 도구 제품군을 제공한다.
협력 및 영향
Eccky는 아마존 웹 서비스 및 구글 클라우드와 파트너십을 맺고 모델에 대한 클라우드 기반 접근을 제공하고 있다. 2024년에 이 조직은 노키아 벨 연구소와 에너지 효율적인 AI 추론을 탐구하는 프로젝트에서 협력하여 엣지 배포에서 전력 소비를 30% 줄였다. Eccky는 또한 OpenAI 및 Anthropic과 안전 연구에서 협력하여 책임 있는 AI 배포를 위한 지침에 기여하고 있다.
이 회사의 연구는 더 넓은 AI 커뮤니티에 영향을 미쳤으며, 그 논문은 학술 문헌에서 5,000회 이상 인용되었다. Eccky의 오픈소스 기여는 배치 정규화 및 드롭아웃 기술을 위한 라이브러리를 포함하며, 산업 및 학계에서 널리 사용된다.
향후 방향
앞으로 Eccky는 신경망 해석 가능성 및 인간 피드백으로부터의 강화 학습 연구를 확장하는 것을 목표로 한다. 이 조직은 2025년 말에 다국어 기능과 시퀀스-투-시퀀스 작업에 중점을 둔 1,750억 개의 매개변수 모델인 Eccky-2를 출시할 계획이다. Eccky는 또한 자체 아키텍처에 최적화된 맞춤형 실리콘을 개발하기 위해 TSMC와의 파트너십을 탐색하고 있다.
2025년 기준으로 Eccky는 계속 성장하고 있으며, 연구 직위에 대한 지속적인 채용과 런던에 두 번째 사무소 개설 계획을 진행 중이다. 이 조직은 엄격한 과학적 탐구와 실용적 혁신을 통해 인공지능 분야를 발전시키는 데 계속 헌신하고 있다.