Upstage는 대한민국의 인공지능 기업으로, 대규모 언어 모델과 문서 처리 기술을 개발한다. 2020년에 설립된 이 회사는 기업용 Generative AI 솔루션 구축에 주력하며, Solar 시리즈의 대규모 언어 모델과 문서 AI 도구를 포함한다. Upstage는 자사 모델이 LMArena 리더보드에 등장하면서 국제적 인지도를 얻었는데, 이 플랫폼은 사용자들이 블라인드 테스트를 통해 AI 시스템을 비교하고 순위를 매기는 공개 플랫폼이다.
이 회사는 서울 남쪽의 주요 기술 허브인 대한민국 판교에 본사를 두고 운영된다. Upstage는 첨단 Artificial intelligence 연구와 실용적인 비즈니스 응용 사이의 가교 역할을 자처하며, 특히 아시아 및 글로벌 시장의 조직을 대상으로 한다. 그 활동은 Machine learning 연구, Deep learning 아키텍처, 응용 AI 서비스에 걸쳐 있다.
설립과 초기 발전
Upstage는 2020년 10월, 주요 기술 기업과 학술 기관에서 경력을 쌓은 엔지니어와 연구자 팀에 의해 설립되었다. 창립 팀에는 Samsung Electronics와 Google DeepMind에서 근무한 경험이 있는 인물들이 포함되어, 하드웨어 인접 소프트웨어와 최첨단 AI 연구 양쪽의 경험을 갖추었다. 회사는 처음에 문서 AI에 집중하여, 금융, 법률, 의료와 같은 산업에서 흔한 문제인 비정형 문서에서 정보를 추출하고 구조화하는 시스템을 개발했다.
첫 2년 동안 Upstage는 광학 문자 인식과 문서 이해를 위한 독자적인 Transformer (architecture) 기반 모델을 구축했다. 이러한 초기 제품들은 한국의 은행과 정부 기관을 포함한 기업 고객을 확보했으며, 이후 더 큰 생성 모델 연구에 자금을 지원하는 수익 기반을 마련했다.
Solar 언어 모델
2023년, Upstage는 첫 번째 대규모 언어 모델 제품군인 Solar를 출시했다. 초기 모델인 Solar 10.7B는 매개변수 효율성으로 주목받았다 - 107억 개의 매개변수 모델은 더 적은 계산 자원으로 더 큰 시스템과 경쟁하도록 설계되었다. 이러한 효율성은 Neural network 설계의 아키텍처 혁신을 통해 달성되었으며, 회사가 depth-up scaling이라고 부르는 방법, 즉 더 작은 사전 훈련 모델의 레이어를 쌓는 방식을 포함한다.
Solar 모델은 한국어와 영어에 중점을 둔 다국어 데이터셋으로 훈련되었으며, 이는 Upstage의 국내외 시장에 대한 이중 초점을 반영한다. 이 모델들은 Hugging Face와 같은 플랫폼에서 오픈소스 라이선스로 제공되어 개발자들이 특정 작업에 맞게 미세 조정할 수 있게 했다. 2024년 초까지 Upstage는 기업 배포를 목표로 한 더 큰 모델인 Solar Pro를 포함한 후속 버전을 출시했다.
크라우드소싱 벤치마킹 플랫폼인 LMArena에 참여한 것은 회사의 글로벌 인지도를 높이는 데 도움이 되었다. Solar 모델은 크기 등급에서 최고 성능자 중 하나로 꾸준히 순위에 올랐으며, OpenAI와 Anthropic 같은 더 큰 조직의 시스템과 경쟁했다. 이러한 가시성은 클라우드 제공업체 및 AI 인프라 기업과의 파트너십으로 이어졌다.
문서 AI 및 기업 서비스
언어 모델 외에도 Upstage는 상당한 문서 AI 사업을 유지하고 있다. 이 플랫폼은 문서 파싱, 표 추출, 독점 문서에 대한 질의응답과 같은 서비스를 제공한다. 이러한 도구는 기존 기업 워크플로우와 통합되도록 설계되었으며, 종종 Amazon Web Services 또는 Microsoft Azure 클라우드 환경을 통해 배포된다.
회사는 보험, 은행, 공공 행정과 같이 문서 처리 수요가 많은 산업을 대상으로 한다. Upstage는 자사 문서 AI 시스템이 고객을 위해 월 수백만 페이지를 처리할 수 있으며, 고객별 데이터에 대한 지속적인 미세 조정을 통해 정확도가 향상된다고 보고한다. 생성 모델과 구조화된 문서 처리에 대한 이러한 이중 초점은 채팅 기반 AI에만 집중하는 많은 경쟁사와 Upstage를 구별짓는다.
연구 및 오픈소스 기여
Upstage는 모델 효율성, 다국어 훈련, 정렬 기법과 같은 주제에 대한 논문을 발표하는 활발한 연구 부서를 유지하고 있다. 회사는 더 넓은 Machine learning 커뮤니티에서 사용되는 미세 조정 프레임워크와 평가 도구를 포함한 오픈소스 프로젝트에 기여해 왔다. 연구자들은 University of Toronto와 Carnegie Mellon University를 포함한 학술 기관과 공동 연구를 수행해 왔다.
회사는 또한 AI 안전 및 평가와 관련된 산업 컨소시엄과 표준화 노력에 참여한다. Upstage는 투명한 벤치마킹을 옹호하며, 모델 능력의 독립적 검증을 가능하게 하는 이니셔티브를 지원한다. LMArena에 참여하는 것도 이러한 철학의 일부로, 이 플랫폼은 정적 벤치마크가 아닌 실시간 사용자 주도 평가를 제공한다.
시장 위치 및 향후 방향
Upstage는 글로벌 거대 기업과 지역 스타트업을 모두 포함하는 경쟁적인 환경에서 운영된다. OpenAI나 Google DeepMind의 규모에는 미치지 못하지만, 효율성과 기업 통합에 대한 초점은 틈새 시장을 개척했다. 회사는 상당한 벤처 자금을 조달했으며, 한국 대기업과 국제 기업이 포함된 투자자들로부터 2024년 기준 수억 달러의 가치 평가를 받았다.
향후 Upstage는 한국어와 영어를 넘어 일본어와 동남아시아 시장을 대상으로 다국어 능력을 확장할 계획이다. 또한 Qualcomm이나 Arm Holdings 같은 하드웨어 제조업체와 협력하여 엣지 디바이스에 더 작은 모델을 배포하는 온디바이스 AI 응용 분야도 탐색하고 있다. 회사는 Solar 아키텍처를 지속적으로 개선하여 더 적은 매개변수로 최첨단 수준의 성능을 달성하는 것을 목표로 하고 있으며, 이는 효율성에 대한 더 넓은 산업 트렌드와 일치한다.