Cloudera AI는 미국의 데이터 레이크 소프트웨어 기업인 Cloudera, Inc.의 엔터프라이즈 인공지능 부문이다. 이 부문은 데이터 처리 및 분석을 위한 클라우드 서비스 모음인 Cloudera Data Platform 내에서 AI의 운영화와 대규모 언어 모델 관리를 중점적으로 다룬다. 이 부문은 2024년 6월 Cloudera가 AI 스타트업인 Verta를 인수한 이후 설립되었으며, 최고 비즈니스 책임자(Chief Business Officer)인 Abhas Ricky가 이끌고 있다.
Cloudera, Inc.는 2008년 6월 27일 캘리포니아주 벌링게임에서 Christophe Bisciglia, Amr Awadallah, Jeff Hammerbacher, Mike Olson에 의해 설립되었다. 창립자들은 Google, Yahoo!, Facebook, Oracle에서의 경험을 바탕으로 했으며, 2009년에는 Hadoop의 공동 창립자인 Doug Cutting이 합류했다. 이 회사는 처음에 무료 Hadoop 기반 제품을 제공하며 지원 및 컨설팅을 통해 수익을 올렸고, 2009년 3월에 상업적 배포를 시작했다. 이후 몇 년 동안 Cloudera는 2009년 Accel Partners로부터 500만 달러, 2010년 10월 2,500만 달러, 2011년 11월 4,000만 달러 등 상당한 자금을 조달했다. 2014년 3월, Intel은 18%의 지분에 7억 4,000만 달러를 투자하여 기업 가치를 41억 달러로 평가했다. Cloudera는 2017년 4월 28일에 기업공개(IPO)를 했지만, 매출 감소와 퍼블릭 클라우드 서비스와의 경쟁으로 주가가 하락했다. 2018년 10월, Cloudera는 Hortonworks와의 합병을 발표했고, 2019년 1월에 완료되었다. 2020년 1월 CEO Rob Bearden 취임 등 경영진 교체 이후, 이 회사는 2021년 10월 KKR과 Clayton, Dubilier & Rice의 53억 달러 인수를 통해 사기업화되었다.
Cloudera Data Platform 및 AI 통합
Cloudera Data Platform(CDP)은 핵심 제품군으로, 데이터 처리 및 분석을 위한 클라우드 서비스를 제공한다. 이 플랫폼은 Amazon Web Services 및 Microsoft Azure와 같은 제공업체의 퍼블릭 클라우드 배포와 프라이빗 클라우드 구독을 모두 지원한다. Cloudera는 CDP를 머신 러닝 및 데이터 분석용으로 마케팅하며, 데이터 레이크와 데이터 웨어하우스의 요소를 결합한 아키텍처를 설명하기 위해 "데이터 레이크하우스"라는 용어를 채택했다. 2022년, Cloudera는 대규모 분석 데이터셋을 위한 오픈 테이블 형식인 Apache Iceberg 지원을 발표했다.
Cloudera AI는 이 플랫폼을 기반으로 운영 AI(operational AI) 역량을 제공한다. 대규모 언어 모델 관리에 특화된 스타트업인 Verta의 인수는 이러한 역량을 강화하기 위한 전략적 조치였다. Verta의 기술은 엔터프라이즈 AI 애플리케이션에 중요한 배포, 모니터링, 거버넌스를 포함한 모델 수명주기 관리를 가능하게 한다.
엔터프라이즈 AI 전략 및 파트너십
Abhas Ricky의 리더십 아래, Cloudera AI는 엔터프라이즈 AI 도입을 지원하기 위한 파트너 생태계를 구축했다. 파트너에는 주요 클라우드 제공업체 및 AI 기업인 AWS, Nvidia, Anthropic, Google, Mistral, ServiceNow, VAST 등이 포함된다. 이러한 파트너십은 Cloudera의 데이터 플랫폼을 선도적인 AI 모델 및 인프라와 통합하여 고객이 대규모로 AI 솔루션을 구축하고 배포할 수 있도록 하는 것을 목표로 한다.
Cloudera AI는 예측 분석, 자연어 처리, 실시간 의사 결정과 같은 사용 사례에 중점을 둔다. 데이터 레이크하우스를 활용함으로써 조직은 데이터를 별도의 시스템으로 이동하지 않고도 AI 훈련 및 추론을 위한 데이터에 접근하고 준비할 수 있어 복잡성과 지연 시간을 줄일 수 있다.
기술 및 혁신
Cloudera AI는 딥 러닝 및 생성형 AI를 포함한 현대적인 AI 기법을 통합한다. 이 플랫폼은 대규모 언어 모델의 기초가 되는 트랜스포머 기반 모델을 지원한다. Cloudera는 모델 훈련, 미세 조정, 서빙을 위한 도구를 제공하며, TensorFlow 및 PyTorch와 같은 인기 있는 프레임워크와의 통합을 지원한다.
이 회사는 또한 엔터프라이즈 인프라에서 AI를 효율적으로 실행하기 위해 모델 프루닝 및 최적화를 강조한다. 여기에는 GPU 가속 및 추론 최적화 지원이 포함되어, AI 모델이 비용 및 성능 제약 내에서 작동할 수 있도록 보장한다.
시장 위치 및 경쟁
Cloudera AI는 Databricks, Snowflake, Amazon SageMaker를 포함한 경쟁 환경에서 운영된다. 이러한 플랫폼들도 종종 통합된 머신 러닝 기능을 갖춘 데이터 및 AI 서비스를 제공한다. Cloudera는 온프레미스 또는 클라우드에 배포할 수 있는 하이브리드 클라우드 접근 방식과 데이터 거버넌스 및 보안에 대한 초점을 통해 차별화한다.
Cloudera의 특허 소송 이력, 특히 2023년 10월 회사에 대한 2억 4,000만 달러 배상 평결은 과제가 되어 왔다. 그러나 이 회사는 시장에서의 입지를 유지하기 위해 AI 혁신과 파트너십에 계속 투자하고 있다.
향후 전망
2025년 현재, Cloudera AI는 엔터프라이즈 AI 시장 내에서 성장할 수 있는 위치에 있다. Verta 기술의 통합과 파트너십 확장은 도입을 촉진할 것으로 예상된다. Cloudera는 조직이 데이터 준비부터 모델 배포 및 모니터링에 이르기까지 데이터 자산 전반에 걸쳐 AI를 운영화할 수 있도록 지원하는 것을 목표로 한다. Apache Iceberg와 같은 오픈 표준에 대한 회사의 초점과 하이브리드 클라우드 유연성은 계속해서 핵심 강점으로 남을 가능성이 높다.
같이 보기
- Cloudera
- 데이터 레이크하우스
- Apache Hadoop
- 머신 러닝
참고 문헌
- Cloudera, Inc. Wikipedia 문서 (CC BY-SA).
- Cloudera 공식 웹사이트 및 보도 자료.