Momento는 AI 및 고성능 애플리케이션을 위해 설계된 서버리스 캐시 및 실시간 데이터 플랫폼입니다. 완전 관리형의 저지연 데이터 계층을 제공하여 캐싱, pub/sub 메시징 및 기타 실시간 데이터 패턴을 지원하며, 개발자가 인프라를 관리하지 않고도 확장 가능한 애플리케이션을 구축할 수 있게 합니다. Momento는 특히 빠른 데이터 접근이 중요한 대규모 언어 모델 추론 및 생성형 AI 애플리케이션과 같은 AI 워크로드에 적합합니다.
2021년 Khawaja Shams와 Dennis Sai에 의해 설립된 Momento는 전통적인 캐싱 솔루션이 종종 상당한 운영 오버헤드를 요구한다는 인식에서 출발했습니다. 이 회사는 수요에 맞춰 자동으로 확장되는 서버리스 아키텍처를 제공하여 용량 계획 및 클러스터 관리의 필요성을 제거합니다. 이러한 접근 방식은 AWS 네이티브 및 Azure 네이티브 클라우드 서비스로의 광범위한 추세와 일치하며, 주요 클라우드 제공업체를 이미 사용하는 개발자에게 원활한 통합을 제공합니다.
아키텍처 및 주요 기능
Momento의 핵심 제공 사항은 서브 밀리초 데이터 접근을 제공하는 서버리스 캐시입니다. 키-값 및 pub/sub 모델을 모두 지원하여 세션 관리부터 실시간 메시징까지 다양한 사용 사례에 활용할 수 있습니다. 이 서비스는 고가용성 및 내구성을 위해 설계되었으며, 데이터는 여러 가용 영역에 복제됩니다. Momento는 또한 자동 데이터 만료(TTL)와 같은 기능을 제공하여 캐시 관리를 단순화하고, Memcached 및 Redis와 같은 인기 있는 캐싱 프로토콜과 호환되는 간단한 API를 제공합니다.
주목할 만한 기능 중 하나는 AI 워크로드에 대한 초점입니다. Momento는 인공지능 애플리케이션을 위한 전용 SDK를 제공하여 개발자가 머신러닝 모델 출력을 캐시하고, 속도 제한을 관리하며, 챗봇 애플리케이션의 대화 기록을 저장할 수 있게 합니다. 이는 반복적인 비용이 많이 드는 계산을 피함으로써 지연 시간과 비용을 줄일 수 있는 대규모 언어 모델 추론에 특히 유용합니다.
클라우드 및 AI 생태계와의 통합
Momento는 Amazon Web Services, Azure, Google Cloud를 포함한 주요 클라우드 플랫폼과 통합되어 개발자가 기존 클라우드 환경 내에서 사용할 수 있게 합니다. 또한 기본 클라우드 제공업체를 추상화하는 통합 API를 제공하여 멀티클라우드 또는 하이브리드 클라우드 애플리케이션을 더 쉽게 구축할 수 있습니다. AI 개발자를 위해 Momento는 OpenAI 및 Anthropic API와 같은 인기 있는 머신러닝 프레임워크 및 도구와의 통합을 제공하여 응답을 캐시하고 API 사용을 효율적으로 관리할 수 있게 합니다.
이 회사는 또한 고성능 AI 추론 하드웨어 제공업체인 Groq 및 SambaNova와 파트너십을 맺어 해당 플랫폼에 최적화된 캐싱 솔루션을 제공합니다. 이러한 협력은 빠른 추론 엔진의 속도를 따라잡기 위해 초저지연 데이터 접근이 자주 요구되는 차세대 AI 인프라를 지원하려는 Momento의 의지를 강조합니다.
사용 사례 및 애플리케이션
Momento는 게임, 금융 서비스 및 전자상거래를 포함한 다양한 실시간 애플리케이션에서 사용됩니다. 게임에서는 리더보드, 세션 상태 및 실시간 알림을 지원합니다. 금융 서비스에서는 사기 탐지 및 실시간 위험 분석을 지원합니다. 전자상거래에서는 개인화된 추천 및 쇼핑 카트 관리를 가능하게 합니다. Momento의 서버리스 특성은 자체 캐시 클러스터를 관리하는 운영 부담을 피하려는 스타트업 및 기업에게 특히 매력적입니다.
AI 영역에서 Momento는 생성형 AI 애플리케이션, 예를 들어 챗봇 및 대규모 언어 모델 기반 어시스턴트에 사용됩니다. 모델 응답을 캐시함으로써 개발자는 OpenAI 또는 Anthropic과 같은 서비스에 대한 API 호출 수를 줄여 비용을 낮추고 응답 시간을 개선할 수 있습니다. Momento는 또한 실시간 추론을 위한 특징 벡터를 저장하고 검색할 수 있는 머신러닝 피처 스토어를 지원합니다.
성능 및 안정성
Momento는 고성능을 위해 설계되었으며, p99 지연 시간이 단일 자리 밀리초 범위입니다. 이는 전 세계적으로 분산된 엣지 위치 네트워크와 고도로 최적화된 데이터 플레인을 통해 달성됩니다. 이 서비스는 또한 99.99% 가동 시간 SLA로 고가용성을 위해 설계되었습니다. Momento의 서버리스 아키텍처는 사전 프로비저닝 없이 초당 0에서 수백만 요청으로 확장할 수 있어 예측할 수 없는 트래픽 패턴을 가진 애플리케이션에 이상적입니다.
이 회사는 플랫폼과 도달 범위를 확장하기 위해 Bain Capital Ventures 및 Point72 Ventures를 포함한 투자자로부터 상당한 자금을 조달했습니다. 2024년 현재 Momento는 벡터 검색 및 실시간 분석과 같은 새로운 기능을 추가하며 혁신을 계속하고 있으며, AI 및 실시간 애플리케이션을 위한 서버리스 데이터 계층의 핵심 플레이어로서의 입지를 더욱 공고히 하고 있습니다.
결론
Momento는 AI 및 고성능 애플리케이션의 요구에 맞춰진 현대적인 캐싱 및 실시간 데이터 관리 접근 방식을 나타냅니다. 서버리스 모델과 주요 클라우드 및 AI 생태계와의 깊은 통합은 지연 시간과 운영 오버헤드를 줄이려는 개발자에게 매력적인 선택이 됩니다. AI 애플리케이션이 더 보편화됨에 따라 효율적인 데이터 접근의 필요성은 더욱 커질 것이며, Momento는 이러한 요구를 충족할 좋은 위치에 있습니다.