Baselime은 서버리스 애플리케이션과 대규모 언어 모델(LLM) 기반 시스템의 모니터링 및 디버깅에 특화된 관측 가능성 플랫폼이다. 2022년 Boris Tane과 Adrien Gillon이 설립했으며, Y Combinator의 2022년 겨울 배치를 통해 탄생했다. Baselime은 분산되고 이벤트 기반의 아키텍처와 AI 애플리케이션의 고유한 과제를 해결한다. 이는 서버리스 함수의 일시적 특성과 LLM 상호작용의 복잡성 때문에 기존 모니터링 도구가 종종 한계를 보이는 영역이다.
이 플랫폼은 개발자에게 애플리케이션의 통합된 뷰를 제공하며, 메트릭, 로그, 추적을 단일 인터페이스에서 결합한다. 엔지니어링 팀이 프로덕션 환경의 문제를 신속하게 식별하고 해결하도록 설계되었으며, 함수 타임아웃과 콜드 스타트부터 LLM 환각 및 토큰 사용량 이상까지 다룬다. Baselime의 접근 방식은 실시간 데이터 처리와 개발자 중심의 워크플로우를 강조하며 소프트웨어 개발 수명 주기에 직접 통합된다.
Serverless Observability
Baselime의 핵심 제공 기능은 특히 AWS Lambda와 같은 서버리스 플랫폼에 초점을 맞춘다. 함수의 호출, 지속 시간, 오류 및 리소스 활용을 캡처하기 위해 자동으로 노출한다. 플랫폼은 OpenTelemetry 표준을 사용하여 원격 측정 데이터를 수집하며, 다양한 서비스와 도구의 호환성을 보장한다. 이를 통해 개발자는 여러 함수, API Gateway, DynamoDB 및 기타 AWS 서비스 간에 요청을 추적할 수 있고, 애플리케이션의 동작을 완전히 파악할 수 있다.
플랫폼의 추적 기능은 특히 높은 처리량과 짧은 지속 시간의 실행을 처리하는 데 주목할 만하다. 기존 추적 도구는 종종 서버리스 이벤트의 양과 세밀함 때문에 어려움을 겪지만, Baselime은 수백만 개의 추적을 실시간으로 수집하고 분석하도록 구축되어 있다. 이를 통해 분산 추적과 지연 시간 분석이 가능해지며, 호출당 과금 모델에서 성능을 최적화하고 비용을 줄이는 데 필수적이다.
LLM Application Monitoring
생성적 AI 애플리케이션이 확산되면서 Baselime은 LLM 기반 시스템의 관측 가능성에 범위를 확장했다. 이는 사용자 프롬프트에서부터 모델의 응답까지 전체 AI 요청 수명 주기를 모니터링하는 것을 포함한다. 플랫폼은 OpenAI 및 Anthropic과 같은 공급자의 통합에 대해 지연 시간, 토큰 사용량, 요청당 비용, 오류율과 같은 주요 지표를 추적한다.
Baselime은 LLM 동작을 디버깅하고 평가할 도구를 제공하며, 전체 프롬프트 및 응답 페이로드를 확인하고 환각 패턴을 식별하며 다양한 모델 버전이나 매개변수 간 출력을 비교할 수 있다. 또한 검색 증강 세대 아키텍처에서 흔힌 다중 LLM 호출, 벡터 데이터베이스 조회 및 외부 API 상호작용과 관련된 복잡한 체인을 추적 지원한다. 이를 통해 개발자는 AI 기능의 신뢰성, 우수성, 비용 효율성을 보장할 수 있다.
Developer Experience and Integration
Baselime은 매끄러운 개발자 경험을 우선시한다. 명령줄 인터페이스(CLI)와 웹 기반 대시보드를 제공하며 직관적이고 신속하도록 설계되고다. 플랫폼은 실시간 로그 스트리밍과 라이브 테일링을 지원하여 개발자가 실제 애플리케이션 동작을 관찰할 수 있다. 또한 SQL 유사 구문을 사용하여 원격 측정 데이터를 필터링하고 집계하는 강력한 검색 및 쿼리 기능도 제공한다.
기존 워크플로우와의 통합이 플랫폼의 핵심이다. Baselime은 TypeScript, Python, Go와 같은 인기 있는 프로그래밍 언어용 SDK를 제공하며 Terraform과 같은 인프라 코드 도구로 배게 제공한다. 또한 Slack 및 PagerDuty과 같은 알림 및 인시던트 관리 플랫폼과 통합하여 팀이 중대한 문제를 즉시 알릴 수 있다. 플랫폼의 아키텍처는 AWS 기반이며 자체 서버리스 백엔드를 사용하여 고객 수요에 따라 탄력적으로 확장된다.
Company and Funding
Baselime은 미국 런던에 본사를 둔다. 그들은 2022년에 Seedcamp가 주도하고 Y Combinator 및 기타 투자자가 참여하는 500만 달러 규모의 시드 펀딩 라운을 조달했다. 창립자인 Boris Tane과 Adrien Gillon은 Datadog 및 AWS 같은 회사에서 근무한 경험을 바탕으로 관측 가능성과 클라우드 컴퓨팅 분야의 전문 지식을 활용한다. 2024년 기준으로 Baselime는 독립 회사로 계속 운영하며, 서버리스와 AI 기술에 의존하는 스타트업과 기업 고객을 확보하고 있다. 그들의 목표는 현대 애플리케이션 개발에서 관측 가능성을 플랫폼 액세스 가능하고 실용 가능하게 만드는 것이며, 복잡한 프로덕션 문제의 해결 시간을 줄이는 데 있다.