LangSmith는 LangChain 팀이 개발한 상용 플랫폼으로, 대규모 언어 모델 기반 애플리케이션의 관찰 가능성, 모니터링, 평가를 위한 도구입니다. 이 플랫폼은 개발자에게 프로토타입 제작부터 프로덕션 배포까지 LLM 기반 애플리케이션의 전체 수명 주기에 걸쳐 추적, 디버깅, 테스트를 위한 기능을 제공합니다. LangSmith는 LangChain 프레임워크 및 기타 LLM 오케스트레이션 도구와 통합되어, 모델 호출 검사, 프롬프트 관리, 평가 실행을 위한 통합 인터페이스를 제공합니다.
2023년 LangChain 팀에 의해 출시된 LangSmith는 생성형 AI 애플리케이션에서 신뢰성과 투명성에 대한 증가하는 요구를 해결합니다. LLM이 프로덕션 환경에서 점점 더 많이 사용됨에 따라, 개발자는 성능 모니터링, 회귀 감지, 품질 보증을 위한 강력한 도구가 필요합니다. LangSmith는 개별 개발자와 엔터프라이즈 팀 모두를 지원하는 전용 플랫폼을 제공하여 이러한 격차를 메웁니다.
기능
LangSmith는 LLM 애플리케이션 개발을 간소화하도록 설계된 다양한 기능을 제공합니다. 핵심 기능은 추적으로, LLM 호출의 모든 단계(입력, 출력, 중간 추론 포함)를 기록합니다. 이 추적 데이터는 대화형 UI에 표시되어 개발자가 개별 요청을 검사하고 예상치 못한 출력이나 지연 병목 현상과 같은 문제를 식별할 수 있게 합니다.
또한 플랫폼에는 추적 데이터를 대시보드로 집계하는 모니터링 도구가 포함되어 있으며, 요청 볼륨, 오류율, 토큰 사용량과 같은 지표를 보여줍니다. 이러한 대시보드는 팀이 실시간으로 애플리케이션 상태를 추적하고 시간 경과에 따른 추세를 파악하는 데 도움을 줍니다.
또 다른 핵심 기능은 평가로, 개발자가 사용자 정의 지표를 정의하고 LLM 애플리케이션에 대해 테스트를 실행할 수 있게 합니다. LangSmith는 데이터셋에 대한 오프라인 평가와 프로덕션에서의 온라인 평가를 모두 지원하며, 피드백 메커니즘을 사용하여 모델 성능을 지속적으로 평가합니다.
또한 LangSmith는 프롬프트 관리 및 데이터셋 관리 기능을 제공합니다. 개발자는 프롬프트에 버전을 지정하고 프로젝트로 구성하며 테스트용 데이터셋을 만들 수 있습니다. 플랫폼은 또한 실험 추적을 지원하여 팀이 서로 다른 모델 버전이나 구성을 나란히 비교할 수 있게 합니다.
아키텍처 및 통합
LangSmith는 클라우드 기반 아키텍처로 구축되었으며, 클라이언트 SDK에서 추적 데이터를 수집하는 백엔드를 갖추고 있습니다. 주요 SDK는 LangSmith Python 및 TypeScript 패키지로, LangChain과 함께 설치하거나 독립적으로 사용할 수 있습니다. 플랫폼은 또한 사용자 정의 통합을 위한 REST API를 제공합니다.
LangChain과의 통합은 원활하며, LangSmith는 LangChain의 체인 및 에이전트 추상화와 함께 사용할 때 추적을 자동으로 캡처합니다. 또한 OpenAI SDK, Anthropic SDK, 사용자 정의 애플리케이션을 포함한 다른 프레임워크를 수동 계측을 통해 지원합니다.
플랫폼은 유연하게 설계되어 클라우드 호스팅과 자체 호스팅 배포를 모두 지원합니다. 엄격한 데이터 거버넌스 요구 사항이 있는 엔터프라이즈의 경우, LangSmith는 온프레미스 또는 가상 사설 클라우드(VPC)에 배포할 수 있습니다.
사용 사례
LangSmith는 LLM 애플리케이션 개발의 다양한 시나리오에서 사용됩니다. 일반적인 사용 사례는 다음과 같습니다:
- 디버깅: 개발자는 추적을 사용하여 LLM이 예상치 못한 응답을 생성한 이유를 식별하고, 프롬프트와 모델 출력의 정확한 순서를 검사합니다.
- 회귀 테스트: 팀은 대표 입력과 예상 출력으로 데이터셋을 생성한 다음, 새 모델 버전이나 프롬프트 변경이 성능을 저하시키지 않는지 평가를 실행합니다.
- 프로덕션 모니터링: 운영 팀은 실시간 애플리케이션을 모니터링하고 오류율 증가나 지연 급증과 같은 이상 징후에 대한 알림을 설정합니다.
- 프롬프트 엔지니어링: 연구자는 다양한 프롬프트 구성을 실험하고 LangSmith의 비교 도구를 사용하여 어떤 것이 최상의 결과를 제공하는지 결정합니다.
- 규정 준수 및 감사: 조직은 감사 목적으로 LLM 상호 작용의 상세 로그를 유지하여 투명성과 책임성을 보장합니다.
가격 및 제공
LangSmith는 계층형 가격 모델을 갖춘 소프트웨어 서비스(SaaS) 제품으로 제공됩니다. 개발자와 취미 사용자를 위한 무료 티어가 포함되어 있으며, 기능과 사용량 할당량이 제한됩니다. 유료 플랜은 더 높은 한도, 고급 기능, 우선 지원을 제공합니다. 엔터프라이즈 플랜은 추가 보안, 규정 준수, 전용 지원 옵션을 제공합니다.
플랫폼은 미국과 유럽을 포함한 여러 지역에서 제공되며, 엔터프라이즈 고객을 위한 단일 로그온(SSO)을 지원합니다.
관련 도구 및 생태계
LangSmith는 LLM 관찰 가능성 및 평가 도구의 광범위한 생태계의 일부입니다. Weights & Biases의 W&B Prompts, Arize AI의 Phoenix, Helicone과 같은 제품과 경쟁합니다. 그러나 LangChain과의 긴밀한 통합은 해당 프레임워크 사용자에게 뚜렷한 이점을 제공합니다.
이 플랫폼은 또한 OpenAI API, Anthropic의 Claude, Google DeepMind의 Gemini를 포함한 AI 스택의 다른 개발 도구를 보완합니다. 통합 관찰 가능성 레이어를 제공함으로써 LangSmith는 개발자가 여러 LLM 제공업체를 다루는 복잡성을 관리하는 데 도움을 줍니다.
향후 방향
LLM 애플리케이션이 더 정교해짐에 따라 LangSmith는 계속 진화하고 있습니다. 팀은 고급 평가 지표, 멀티 에이전트 시스템 지원, 향상된 협업 도구와 같은 새로운 기능을 정기적으로 출시합니다. 플랫폼은 또한 특정 인프라 요구 사항을 가진 엔터프라이즈를 위해 자체 호스팅 및 하이브리드 배포 지원을 확장하고 있습니다.
급변하는 인공지능 분야에서 관찰 가능성과 평가는 신뢰할 수 있는 시스템을 구축하는 데 필수적입니다. LangSmith는 신뢰할 수 있는 LLM 애플리케이션을 출시하는 데 필요한 도구를 개발자에게 제공하며 이 분야의 최전선에 남는 것을 목표로 합니다.