LangSmithは、LangChainによって開発された商用プラットフォームであり、大規模言語モデル上に構築されたアプリケーションの可観測性、監視、および評価を目的としています。このプラットフォームは、開発者にプロトタイピングから本番環境に至るまでのLLMアプリケーションのライフサイクル全体を通じて、トレース、デバッグ、テストを行うためのツールを提供します。LangSmithはLangChainフレームワークやその他のLLMオーケストレーションツールと統合し、モデルの呼び出しの検査、プロンプトの管理、評価の実行のための統一されたインターフェースを提供します。
2023年にLangChainチームによってローンチされたLangSmithは、生成AIアプリケーションにおける信頼性と透明性への高まるニーズに応えます。LLMが本番環境でますます使用されるにつれ、開発者はパフォーマンスの監視、回帰の検出、品質の確保のための堅牢なツールを必要としています。LangSmithは、個人の開発者とエンタープライズチームの両方をサポートする専用プラットフォームを提供することで、このギャップを埋めます。
機能
LangSmithは、LLMアプリケーション開発を効率化するように設計された一連の機能を提供します。その中核となる機能はトレーシングであり、入力、出力、中間推論を含むLLM呼び出しの各ステップを記録します。このトレースデータはインタラクティブなUIに表示され、開発者は個々のリクエストを検査し、予期しない出力やレイテンシのボトルネックなどの問題を特定できます。
このプラットフォームには、トレースデータをダッシュボードに集約するモニタリングツールも含まれており、リクエスト数、エラー率、トークン使用量などのメトリクスを表示します。これらのダッシュボードは、チームがアプリケーションの健全性をリアルタイムで追跡し、時間の経過に伴う傾向を把握するのに役立ちます。
もう一つの重要な機能は評価であり、開発者はカスタムメトリクスを定義し、LLMアプリケーションに対してテストを実行できます。LangSmithは、データセットに対するオフライン評価と、本番環境でのオンライン評価の両方をサポートし、フィードバックメカニズムを使用してモデルのパフォーマンスを継続的に評価します。
さらに、LangSmithはプロンプト管理とデータセット管理の機能を提供します。開発者はプロンプトのバージョン管理、プロジェクトへの整理、テスト用データセットの作成が可能です。このプラットフォームは実験追跡もサポートしており、チームは異なるモデルバージョンや構成を並べて比較できます。
アーキテクチャ
LangSmithはクラウドベースのアーキテクチャ上に構築されており、バックエンドがクライアントSDKからトレースデータを取り込みます。主要なSDKはLangSmithのPythonおよびTypeScriptパッケージであり、LangChainと一緒にインストールするか、単独で使用できます。このプラットフォームはカスタム統合用のREST APIも提供しています。
LangChainとの統合はシームレスであり、LangSmithはLangChainのチェーンおよびエージェントの抽象化と共に使用された場合、自動的にトレースをキャプチャします。また、OpenAIのSDKやAnthropicのSDKなど、他のフレームワークも手動インストルメンテーションを通じてサポートしています。
このプラットフォームは、クラウドホスト型とセルフホスト型の両方のデプロイメントをサポートするように設計されています。厳格なデータガバナンス要件を持つエンタープライズ向けに、LangSmithはオンプレミスまたは仮想プライベートクラウド（VPC）にデプロイできます。
ユースケース
LangSmithは、LLMアプリケーション開発のさまざまなシナリオで使用されています。一般的なユースケースには以下が含まれます：
- デバッグ：開発者はトレースを使用して、LLMが予期しない応答を生成した理由を特定し、プロンプトとモデル出力の正確なシーケンスを調べます。
- 回帰テスト：チームは代表的な入力と期待される出力のデータセットを作成し、評価を実行して、新しいモデルバージョンやプロンプトの変更がパフォーマンスを低下させないことを確認します。
- 本番モニタリング：運用チームはライブアプリケーションを監視し、エラー率の増加やレイテンシのスパイクなどの異常に対するアラートを設定します。
- プロンプトエンジニアリング：研究者はさまざまなプロンプトの定式化を実験し、LangSmithの比較ツールを使用して、どのプロンプトが最良の結果をもたらすかを判断します。
- コンプライアンスと監査：組織は監査目的でLLMインタラクションの詳細なログを維持し、透明性と説明責任を確保します。
価格と利用可能性
LangSmithは、ソフトウェア・アズ・ア・サービス（SaaS）製品として、段階的な価格モデルで提供されています。無料ティアは、限られた機能と使用クォータで、開発者やホビイスト向けに利用できます。有料プランは、より高い制限、高度な機能、優先サポートを提供します。エンタープライズプランは、追加のセキュリティ、コンプライアンス、専用サポートオプションを提供します。
このプラットフォームは、米国や欧州を含む複数の地域で利用可能であり、エンタープライズ顧客向けにシングルサインオン（SSO）をサポートしています。
関連ツールとエコシステム
LangSmithは、LLMの可観測性と評価ツールのより広いエコシステムの一部です。Weights & BiasesのW&B Prompts、Arize AIのPhoenix、Heliconeなどの競合製品と競合しています。しかし、LangChainとの緊密な統合により、このフレームワークのユーザーにとっては明確な利点があります。
このプラットフォームは、AIスタック内の他の開発ツールも補完します。OpenAIのAPI、AnthropicのClaude、Google DeepMindのGeminiなどと連携します。統一された可観測性レイヤーを提供することで、LangSmithは開発者が複数のLLMプロバイダーを扱う複雑さを管理するのに役立ちます。
今後の方向性
LLMアプリケーションがより洗練されるにつれて、LangSmithも進化を続けています。チームは、高度な評価メトリクス、マルチエージェントシステムのサポート、強化されたコラボレーションツールなどの新機能を定期的にリリースしています。また、特定のインフラストラクチャ要件を持つエンタープライズ向けに、セルフホスト型およびハイブリッドデプロイメントのサポートも拡大しています。
急速に変化する人工知能の分野では、信頼性の高いシステムを構築するために、可観測性と評価がますます重要になっています。LangSmithは、開発者が本番環境で信頼性の高いLLMアプリケーションを提供するために必要なツールを提供することで、この分野の最前線に留まることを目指しています。