Portkey AI는 대규모 언어 모델(LLM)을 사용하는 애플리케이션을 위한 통합 게이트웨이 및 관측 계층을 제공하는 소프트웨어 플랫폼이다. 이 플랫폼은 AI 애플리케이션과 OpenAI, Anthropic, Google DeepMind를 포함한 다양한 모델 제공업체 간의 중개자 역할을 하며, 개발자가 단일 통합 지점을 통해 요청을 라우팅하고 비용을 관리하며 성능을 모니터링할 수 있게 한다. 이 플랫폼은 여러 API 처리, 안정성 보장, 모델 동작에 대한 통찰력 확보와 같은 Generative AI 배포의 운영상 과제를 해결하도록 설계되었다.
이 서비스는 Artificial intelligence 도구의 급속한 확장과 프로덕션급 AI 시스템을 지원하는 인프라에 대한 필요성이 커지는 상황에서 등장했다. Portkey AI는 요청 라우팅과 캐싱에서부터 상세한 분석과 규정 준수 제어에 이르는 기능을 제공하며, AI 기반 기능을 구축하는 팀을 위한 핵심 구성 요소로 자리매김하고 있다. 주요 사용자는 LLM 통합의 복잡성을 관리할 강력한 도구가 필요한 소프트웨어 엔지니어, 데이터 과학자, AI 제품 관리자이다.
핵심 기능
Portkey AI의 주요 기능은 서로 다른 LLM 제공업체에 대한 API 호출을 표준화하는 게이트웨이 역할을 하는 것이다. 여기에는 자동 재시도, 폴백 메커니즘, 여러 모델 또는 제공업체 간의 로드 밸런싱과 같은 기능이 포함된다. 기본 API를 추상화함으로써 이 플랫폼은 개발자가 애플리케이션 코드를 다시 작성하지 않고도 모델 간에 전환할 수 있게 하며, 이는 새 모델을 테스트하거나 벤더 종속을 피하는 데 특히 유용하다. 게이트웨이는 요청 캐싱도 지원하는데, 이는 새 API 호출을 하는 대신 캐시에서 반복 쿼리를 제공하여 지연 시간을 줄이고 운영 비용을 낮출 수 있다.
또 다른 핵심 측면은 API 사용량, 지연 시간, 오류율, 토큰 소비에 대한 실시간 모니터링을 제공하는 관측 제품군이다. 이 데이터는 대시보드와 로그를 통해 제공되어 팀이 문제를 디버깅하고, 성능을 최적화하며, 지출을 추적할 수 있게 한다. 플랫폼은 또한 모델 출력 평가, 프롬프트 관리, 책임 있는 AI 사용을 보장하기 위한 가드레일 구현 기능을 제공한다.
역사와 발전
Portkey AI는 2023년 소프트웨어 엔지니어링과 제품 개발 배경을 가진 팀에 의해 설립되었다. 이 회사는 초기 자금과 멘토링을 제공한 Y Combinator 액셀러레이터 프로그램에서 나왔다. 초기 개발은 LLM을 통합하는 개발자들이 직면한 문제점, 특히 여러 제공업체를 관리하고 성능을 모니터링하기 위한 표준화된 도구의 부족을 해결하는 데 초점을 맞췄다. 이 플랫폼은 2023년에 공개 출시되었으며, AI 운영을 간소화하려는 스타트업과 기업 사이에서 빠르게 채택되었다.
초기 릴리스에서 Portkey AI는 기존 애플리케이션에 몇 분 만에 통합할 수 있는 개발자 친화적인 API를 도입했다. 이 회사는 오픈소스 구성 요소를 강조하여 사용자가 플랫폼의 일부를 자체 호스팅할 수 있게 했으며, 동시에 관리형 클라우드 서비스도 제공했다. 이러한 하이브리드 접근 방식은 엄격한 데이터 개인정보 보호 요구 사항이 있는 조직이 자체 인프라 내에 게이트웨이를 배포할 수 있게 하여 매력적이었다.
기술과 아키텍처
이 플랫폼은 확장성과 안정성을 보장하기 위해 컨테이너화와 마이크로서비스를 활용하는 클라우드 네이티브 아키텍처를 기반으로 구축되었다. 게이트웨이 구성 요소는 연결 풀링과 지능형 요청 라우팅과 같은 기능을 갖춘 높은 처리량의 트래픽을 처리하도록 설계되었다. Portkey AI는 Amazon Web Services를 통해 Trainium 칩, Microsoft의 Microsoft Azure, Google Cloud를 포함한 광범위한 LLM 제공업체를 지원하며, Groq 및 Cerebras와 같은 전문 AI 하드웨어 제공업체도 지원한다. 이러한 광범위한 호환성은 다양한 AI 인프라를 사용하는 조직에게 다재다능한 선택지가 된다.
관측 계층은 분산 추적과 로그 집계를 사용하여 요청 흐름에 대한 종단 간 가시성을 제공한다. 이는 OpenPanel과 같은 인기 있는 모니터링 도구와 통합되며 외부 시스템으로 메트릭을 내보낼 수 있다. 플랫폼에는 또한 서로 다른 모델을 A/B 테스트하는 기능이 포함되어 있어, 팀이 프로덕션에서 변경하기 전에 성능과 품질을 비교할 수 있다.
사용 사례와 응용
Portkey AI는 LLM에 의존하는 애플리케이션을 위해 다양한 산업에서 사용된다. 고객 지원에서는 사용자와 상호 작용하는 챗봇을 관리하여 일관된 응답을 보장하고 만족도 메트릭을 추적하는 데 도움을 준다. 소프트웨어 개발에서는 안정적이고 빠른 모델 액세스가 필요한 코드 생성 도구를 지원한다. 플랫폼은 또한 팀이 여러 모델에서 비용을 관리하고 출력 품질을 모니터링해야 하는 콘텐츠 생성 워크플로우를 지원한다.
기업의 경우 Portkey AI는 규제 요구 사항을 충족하는 데 도움이 되는 거버넌스 기능을 제공한다. 여기에는 감사 로그, 데이터 삭제, 액세스 제어가 포함되며, 이는 의료 및 금융과 같은 산업에 필수적이다. 플랫폼이 온프레미스 또는 프라이빗 클라우드 배포로 요청을 라우팅하는 기능은 민감한 데이터를 가진 조직에게 특히 가치가 있다.
시장 위치와 평가
이 플랫폼은 대형 클라우드 제공업체와 전문 스타트업의 제품을 포함한 성장하는 LLM 인프라 도구 시장에서 경쟁하고 있다. 개발자 경험과 오픈소스 유연성에 대한 초점은 초기 채택자들 사이에서 긍정적인 평가를 얻었다. 리뷰는 종종 설정의 용이성과 분석 대시보드의 명확성을 강조한다. 2025년 현재 Portkey AI는 기능 세트를 계속 확장하고 있으며, 새 모델에 대한 지원을 추가하고 AI 평가 기능을 강화하고 있다. 이 회사는 벤처 캐피털 회사로부터 자금을 유치했으며 활발한 오픈소스 커뮤니티를 유지하여 지속적인 개발과 채택에 기여하고 있다.