Portkey AI는 인공지능 애플리케이션을 위한 인프라를 개발하는 기술 회사로, 특히 게이트웨이 및 관찰 가능성 플랫폼에 중점을 둔다. 이 플랫폼은 개발자와 조직이 대규모 언어 모델(LLM)에 의존하는 애플리케이션을 구축, 배포, 관리할 수 있도록 설계되었다. Portkey AI는 애플리케이션이 OpenAI, Anthropic 및 기타 여러 AI 제공업체에 연결할 수 있는 통합 API를 제공하며, 각 제공업체에 대해 코드 변경이 필요하지 않다. 이러한 접근 방식은 생성형 AI 기능을 소프트웨어 제품에 통합하는 과정을 단순화한다.
이 회사는 자사의 제품을 AI 애플리케이션을 위한 제어 계층으로 포지셔닝하며, 모델 관리, 비용 통제, 성능 모니터링과 같은 문제를 해결한다. 애플리케이션과 다양한 AI 서비스 사이의 중개자 역할을 함으로써 Portkey AI는 요청 라우팅, 장애 조치 메커니즘, 상세 분석과 같은 기능을 가능하게 한다. 이 플랫폼은 특히 프로덕션 환경에서 여러 AI 모델을 사용할 때 안정성과 효율성을 보장해야 하는 기업에 적합하다.
역사 및 설립
Portkey AI는 2023년 Ayush Garg, Utkarsh Mehta, Rohan Mehta에 의해 설립되었다. 창립자들은 실제 애플리케이션에 여러 AI 모델을 통합하는 복잡성을 관리할 수 있는 도구에 대한 필요성이 증가하고 있음을 인식했다. 이 회사는 다양한 제공업체의 AI 서비스 확산과 대규모 언어 모델의 발전에 힘입어 생성형 AI 부문이 급속히 확장되던 시기에 등장했다.
초기에 Portkey AI는 다양한 AI 제공업체에 대한 API 요청을 처리할 수 있는 개발자 친화적인 게이트웨이 구축에 집중했다. 플랫폼의 초기 버전은 기본적인 라우팅과 로깅을 지원했지만, 팀은 사용자 피드백을 바탕으로 기능을 빠르게 확장했다. 첫 해 안에 회사는 제품 개발을 가속화하고 엔지니어링 팀을 성장시키기 위해 시드 펀딩을 유치했다. 2024년 기준으로 Portkey AI는 스타트업부터 대기업까지 다양한 사용자층을 확보하며 개발자 커뮤니티에서 입지를 구축했다.
핵심 기능
Portkey AI 플랫폼은 AI 애플리케이션 개발을 간소화하도록 설계된 여러 핵심 기능을 제공한다. 주요 구성 요소는 다양한 모델 제공업체에 요청을 보내기 위한 단일 엔드포인트를 제공하는 AI 게이트웨이이다. 이 게이트웨이는 로드 밸런싱, 자동 재시도, 기본 제공업체가 실패할 때 대체 모델로의 장애 조치와 같은 기능을 지원한다. 이는 AI 기반 애플리케이션의 높은 가용성과 복원력을 보장하는 데 도움이 된다.
관찰 가능성은 플랫폼의 또 다른 핵심 측면이다. Portkey AI는 지연 시간, 토큰 사용량, 비용을 포함한 모든 요청에 대한 상세 로그와 메트릭을 캡처한다. 개발자는 대시보드를 사용하여 이러한 메트릭을 시각화하고 병목 현상을 식별하며 문제를 해결할 수 있다. 플랫폼은 또한 요청 추적을 지원하여 팀이 애플리케이션에서 모델 제공업체까지, 그리고 다시 돌아오는 전체 파이프라인을 통해 단일 요청을 추적할 수 있게 한다.
비용 관리는 주목할 만한 기능으로, 플랫폼은 예산 설정, 다양한 제공업체 간 지출 모니터링, 비용 및 성능 트레이드오프에 기반한 모델 선택 최적화 도구를 제공한다. 또한 Portkey AI는 팀이 프롬프트를 버전 관리하고 테스트할 수 있는 프롬프트 관리 시스템을 포함하여 다양한 생성형 AI 기법을 실험하는 것을 용이하게 한다.
기술 및 통합
Portkey AI는 현대적인 클라우드 네이티브 아키텍처를 기반으로 구축되었으며, 인프라에 Amazon Web Services를 활용한다. 플랫폼은 언어에 구애받지 않도록 설계되어 Python, JavaScript, Go와 같은 인기 있는 프로그래밍 언어용 SDK를 제공한다. 이를 통해 개발자는 최소한의 마찰로 기존 코드베이스에 게이트웨이를 통합할 수 있다.
게이트웨이는 OpenAI 및 Anthropic과의 직접 통합 외에도 Microsoft Azure OpenAI Service, Google Cloud Vertex AI, AWS Bedrock을 포함한 광범위한 AI 제공업체를 지원한다. 이러한 광범위한 호환성은 여러 AI 서비스를 사용하는 조직에게 다재다능한 도구가 된다. 플랫폼은 또한 대용량 애플리케이션의 지연 시간과 비용을 줄이기 위해 모델 가지치기 및 기타 최적화 기법을 지원한다.
Portkey AI는 보안과 규정 준수를 강조하며, API 키 관리, 역할 기반 액세스 제어, 전송 중 및 저장 중 데이터 암호화와 같은 기능을 제공한다. 이러한 기능은 민감한 데이터를 처리하고 규제 요구 사항을 충족해야 하는 기업에게 중요하다.
사용 사례 및 영향
Portkey AI는 고객 지원 챗봇부터 콘텐츠 생성 도구까지 다양한 시나리오에서 사용된다. 예를 들어, 회사는 게이트웨이를 사용하여 간단한 질문에는 더 저렴한 모델로, 복잡한 질문에는 더 강력한 모델로 고객 문의를 라우팅하여 전체 비용을 절감할 수 있다. 관찰 가능성 기능은 팀이 AI 응답의 품질을 모니터링하고 환각이나 예기치 않은 동작과 같은 문제를 감지하는 데 도움이 된다.
이 플랫폼은 또한 데이터 거주 요구 사항을 준수해야 하는 조직에 채택되었으며, 특정 지역 엔드포인트로 요청을 라우팅할 수 있게 한다. 2024년 기준으로 Portkey AI는 회사 발표에 따르면 수십억 건의 요청을 처리하여 시장에서 상당한 견인력을 나타냈다.
Portkey AI의 부상은 머신러닝 및 인공지능 배포의 운영 측면을 지원하는 인프라 구축을 향한 AI 산업의 광범위한 추세를 반영한다. AWS와 Azure가 기존 소프트웨어에 클라우드 인프라를 제공하는 것과 유사하게, Portkey AI는 AI 애플리케이션을 위한 기반 계층이 되는 것을 목표로 하여 개발자가 배관 작업보다는 제품 기능에 집중할 수 있게 한다.
경쟁 구도
AI 게이트웨이 및 관찰 가능성 도구 시장은 성장하고 있으며, 여러 업체가 유사한 솔루션을 제공한다. 경쟁사에는 OpenPanel과 같은 오픈 소스 프로젝트와 대형 클라우드 제공업체의 상용 제품이 포함된다. Portkey AI는 개발자 경험에 대한 집중, 포괄적인 기능 세트, 광범위한 제공업체 지원을 통해 차별화한다.
이 회사는 또한 통합 AI 서비스를 제공하는 Oracle Cloud 및 기타 클라우드 플랫폼과 간접적으로 경쟁한다. 그러나 Portkey AI의 가치 제안은 제공업체에 구애받지 않는 접근 방식에 있으며, 이는 고객에게 모델 간 전환 유연성과 벤더 종속 방지를 제공한다. 이는 단일 생태계에 얽매이지 않고 사용 가능한 최상의 모델을 활용하려는 기업에게 특히 매력적이다.
딥러닝 및 신경망 분야가 계속 진화함에 따라 강력한 인프라에 대한 수요는 증가할 가능성이 높다. Portkey AI는 기술적 우위를 유지하고 고객 기반을 확장할 수 있다면 이러한 추세의 혜택을 받을 좋은 위치에 있다.
향후 방향
앞으로 Portkey AI는 실시간 성능 데이터에 기반한 자동 모델 선택 및 RLHF(인간 피드백 기반 강화 학습) 워크플로우와의 통합과 같은 고급 기능으로 플랫폼을 강화할 계획이다. 회사는 또한 AI 인프라 연구를 발전시키기 위해 Stanford AI Lab 및 MIT CSAIL과 같은 학술 기관과의 파트너십을 모색하고 있다.
Portkey AI는 Adam 옵티마이저와 배치 정규화가 머신러닝 파이프라인의 표준 구성 요소가 된 것과 유사하게, AI 애플리케이션 개발을 위한 표준 도구가 되는 것을 목표로 한다. 신뢰할 수 있고 기능이 풍부한 게이트웨이를 제공함으로써 회사는 헬스케어부터 금융, 소매까지 다양한 산업에서 AI 채택을 가속화하기를 희망한다.
회사의 성공은 트랜스포머와 같은 새로운 모델 아키텍처와 온도 스케일링과 같은 새로운 기법을 포함한 빠르게 변화하는 AI 환경에 보조를 맞추는 능력에 달려 있다. 2025년 기준으로 Portkey AI는 더 많은 제공업체 지원, 향상된 분석, 개선된 개발자 도구를 포함한 로드맵으로 제품을 계속 개선하고 있다.