TruEra는 인공지능 품질 및 설명 가능성 플랫폼을 개발하는 소프트웨어 회사이다. 이 플랫폼은 조직이 개발부터 운영까지 머신러닝 모델의 전체 수명 주기에 걸쳐 진단, 모니터링, 설명을 할 수 있도록 설계되었다. 모델 검증, 디버깅, 거버넌스를 위한 도구를 제공하며, 모델 성능, 공정성, 규제 준수와 관련된 문제를 해결하는 것을 목표로 한다.
이 회사는 2019년 머신러닝, 엔터프라이즈 소프트웨어, 데이터 과학 분야의 경험을 가진 팀에 의해 설립되었다. TruEra의 플랫폼은 데이터 과학 및 머신러닝 팀이 모델 동작에 대한 통찰력을 얻고, 데이터 드리프트나 편향과 같은 잠재적 문제를 식별하며, 모델이 의도한 대로 작동하도록 보장하는 데 사용된다. 이 플랫폼은 전통적인 머신러닝 모델과 더 복잡한 딥러닝 모델을 포함한 다양한 모델 유형을 지원한다.
핵심 기능
TruEra의 플랫폼은 AI 품질 관리를 위한 몇 가지 핵심 기능을 제공한다. 주요 기능 중 하나는 모델 진단으로, 사용자가 데이터의 다양한 세그먼트에 걸쳐 모델 성능을 분석할 수 있게 한다. 여기에는 모델이 성능이 저조하거나 예기치 않은 동작을 보이는 위치를 식별하는 것이 포함된다. 플랫폼은 특징 기여도 및 모델 비의존적 설명과 같은 기술을 사용하여 모델이 특정 예측을 하는 이유를 이해하도록 돕는 설명 가능성 기능을 제공한다.
또 다른 중요한 기능은 모델 모니터링이다. TruEra는 운영 중인 모델의 지속적인 모니터링을 가능하게 하며, 시간에 따른 예측 드리프트, 데이터 드리프트, 성능 저하와 같은 지표를 추적한다. 이는 조직이 문제를 조기에 감지하고 시정 조치를 취하는 데 도움이 된다. 플랫폼에는 또한 규제 요구 사항을 충족하기 위해 감사 추적 및 문서화를 지원하는 모델 거버넌스 기능이 포함된다.
기술 및 접근 방식
TruEra의 기술은 머신러닝 및 설명 가능성 연구를 기반으로 구축되었다. 플랫폼은 SHAP(SHapley Additive exPlanations) 값 및 기타 특징 기여도 방법을 포함한 기술 조합을 사용하여 모델 결정에 대한 통찰력을 제공한다. 이는 인기 있는 머신러닝 프레임워크 및 클라우드 플랫폼과 함께 작동하도록 설계되었으며, Amazon Web Services, Microsoft Azure, Google Cloud와 같은 도구와 통합된다.
회사는 전통적인 개발에서 소프트웨어 품질이 관리되는 방식과 유사한 AI에 대한 "품질 관리" 접근 방식을 강조한다. 여기에는 정의된 표준을 충족하는지 확인하기 위한 모델의 지속적인 테스트, 검증, 모니터링이 포함된다. TruEra의 플랫폼은 조직 전반에 걸쳐 모델 건강 상태에 대한 중앙 집중식 보기를 제공하여 데이터 과학자, 엔지니어, 비즈니스 이해 관계자 간의 협업을 가능하게 하는 것을 목표로 한다.
시장 위치 및 사용 사례
TruEra는 모델 모니터링 및 설명 가능성 솔루션을 제공하는 다른 공급업체와 경쟁하며 성장하는 AI 관찰 가능성 및 거버넌스 분야에서 운영된다. 이 플랫폼은 금융 서비스, 의료, 기술을 포함한 다양한 산업에서 사용된다. 일반적인 사용 사례에는 신용 위험 모델링, 사기 탐지, 고객 이탈 예측이 포함되며, 여기서 모델 투명성과 신뢰성이 중요하다.
예를 들어, 금융 서비스에서 TruEra는 신용 결정에 대한 설명을 요구하는 규정을 준수하도록 기관을 돕는다. 의료 분야에서는 환자 위험 평가에 사용되는 모델의 검증을 지원한다. 이 플랫폼은 또한 Large language model 애플리케이션을 배포하는 조직에서 사용되며, 여기서 환각이나 편향과 같은 문제를 모니터링하는 데 도움이 된다.
최근 개발 사항
TruEra는 AI의 새로운 문제를 해결하기 위해 플랫폼을 지속적으로 발전시켜 왔다. 회사는 생성형 AI 및 Large language model 품질에 초점을 확장하여 이러한 모델을 평가하고 모니터링하는 도구를 제공한다. 여기에는 사실적 정확성, 안전성, 의도된 사용 사례와의 정렬을 평가하는 기능이 포함된다.
2023년, TruEra는 Generative AI 애플리케이션을 지원하기 위한 플랫폼 개선 사항을 발표했으며, 프롬프트 테스트 및 모델 평가 기능을 제공한다. 회사는 또한 Wing Venture Capital 및 기타 투자자로부터 추가 자금을 조달하여 성장을 지원했다. 2024년 현재, TruEra는 AI 품질 및 신뢰를 위한 포괄적인 솔루션으로 자리매김하며 제품을 계속 개발하고 있다.