Fiddler AI는 프로덕션 환경에서 머신러닝 모델을 모니터링, 설명, 분석하기 위해 설계된 MLOps(머신러닝 운영) 플랫폼을 제공하는 소프트웨어 회사이다. 2018년에 설립된 이 회사는 머신러닝 시스템을 배포하는 기업들을 위해 모델 거버넌스, 편향 탐지, 운영 투명성의 과제를 해결하는 데 중점을 둔다. 이 플랫폼은 데이터 과학 및 엔지니어링 팀이 AI 모델이 의도한 대로 작동하고, 규제 요구 사항을 준수하며, 시간이 지나도 성능을 유지하도록 보장하는 데 사용된다.
이 회사는 모델 개발을 넘어 AI 배포의 '마지막 단계'를 해결하는 도구에 대한 증가하는 필요성에서 출발했다. Fiddler AI의 핵심 제공 사항에는 실시간 모델 모니터링, 설명 가능한 AI(XAI) 기능, 편향 완화 기능이 포함된다. 이 플랫폼은 전통적인 통계 모델부터 복잡한 딥러닝 및 대규모 언어 모델 아키텍처까지 다양한 모델 유형을 지원하여 여러 산업 분야에 걸쳐 활용도가 높다.
역사와 설립
Fiddler AI는 2018년에 전 페이스북(현 메타) 엔지니어링 매니저였던 크리슈나 게이드와 전 마이크로소프트 및 페이스북 제품 매니저였던 아미트 파카에 의해 설립되었다. 이 회사는 처음에 스탠포드 AI 연구소 생태계 내에서 인큐베이션되었으며, 해석 가능한 머신러닝에 대한 학술 연구를 활용했다. 'Fiddler'라는 이름은 악기 조율사가 악기를 조율하는 것처럼 모델을 '가지고 논다'는 아이디어에서 영감을 얻었으며, AI 행동을 미세 조정하고 이해하는 데 초점을 맞춘 플랫폼의 특성을 반영한다.
이 회사는 2019년 라이트스피드 벤처 파트너스가 주도한 1,000만 달러 규모의 시리즈 A 라운드를 포함한 상당한 벤처 캐피탈 자금을 유치했으며, 2021년에는 3,500만 달러 규모의 시리즈 B 라운드를 완료했다. 2022년까지 Fiddler AI는 금융 서비스, 의료, 소매 분야로 고객 기반을 확장했으며, 주요 은행과 보험사를 포함한 주목할 만한 고객을 확보했다. 2023년에는 생성형 AI 모델 지원을 통합하며 계속 성장했으며, 이는 인공지능 시스템으로의 산업 전환을 반영한다.
핵심 플랫폼 기능
Fiddler AI의 플랫폼은 모니터링, 설명 가능성, 분석이라는 세 가지 주요 축을 중심으로 구축된다. 모니터링 구성 요소는 정확도, 드리프트, 데이터 품질을 포함한 모델 성능 지표의 실시간 추적을 제공한다. 이는 예측 분포나 입력 데이터 패턴의 갑작스러운 변화와 같은 이상 징후를 팀에 경고하며, 이러한 변화는 모델 성능 저하나 개념 드리프트를 나타낼 수 있다.
설명 가능성 모듈은 전역 설명과 지역 설명을 모두 제공한다. 전역 설명은 사용자가 어떤 특징이 전체적으로 모델 예측에 가장 큰 영향을 미치는지 이해하도록 돕고, 지역 설명은 개별 예측에 대한 통찰력을 제공한다. 이는 SHAP(SHapley Additive exPlanations) 값과 LIME(Local Interpretable Model-agnostic Explanations)과 같은 기법을 통해 달성되며, 이러한 기법은 플랫폼에 통합되어 있다. 이러한 도구는 특히 엄격한 감사 요구 사항이 적용되는 분야에서 규제 준수에 중요하다.
또한 Fiddler AI는 편향 탐지 및 공정성 분석 도구를 포함한다. 이를 통해 조직은 인종, 성별, 연령과 같은 민감한 속성과 관련된 편향을 식별하고 완화할 수 있으며, 모델이 차별적 결과를 영속화하지 않도록 보장한다. 플랫폼은 또한 모델 비교와 A/B 테스트를 지원하여 팀이 배포 전에 새 버전을 평가할 수 있게 한다.
기술 및 통합
Fiddler AI는 모델에 구애받지 않도록 설계되어 텐서플로우, PyTorch, scikit-learn을 포함한 기본 프레임워크와 관계없이 모든 머신러닝 모델과 함께 작동할 수 있다. 이 플랫폼은 클라우드 및 온프레미스 배포를 모두 지원하며, 아마존 웹 서비스, 애저, 구글 클라우드와 같은 주요 클라우드 제공업체와의 통합을 제공한다. 이러한 유연성 덕분에 기업은 기존 인프라를 중단하지 않고 플랫폼을 채택할 수 있다.
플랫폼은 모델과 함께 배포되어 추론 데이터를 캡처할 수 있는 경량 에이전트를 사용한다. 이 데이터는 Fiddler의 백엔드로 스트리밍되어 모니터링 및 분석을 위해 처리된다. 시스템은 배치 및 실시간 데이터 파이프라인을 지원하므로 스트리밍 애플리케이션과 전통적인 배치 처리 환경 모두에 적합하다.
대규모 언어 모델 애플리케이션의 경우 Fiddler AI는 프롬프트 모니터링 및 응답 품질 평가와 같은 특수 기능을 제공한다. 여기에는 환각 비율, 유해성, 안전 지침 준수 추적이 포함되며, 이는 프로덕션 LLM 배포에 중요하다. 플랫폼은 또한 오픈AI 및 앤트로픽 API와 통합되어 팀이 타사 모델 사용을 모니터링할 수 있게 한다.
산업 응용 및 사용 사례
Fiddler AI는 다양한 산업 분야에 서비스를 제공한다. 금융 서비스에서 플랫폼은 신용 평가, 사기 탐지, 자금 세탁 방지(AML) 규정 준수에 사용된다. 은행은 설명 가능성 기능을 활용하여 평등 신용 기회법과 같은 규정에서 요구하는 대로 대출 거절 사유를 고객에게 제공한다. 의료 분야에서 Fiddler AI는 환자 재입원 및 진단 예측 모델을 모니터링하여 임상 의사 결정 지원의 정확성과 공정성을 보장한다.
소매 분야에서 플랫폼은 수요 예측 및 개인화된 추천 시스템에 적용된다. 모델 드리프트를 모니터링함으로써 소매업체는 변화하는 소비자 행동에 적응할 수 있다. 또한 Fiddler AI는 제조업의 예측 유지보수에 사용되어 센서 데이터와 장비 고장 예측을 추적하여 가동 중단 시간과 운영 비용을 줄인다.
플랫폼은 또한 MLOps 팀이 강력한 거버넌스 프레임워크를 구축하도록 지원한다. 이는 조직이 내부 정책과 EU의 일반 데이터 보호 규정(GDPR) 및 제안된 AI 법안과 같은 외부 규정을 충족하도록 돕는 감사 추적 및 문서화 기능을 제공한다. 이는 Fiddler AI를 책임 있는 AI 운동의 핵심 플레이어로 자리매김하게 한다.
경쟁 구도 및 향후 방향
Fiddler AI는 Arize AI, WhyLabs, DataRobot과 같은 다른 MLOps 및 모델 모니터링 공급업체가 포함된 경쟁 시장에서 운영된다. 이 회사의 차별점은 경쟁 플랫폼에서 종종 부차적인 기능으로 취급되는 설명 가능성과 편향 탐지에 대한 강한 초점에 있다. 또한 이 회사는 통합의 용이성과 생성형 AI 워크로드를 포함한 광범위한 모델 유형 지원을 강조한다.
향후 Fiddler AI는 플랫폼이 문제를 탐지할 뿐만 아니라 시정 조치를 제안하거나 구현하는 자동화된 모델 수정 기능을 확장하는 것을 목표로 한다. 또한 이 회사는 모델 행동에 대한 더 깊은 통찰력을 제공할 수 있는 인과 추론 및 반사실적 설명에 대한 연구에 투자하고 있다. 2024년 현재 Fiddler AI는 온디바이스 모델 및 엣지 컴퓨팅 환경에 대한 향상된 지원을 포함하는 로드맵과 함께 계속 진화하고 있다.
결론
Fiddler AI는 머신러닝 모델을 모니터링, 설명, 거버넌스하는 데 필수적인 도구를 제공하며 MLOps 분야에서 중요한 플레이어로 자리매김했다. 투명성과 공정성에 대한 초점은 AI 채택과 규제 조사가 증가하는 시대에 중요한 요구를 해결한다. 광범위한 모델을 지원하고 주요 클라우드 플랫폼과 통합함으로써 Fiddler AI는 책임 있게 AI를 배포하려는 기업에 포괄적인 솔루션을 제공한다. 인공지능 분야가 계속 발전함에 따라 Fiddler AI와 같은 플랫폼은 AI 시스템이 신뢰할 수 있고 인간의 가치와 일치하도록 보장하는 데 중요한 역할을 할 것이다.