Robust Intelligence는 인공지능 시스템을 위한 검증 및 위험 관리 솔루션을 개발하는 기술 기업이다. 이 회사의 플랫폼은 취약점을 식별하고, 견고성을 테스트하며, 머신러닝 모델의 배포 전후 신뢰성을 보장하도록 설계되었다. 이는 모델 실패가 운영, 재정, 평판 손상으로 이어질 수 있는 기업 AI 애플리케이션에서 거버넌스와 안전에 대한 증가하는 필요를 해결한다.
이 회사는 Artificial intelligence와 사이버 보안의 교차점에서 운영되며, Machine learning 시스템이 도입하는 고유한 위험에 초점을 맞춘다. 결정론적 규칙을 따르는 기존 소프트웨어와 달리, AI 모델은 새로운 입력이나 적대적 조작에 노출될 때 예측할 수 없이 실패할 수 있다. Robust Intelligence는 이러한 실패 모드를 탐지하는 체계적인 접근 방식을 제공하는 것을 목표로 하며, 실제 조건과 엣지 케이스를 시뮬레이션하여 모델을 스트레스 테스트하는 도구를 제공한다.
설립 및 역사
Robust Intelligence는 2019년 하버드 대학교의 컴퓨터 과학자이자 교수인 Yaron Singer와 전 연구원이자 엔지니어인 Kojin Oshiba에 의해 설립되었다. Singer의 학문적 작업은 알고리즘 견고성과 최적화에 초점을 맞추었고, Oshiba는 기술 산업에서의 경험을 가져왔다. 이 회사는 머신러닝 모델을 분포 이동과 악의적 공격에 더 탄력적으로 만드는 연구에서 출발했다.
이 회사는 초기 몇 년 동안 투자자와 기업 고객의 관심을 빠르게 얻었으며, 상당한 자금을 조달했다. 2021년에는 Sequoia Capital이 주도하고 참여한 3천만 달러 규모의 시리즈 A 자금 조달을 발표했다.
기술 및 접근 방식
Robust Intelligence의 기술은 적대적 머신러닝과 견고한 최적화의 원칙에 기반을 둔다. 이 플랫폼은 모델의 취약점을 식별하기 위해 다양한 공격 시나리오를 시뮬레이션하는 도구를 결합한다. 여기에는 입력 데이터의 미묘한 변경이 모델 출력의 심각한 오류를 유발할 수 있는 적대적 예제 생성이 포함된다. 또한 이 플랫폼은 모델이 훈련 데이터와 다른 데이터를 접할 때 발생하는 분포 이동을 평가한다. 이러한 테스트를 자동화함으로써, 이 회사는 기업이 배포 전에 문제를 발견하고 수정할 수 있도록 돕고, 지속적인 모니터링을 통해 시간이 지남에 따라 모델 성능을 추적한다.
산업 맥락
Robust Intelligence는 종종 "AI 안전" 또는 "AI 보증"이라고 불리는 빠르게 진화하는 분야에서 운영된다. AI 시스템이 금융, 의료, 자율 주행과 같은 중요한 부문에 점점 더 통합됨에 따라, 규제 기관과 이해 관계자들은 신뢰성과 책임성에 대한 더 높은 기준을 요구하고 있다. 이 회사는 AI 배포와 관련된 위험을 완화하려는 기업에게 보증 계층을 제공함으로써 이러한 격차를 해소한다.
사용 사례 및 응용
이 플랫폼은 다양한 부문에서 사용된다:
- 금융 서비스: 은행과 보험 회사는 사기 탐지 및 신용 위험 모델을 테스트하여 악의적 행위자가 시스템을 속이거나 우회할 수 없도록 보장한다.
- 자율 시스템: 자율 주행 차량과 로봇 공학 분야의 기업은 이 플랫폼을 사용하여 드문 도로 상황이나 예상치 못한 장애물과 같은 엣지 케이스에 대한 모델을 검증한다.
- 헬스케어: 의료 진단 도구는 환자 안전을 보장하기 위해 엄격한 테스트를 거치며, 모델이 다양한 인구 집단과 조건에서 정확하게 작동하는지 확인한다.
파트너십 및 생태계
Robust Intelligence는 영향력을 확장하기 위해 전략적 파트너십을 구축했다. 2022년에는 microsoft-azure와 협력하여 Azure Marketplace를 통해 검증 도구를 제공한다고 발표했으며, 이를 통해 Azure 고객이 서비스에 더 쉽게 접근할 수 있게 되었다. 유사하게, Amazon Web Services와의 파트너십은 클라우드 배포 환경에 대한 통합을 확장한다.
이 회사는 또한 학술 연구 및 표준 기구에 참여한다. 견고성 테스트에 관한 논문을 발표하고 AI 안전 벤치마크에 대한 논의에 기여하며, Stanford AI Lab 및 BAIR (Berkeley AI Research)와 같은 기관과 협력한다.
리더십 및 팀
Yaron Singer는 최고 경영자로 재직 중이다. 그의 학문적 배경에는 캘리포니아 대학교 버클리에서의 박사 학위와 하버드에서의 교수직이 포함되며, 그곳에서 알고리즘 견고성에 관한 연구 그룹을 이끌었다. Kojin Oshiba는 최고 기술 책임자로서 엔지니어링 및 제품 개발을 감독한다. 팀에는 머신러닝, 사이버 보안, 소프트웨어 엔지니어링 배경을 가진 연구원과 엔지니어가 포함된다.
이 회사는 주요 기술 기업과 연구소에서 인재를 유치했으며, Google DeepMind, OpenAI 및 학술 기관의 전 구성원을 포함한다. 이러한 전문성은 테스트 알고리즘의 정교함과 산업 지식의 깊이에 반영된다.
과제 및 향후 방향
성장에도 불구하고, Robust Intelligence는 과제에 직면해 있다. AI 검증 분야는 여전히 초기 단계이며, 견고성에 대한 표준화된 지표나 벤치마크가 없다. 이 회사는 특히 Generative AI 및 Large language model의 부상으로 인해 환각과 프롬프트 주입과 같은 새로운 유형의 위험을 제시하는 AI 모델의 빠른 진화에 보조를 맞추기 위해 도구를 지속적으로 적응해야 한다.
또 다른 과제는 고객 교육이다. 많은 조직이 AI 시스템의 취약점을 인식하지 못하거나 잠재적 영향을 과소평가한다. Robust Intelligence는 보고서를 발행하고 웨비나를 개최하여 인식을 높이는 데 투자한다.
향후, 이 회사는 개발에서 배포 및 지속적인 모니터링에 이르는 전체 AI 수명 주기를 포괄하도록 플랫폼을 확장하는 것을 목표로 한다. 또한 플랫폼이 실패를 식별할 뿐만 아니라 수정 사항을 제안하거나 구현하는 자동화된 수정을 탐구하고 있다. AI 규제가 더 엄격해짐에 따라 이러한 보증 서비스에 대한 수요는 증가할 것으로 예상되며, Robust Intelligence는 떠오르는 AI 거버넌스 생태계에서 핵심 플레이어로 자리매김하고 있다.