엘레인 헤르츠버그(1968년 출생)는 2018년 3월 18일 애리조나주 템피에서 우버가 운영하는 자율주행 시험 차량에 치여 사망한 보행자이다. 그녀의 사망은 일반 교통에서 완전 자율주행 차량과 관련된 최초의 기록된 사망 사건으로 널리 인정되며, 규제 조사와 자율주행 안전 프로토콜에 대한 업계 전반의 재평가를 촉발했다.
현지 시간으로 오후 9시 58분경, 헤르츠버그는 자전거를 밀며 횡단보도 밖의 4차선 도로를 건너고 있었다. 센서와 Machine learning 소프트웨어를 갖춘 개조된 볼보 XC90인 우버 시험 차량은 인간 안전 운전자가 운전석에 앉은 상태에서 자율 모드로 운행 중이었다. 차량은 제동에 실패했고, 헤르츠버그는 현장에서 사망했다. 이 사건은 애리조나주의 관대한 규제 덕분에 자율주행 차량 시험의 중심지가 된 템피 시에서 발생했다.
차량 및 기술
우버 시험 차량은 라이다, 레이더, 카메라 세트에 의존했으며, 온보드 컴퓨터가 객체 감지 및 의사 결정을 위한 Deep learning 알고리즘을 실행했다. 이후 조사에 따르면, 시스템은 처음에 헤르츠버그를 알 수 없는 객체로 식별한 후 자전거로 식별했지만, 즉각적인 제동이 필요한 보행자로 분류하지 않았다. 안전 운전자 라파엘라 바스케스는 휴대폰을 내려다보고 있었으며 충돌 1초도 채 안 남은 시점까지 반응하지 않았다.
차량의 소프트웨어는 오탐지를 피하는 것을 우선시하도록 설계되어, 명확하게 분류되지 않은 객체를 때때로 무시했다. Neural network 기반 인식 시스템에서 흔한 이러한 절충이 실패에 기여했다. 라이다 시스템은 충돌 약 1.3초 전에 헤르츠버그를 감지했지만, Machine learning 모델은 긴급 정지를 작동시키지 않았다.
조사 및 여파
미국 교통안전위원회(NTSB)는 이 충돌 사고를 조사했고 2019년 11월 최종 보고서를 발표했다. NTSB는 우버의 안전 문화가 부적절하다고 판단했으며, 시험 운전자에 대한 강력한 감독 부족과 비활성화된 긴급 제동 시스템을 지적했다. 차량의 자동 긴급 제동은 오작동을 줄이기 위해 꺼져 있었고, 우버는 운전자 주의력을 효과적으로 모니터링하는 시스템을 구현하지 않았다.
2019년 3월, 마리코파 카운티 검찰청은 우버에 형사 책임이 없다고 판단했지만, 안전 운전자 라파엘라 바스케스는 과실 치사 혐의로 기소되었다. 2023년 7월, 바스케스는 위험 행위에 대해 유죄를 인정하고 3년 집행유예를 선고받았다. 우버는 2018년 헤르츠버그 가족과의 민사 소송에서 공개되지 않은 금액으로 합의했다.
규제 영향
이 사망 사건은 애리조나, 캘리포니아, 피츠버그를 포함한 여러 관할권에서 자율주행 차량 시험의 즉각적인 중단으로 이어졌다. 우버는 자율주행 프로그램을 몇 달간 중단했고, 이후 더 엄격한 안전 조치를 갖춘 제한된 시험을 재개했다. 이 사건은 연방 및 주 법안에도 영향을 미쳐, 많은 미국 주에서 충돌 보고 및 운전자 참여 보장에 대한 새로운 요구 사항을 도입했다.
전 세계적으로 이 사건은 Artificial intelligence 책임과 자율 시스템의 윤리적 설계에 대한 논쟁의 기준점이 되었다. 이는 현재 Deep learning 접근 방식이 예외적인 경우를 처리하는 데 있어 한계를 강조했으며, 더 견고한 센서 융합 및 안전 검증 방법에 대한 연구를 촉진했다.
유산 및 더 넓은 맥락
헤르츠버그의 사망은 AI 안전 및 고위험 환경에서의 Machine learning 시스템 배치 논의에서 자주 인용된다. 이는 통제된 시험과 실제 세계의 예측 불가능성 사이의 격차를 강조했으며, 열악한 조명, 무단 횡단, 비정상적인 객체와 같은 요소를 포함한다. 이 사건은 Waymo 및 테슬라 오토파일럿과 같은 기업들이 인식 알고리즘을 개선하고 중복 안전 메커니즘을 구현하려는 노력을 가속화했다.
이후 몇 년 동안 자율주행 차량 시험은 많은 도시에서 재개되었지만, 더 엄격한 감독이 수반되었다. 이 사건은 Generative AI 및 더 넓은 Artificial intelligence 커뮤니티에서 경고의 교훈으로 남아 있으며, 고급 Neural network 시스템도 예기치 않은 상황에서 실패할 수 있음을 보여준다. 또한 불확실성 하에서 의사 결정을 개선하기 위한 RLAIF 및 기타 훈련 방법의 개발에 기여했다.
공공 및 윤리적 고려 사항
이 비극은 AI 시스템이 피해를 입힐 때 누가 책임을 져야 하는지에 대한 윤리적 질문을 제기했다. 법학자와 윤리학자들은 제조업체, 소프트웨어 개발자, 또는 인간 운영자 중 누가 책임을 져야 하는지에 대해 논쟁했다. 이 사건은 AI 정렬 및 안전 필수 애플리케이션에서 투명한 모델 해석의 필요성에 대한 논의에 영향을 미쳤다.
헤르츠버그의 가족은 더 엄격한 자율주행 규제를 위한 옹호자가 되었으며, 그녀의 이름은 정책 문서와 안전 표준에서 자주 언급된다. 이 사건은 자율주행 역사에서 획기적인 사건으로, 현대 안전 규제를 형성한 초기 항공 사고에 비유된다. 2024년 현재, 완전 자율주행 차량과 관련된 유사한 보행자 사망 사건은 기록되지 않았지만, 이 사건은 컴퓨터 비전 및 Robotics 분야의 지속적인 연구에 계속 영향을 미치고 있다.