엘레인 헤르츠버그(Elaine Herzberg, 1968년 출생)는 2018년 3월 18일 애리조나주 템피에서 우버(Uber)가 운영하는 자율주행 시험 차량에 치여 사망한 보행자였다. 그녀의 사망은 공공 교통에서 완전 자율주행 차량과 관련된 최초의 기록된 사망 사건으로 널리 인정되며, 규제 당국의 조사와 자율주행 안전 프로토콜에 대한 업계 전반의 재평가를 촉발했다.
현지 시각 오후 약 9시 58분, 헤르츠버그는 자전거를 끌고 횡단보도 밖의 4차선 도로를 건너고 있었다. 우버 시험 차량은 센서와 Machine learning 소프트웨어를 갖춘 개조된 볼보 XC90으로, 인간 안전 운전자가 운전석에 앉은 상태에서 자율 모드로 운행 중이었다. 차량은 제동에 실패했고, 헤르츠버그는 현장에서 사망했다. 이 사건은 애리조나주의 관대한 규제 덕분에 자율주행 차량 시험의 중심지가 된 템피 시에서 발생했다.
차량 및 기술
우버 시험 차량은 라이다, 레이더, 카메라 세트에 의존했으며, 이는 객체 탐지 및 의사 결정을 위한 Deep learning 알고리즘을 실행하는 온보드 컴퓨터로 처리되었다. 이후 조사에 따르면, 시스템은 처음에 헤르츠버그를 알 수 없는 객체로 식별한 후 자전거로 식별했지만, 즉각적인 제동이 필요한 보행자로 분류하지 않았다. 안전 운전자 라파엘라 바스케스(Rafaela Vasquez)는 휴대전화를 내려다보고 있었으며 충돌 1초 미만 전까지 반응하지 않은 것으로 보고되었다. 차량의 소프트웨어는 오탐(false positive)을 피하는 것을 우선시하는 설계였으며, 이는 명확히 분류되지 않은 객체를 때때로 무시하는 결과를 초래했다. Neural network 기반 인식 시스템에서 흔한 이러한 절충은 실패에 기여했다. 라이다 시스템은 충돌 약 1.3초 전에 헤르츠버그를 감지했지만, Machine learning 모델은 긴급 정지를 작동시키지 않았다.
조사 및 여파
미국 국립교통안전위원회(NTSB)는 이 충돌을 조사했고 2019년 11월 최종 보고서를 발표했다. NTSB는 우버의 안전 문화가 부적절하다고 판단했으며, 시험 운전자에 대한 강력한 감독 부족과 비활성화된 긴급 제동 시스템을 지적했다. 차량의 자동 긴급 제동은 오작동을 줄이기 위해 꺼져 있었고, 우버는 운전자 주의를 효과적으로 모니터링하는 시스템을 구현하지 않았다. 2019년 3월, 마리코파 카운티 검찰청은 우버에 형사 책임이 없다고 판단했지만, 안전 운전자 라파엘라 바스케스는 과실 치사 혐의로 기소되었다. 2023년 7월, 바스케스는 위태롭게 하는 행위에 대해 유죄를 인정했고 3년 집행유예를 선고받았다. 우버는 2018년 헤르츠버그 가족과의 민사 소송을 비공개 금액으로 합의했다.
규제 영향
이 사망 사건은 애리조나, 캘리포니아, 피츠버그를 포함한 여러 지역에서 자율주행 차량 시험의 즉각적인 중단을 초래했다. 우버는 자율주행 프로그램을 몇 달간 중단했고, 이후 더 엄격한 안전 조치를 갖춘 제한된 시험을 재개했다. 이 사건은 또한 연방 및 주 차원의 법안에 영향을 미쳤으며, 많은 미국 주에서 충돌 보고 및 운전자 참여 보장에 대한 새로운 요건을 도입했다. 전 세계적으로 이 사건은 Artificial intelligence 책임과 자율 시스템의 윤리적 설계에 대한 논쟁의 기준점이 되었다. 이는 현재의 Deep learning 접근 방식이 예외적인 경우를 처리하는 데 한계가 있음을 부각시켰고, 더 견고한 센서 융합 및 안전 검증 방법에 대한 연구를 촉진했다.
유산 및 더 넓은 맥락
헤르츠버그의 사망은 AI 안전 및 고위험 환경에서의 Machine learning 시스템 배치에 대한 논의에서 자주 인용된다. 이는 통제된 시험과 실제 세계의 예측 불가능성 사이의 격차를 강조했으며, 열악한 조명, 무단 횡단, 비정상적인 객체와 같은 요인을 포함한다. 이 사건은 Waymo 및 Tesla Autopilot 같은 기업들이 인식 알고리즘을 개선하고 중복 안전 메커니즘을 구현하도록 가속화했다. 이후 몇 년 동안 자율주행 차량 시험은 많은 도시에서 재개되었지만, 더 엄격한 감독이 수반되었다. 이 사건은 Generative AI 및 더 넓은 Artificial intelligence 커뮤니티에서 경고의 이야기로 남아 있으며, 고급 Neural network 시스템도 예기치 못한 상황에서 실패할 수 있음을 보여준다. 이는 또한 불확실성 하에서 의사 결정을 개선하기 위한 RLAIF 및 기타 훈련 방법의 개발에 기여했다.
공공 및 윤리적 고려 사항
이 비극은 AI 시스템이 피해를 입힐 때 누가 책임을 져야 하는지에 대한 윤리적 질문을 제기했다. 법률 학자와 윤리학자들은 제조업체, 소프트웨어 개발자, 또는 인간 운영자가 책임을 져야 하는지에 대해 논쟁했다. 이 사건은 AI 정렬 및 안전 필수 애플리케이션에서 투명한 모델 해석의 필요성에 대한 논의에 영향을 미쳤다. 헤르츠버그의 가족은 더 엄격한 자율주행 차량 규제를 위한 옹호자가 되었으며, 그녀의 이름은 정책 문서와 안전 표준에서 자주 언급된다. 이 사건은 현대 안전 규제를 형성한 초기 항공 사고에 비견할 만한 자율주행 역사의 획기적인 사건이다. 2024년 현재, 완전 자율주행 차량과 관련된 유사한 보행자 사망 사건은 기록되지 않았지만, 이 사건은 컴퓨터 비전 및 Robotics 분야의 지속적인 연구에 계속 영향을 미치고 있다.