Elaine Herzberg (nacida en 1968) fue una peatona que falleció el 18 de marzo de 2018 en Tempe, Arizona, tras ser atropellada por un vehículo de prueba autónomo operado por Uber. Su muerte es ampliamente reconocida como la primera fatalidad registrada que involucra un vehículo totalmente autónomo en tráfico público, lo que provocó un escrutinio regulatorio y una reevaluación en toda la industria de los protocolos de seguridad de la conducción autónoma.
Aproximadamente a las 9:58 p.m., hora local, Herzberg cruzaba una carretera de cuatro carriles fuera de un paso de peatones marcado mientras empujaba una bicicleta. El vehículo de prueba de Uber, un Volvo XC90 modificado equipado con sensores y software de Machine learning, estaba en modo autónomo con un conductor de seguridad humano al volante. El vehículo no frenó y Herzberg falleció en el lugar. El incidente ocurrió en la ciudad de Tempe, que se había convertido en un centro para las pruebas de vehículos autónomos debido a las regulaciones permisivas de Arizona.
Vehículo y tecnología
El vehículo de prueba de Uber dependía de un conjunto de lidar, radar y cámaras, procesados por computadoras a bordo que ejecutaban algoritmos de Deep learning para la detección de objetos y la toma de decisiones. Según investigaciones posteriores, el sistema identificó inicialmente a Herzberg como un objeto desconocido y luego como una bicicleta, pero no la clasificó como una peatona que requiriera frenado inmediato. El conductor de seguridad, Rafaela Vasquez, supuestamente estaba mirando hacia abajo un teléfono y no reaccionó hasta menos de un segundo antes del impacto.
El software del vehículo tenía un diseño que priorizaba evitar falsos positivos, lo que significaba que a veces ignoraba objetos que no estaban claramente clasificados. Esta compensación, común en los sistemas de percepción basados en Neural network, contribuyó al fallo. El sistema lidar detectó a Herzberg aproximadamente 1.3 segundos antes del choque, pero el modelo de Machine learning no activó una parada de emergencia.
Investigación y consecuencias
La Junta Nacional de Seguridad en el Transporte (NTSB, por sus siglas en inglés) investigó el choque y publicó su informe final en noviembre de 2019. La NTSB determinó que la cultura de seguridad de Uber era inadecuada, citando una falta de supervisión sólida de los conductores de prueba y un sistema de frenado de emergencia deshabilitado. El frenado automático de emergencia del vehículo había sido apagado para reducir activaciones falsas, y Uber no había implementado un sistema para monitorear eficazmente la atención del conductor.
En marzo de 2019, la Oficina del Fiscal del Condado de Maricopa determinó que Uber no era penalmente responsable, pero el conductor de seguridad, Rafaela Vasquez, fue acusado de homicidio negligente. En julio de 2023, Vasquez se declaró culpable de poner en peligro y fue sentenciado a tres años de libertad condicional. Uber resolvió una demanda civil con la familia de Herzberg en 2018 por una cantidad no revelada.
Impacto regulatorio
La muerte llevó a suspensiones inmediatas de las pruebas de vehículos autónomos en varias jurisdicciones, incluyendo Arizona, California y Pittsburgh. Uber detuvo su programa de conducción autónoma durante varios meses y luego reanudó pruebas limitadas con medidas de seguridad más estrictas. El incidente también influyó en la legislación federal y estatal, con muchos estados de EE. UU. introduciendo nuevos requisitos para informar choques y garantizar la participación del conductor.
A nivel mundial, el caso se convirtió en un punto de referencia para los debates sobre la responsabilidad de la Artificial intelligence y el diseño ético de los sistemas autónomos. Destacó las limitaciones de los enfoques actuales de Deep learning para manejar casos límite y impulsó la investigación sobre una fusión de sensores más robusta y métodos de validación de seguridad.
Legado y contexto más amplio
La muerte de Herzberg se cita a menudo en discusiones sobre seguridad de la IA y el despliegue de sistemas de Machine learning en entornos de alto riesgo. Subrayó la brecha entre las pruebas controladas y la imprevisibilidad del mundo real, incluyendo factores como mala iluminación, cruce indebido y objetos inusuales. El incidente aceleró los esfuerzos de empresas como Waymo y Tesla Autopilot para mejorar los algoritmos de percepción e implementar mecanismos de seguridad redundantes.
En los años siguientes, las pruebas de vehículos autónomos se reanudaron en muchas ciudades, pero con una supervisión más rigurosa. El caso sigue siendo una advertencia en la comunidad de Generative AI y de la Artificial intelligence en general, ilustrando que incluso los sistemas avanzados de Neural network pueden fallar en circunstancias imprevistas. También contribuyó al desarrollo de RLAIF y otros métodos de entrenamiento destinados a mejorar la toma de decisiones bajo incertidumbre.
Consideraciones públicas y éticas
La tragedia planteó preguntas éticas sobre quién es responsable cuando un sistema de IA causa daño. Académicos legales y eticistas debatieron si el fabricante, el desarrollador de software o el operador humano deberían asumir la responsabilidad. El caso influyó en las discusiones sobre alineación de la IA y la necesidad de una interpretación transparente del modelo en aplicaciones críticas para la seguridad.
La familia de Herzberg se convirtió en defensora de regulaciones más estrictas para vehículos autónomos, y su nombre se invoca frecuentemente en documentos de políticas y estándares de seguridad. El incidente es un evento histórico en la conducción autónoma, comparable a los primeros accidentes de aviación que dieron forma a las regulaciones modernas de seguridad. A partir de 2024, no se ha registrado una fatalidad peatonal similar que involucre un vehículo totalmente autónomo, aunque el caso continúa informando la investigación en curso en visión por computadora y Robotics.