EPIC-KITCHENS es un conjunto de datos de video egocéntrico a gran escala diseñado para la investigación en inteligencia artificial, particularmente en los campos del reconocimiento de acciones y la anticipación de acciones. El conjunto de datos consiste en grabaciones de video en primera persona (egocéntricas) de actividades diarias en la cocina, capturadas mediante cámaras montadas en la cabeza. Proporciona un recurso rico para desarrollar y evaluar algoritmos que comprenden las interacciones humanas con objetos y entornos desde una perspectiva de primera persona.
El conjunto de datos fue introducido en 2018 por una colaboración entre la Universidad de Bristol, la Universidad de Catania y la Universidad de Toronto, entre otras. Contiene más de 55 horas de video de 32 participantes en sus propias cocinas, capturando una amplia variedad de tareas de cocina y preparación. Los videos están densamente anotados con etiquetas de acción, incluyendo combinaciones de verbo y sustantivo (por ejemplo, 'cortar cebolla', 'verter agua'), y cajas delimitadoras de objetos, lo que permite un análisis detallado de las actividades.
Recopilación de Datos y Anotación
El conjunto de datos EPIC-KITCHENS se grabó utilizando cámaras montadas en la cabeza (como GoPro) usadas por los participantes durante sesiones de cocina naturales. Las grabaciones tuvieron lugar en los hogares de los propios participantes, proporcionando escenarios realistas y sin guion. El proceso de anotación implicó etiquetar manualmente cada cuadro de video con segmentos de acción, identificando los tiempos de inicio y fin de las acciones, y asignando etiquetas de verbo y sustantivo de un vocabulario predefinido. Además, se anotaron cajas delimitadoras de objetos para cada cuadro, lo que permite tareas de detección y seguimiento de objetos.
El conjunto de datos incluye un conjunto de entrenamiento y un conjunto de prueba, con un total de 39,594 segmentos de acción y 454,714 cajas delimitadoras de objetos. Las etiquetas de acción cubren 125 clases de verbos y 352 clases de sustantivos, lo que resulta en un gran espacio combinatorio de posibles acciones.
Tareas de Referencia y Evaluación
EPIC-KITCHENS se ha convertido en un estándar de referencia para tareas de visión egocéntrica, particularmente el reconocimiento de acciones y la anticipación de acciones. El reconocimiento de acciones implica clasificar la acción que se está realizando en un segmento de video dado, mientras que la anticipación de acciones requiere predecir la próxima acción antes de que ocurra. El conjunto de datos también admite tareas como detección de objetos, seguimiento y recuperación de video.
Las métricas de evaluación típicamente incluyen precisión top-1 y top-5 para el reconocimiento de acciones, y precisión promedio media (mAP) para tareas de anticipación. El punto de referencia se ha utilizado en varios desafíos, incluido el Desafío de Reconocimiento de Acciones EPIC-KITCHENS, que se ha llevado a cabo en importantes conferencias de visión por computadora como CVPR y ECCV.
Impacto y Aplicaciones
El conjunto de datos ha avanzado significativamente la investigación en visión egocéntrica y ha sido ampliamente adoptado por las comunidades de aprendizaje automático y aprendizaje profundo. Ha permitido el desarrollo de modelos que pueden comprender actividades humanas desde una perspectiva de primera persona, lo cual es crucial para aplicaciones en robótica, realidad aumentada y tecnologías de asistencia. Por ejemplo, arquitecturas de redes neuronales como modelos basados en transformadores se han aplicado a EPIC-KITCHENS para la anticipación de acciones, aprovechando el contexto temporal y la información multimodal.
Además, EPIC-KITCHENS ha contribuido al estudio de la comprensión de video a largo plazo y la integración de múltiples modalidades, como audio y movimiento. El entorno realista del conjunto de datos y sus anotaciones densas lo convierten en un recurso valioso para entrenar y evaluar modelos que buscan generalizar a escenarios del mundo real.
Extensiones y Conjuntos de Datos Relacionados
Tras el éxito de EPIC-KITCHENS, el mismo equipo lanzó EPIC-KITCHENS-100, una versión extendida con 100 horas de video de 45 participantes, que incluye anotaciones adicionales y un vocabulario más amplio. Otros conjuntos de datos egocéntricos relacionados incluyen Ego4D, que cubre una gama más amplia de actividades diarias, y Charades-Ego, que se centra en el reconocimiento de acciones egocéntricas en entornos domésticos. Estos conjuntos de datos en conjunto empujan los límites de la comprensión de video egocéntrico.
Conclusión
EPIC-KITCHENS sigue siendo un conjunto de datos fundamental en el campo de la visión egocéntrica, proporcionando un punto de referencia único y desafiante para la comprensión de acciones. Sus contribuciones han estimulado numerosas innovaciones en inteligencia artificial y continúan influyendo en la investigación en interacción humano-computadora y sistemas inteligentes.