EPIC-KITCHENS é um conjunto de dados de vídeo egocêntrico em grande escala projetado para pesquisa em inteligência artificial, particularmente nos campos de reconhecimento de ações e antecipação de ações. O conjunto de dados consiste em gravações de vídeo em primeira pessoa (egocêntricas) de atividades diárias de cozinha, capturadas usando câmeras montadas na cabeça. Ele fornece um recurso rico para desenvolver e avaliar algoritmos que compreendem interações humanas com objetos e ambientes a partir de uma perspectiva em primeira pessoa.
O conjunto de dados foi introducido em 2018 por uma colaboração entre a Universidade de Bristol, a Universidade de Catania e a Universidade de Toronto, entre outras. Ele contém mais de 55 horas de vídeo de 32 participantes em suas próprias cozinhas, capturando uma amplia variedad de tarefas de culinária e preparação. Os vídeos são densamente anotados com rótulos de ação, incluindo combinações de verbos e substantivos (por exemplo, 'cortar cebola', 'verter água'), e caixas delimitadoras de objetos, permitindo uma análise detalhada das atividades.
Coleta de Dados e Anotação
O conjunto de dados EPIC-KITCHENS foi gravado usando câmeras montadas na cabeça (como GoPro) usadas pelos participantes durante sessões naturais de culinária. As gravações ocorreram nas próprias casas dos participantes, proporcionando cenários realistas e não ensayados. O processo de anotação envolveu rotular manualmente cada quadro de vídeo com segmentos de ação, identificando os tempos de início e fim das ações, e atribuindo rótulos de verbos e substantivos a partir de um vocabulário predefinido. Além disso, caixas delimitadoras de objetos foram anotadas para cada quadro, permitindo tarefas de detección de objetos e rastreamento.
O conjunto de dados incluye um conjunto de treinamento e um conjunto de teste, com um total de 39.594 segmentos de ação e 454.714 caixas delimitadoras de objetos. Os rótulos de ação cobren 125 classes de verbos e 352 classes de substantivos, resultando em um grande espaço combinatório de ações possíveis.
Tareas de Referencia e Evaluación
EPIC-KITCHENS se ha convertido en un estándar de referencia para tareas de visión egocéntrica, particularmente el reconocimiento de acciones y la anticipación de acciones. El reconocimiento de acciones implica clasificar la acción que se está realizando en un segmento de video dado, mientras que la anticipación de acciones requiere predecir la siguiente acción antes de que ocurra. El conjunto de datos también admite tareas como detección de objetos, rastreo y recuperación de video.
Las métricas de evaluación típicamente incluyen precisión top-1 y top-5 para el reconocimiento de acciones, y precisión media promedio (mAP) para tareas de anticipación. El punto de referencia se ha utilizado en varios desafíos, incluido el Desafío de Reconocimiento de Acciones EPIC-KITCHENS, que se ha llevado a cabo en importantes conferencias de visión por computadora como CVPR y ECCV.
Impacto y Aplicaciones
El conjunto de datos ha avanzado significativamente la investigación en visión egocéntrica y ha sido ampliamente adoptado por las comunidades de aprendizaje automático y aprendizaje profundo. Ha permitido el desarrollo de modelos que pueden comprender actividades humanas desde una perspectiva en primera persona, lo cual es crucial para aplicaciones en robótica, realidad aumentada y tecnologías de asistencia. Por ejemplo, arquitecturas de redes neuronales como modelos basados en transformadores se han aplicado a EPIC-KITCHENS para la anticipación de acciones, aprovechando el contexto temporal y la información multimodal.
Además, EPIC-KITCHENS ha contribuido al estudio de la comprensión de video a largo plazo y la integración de múltiples modalidades, como audio y movimiento. El entorno realista del conjunto de datos y sus anotaciones densas lo convierten en un recurso valioso para entrenar y evaluar modelos que buscan generalizar a escenarios del mundo real.
Extensiones y Conjuntos de Datos Relacionados
Tras el éxito de EPIC-KITCHENS, el mismo equipo lanzó EPIC-KITCHENS-100, una versión extendida con 100 horas de video de 45 participantes, que incluye anotaciones adicionales y un vocabulario más amplio. Otros conjuntos de datos egocéntricos relacionados incluyen Ego4D, que cubre una gama más amplia de actividades diarias, y Charades-Ego, que se centra en el reconocimiento de acciones egocéntricas en entornos domésticos. Estos conjuntos de datos colectivamente empujan los límites de la comprensión de video egocéntrico.
Conclusión
EPIC-KITCHENS sigue siendo un conjunto de datos fundamental en el campo de la visión egocéntrica, proporcionando un punto de referencia único y desafiante para la comprensión de acciones. Sus contribuciones han impulsado numerosas innovaciones en inteligencia artificial y continúan influyendo en la investigación en interacción humano-computadora y sistemas inteligentes.