EPIC-KITCHENS ist ein groß angelegter egozentrischer Videodatensatz, der für die Forschung im Bereich künstlicher Intelligenz entwickelt wurde, insbesondere in den Bereichen Aktionserkennung und Aktionsantizipation. Der Datensatz besteht aus Ich-Perspektive-Videoaufnahmen (egozentrisch) alltäglicher Küchenaktivitäten, die mit am Kopf montierten Kameras aufgenommen wurden. Er bietet eine reichhaltige Ressource für die Entwicklung und Bewertung von Algorithmen, die menschliche Interaktionen mit Objekten und Umgebungen aus der Ich-Perspektive verstehen.
Der Datensatz wurde 2018 durch eine Zusammenarbeit zwischen der University of Bristol, der University of Catania und der University of Toronto sowie weiteren Partnern eingeführt. Er enthält über 55 Stunden Video von 32 Teilnehmern in ihren eigenen Küchen und erfasst eine Vielzahl von Koch- und Zubereitungsaufgaben. Die Videos sind dicht mit Aktionslabels annotiert, einschließlich Verb- und Nomenkombinationen (z. B. 'Zwiebel schneiden', 'Wasser gießen'), sowie Objekt-Bounding-Boxes, was eine feinkörnige Analyse von Aktivitäten ermöglicht.
Datenerfassung und Annotation
Der EPIC-KITCHENS-Datensatz wurde mit am Kopf montierten Kameras (wie GoPro) aufgenommen, die von den Teilnehmern während natürlicher Kochsitzungen getragen wurden. Die Aufnahmen fanden in den eigenen Häusern der Teilnehmer statt und boten realistische und ungeplante Szenarien. Der Annotationsprozess umfasste die manuelle Kennzeichnung jedes Videoframes mit Aktionssegmenten, die Identifizierung von Start- und Endzeiten der Aktionen sowie die Zuweisung von Verb- und Nomenlabels aus einem vordefinierten Vokabular. Zusätzlich wurden Objekt-Bounding-Boxes für jeden Frame annotiert, was Aufgaben der Objekterkennung und -verfolgung ermöglicht.
Der Datensatz umfasst einen Trainingssatz und einen Testsatz mit insgesamt 39.594 Aktionssegmenten und 454.714 Objekt-Bounding-Boxes. Die Aktionslabels decken 125 Verbklassen und 352 Nomenklassen ab, was einen großen kombinatorischen Raum möglicher Aktionen ergibt.
Benchmark-Aufgaben und Bewertung
EPIC-KITCHENS ist zu einem Standard-Benchmark für egozentrische Sehaufgaben geworden, insbesondere für Aktionserkennung und Aktionsantizipation. Aktionserkennung umfasst die Klassifizierung der in einem bestimmten Videosegment ausgeführten Aktion, während Aktionsantizipation die Vorhersage der nächsten Aktion erfordert, bevor sie auftritt. Der Datensatz unterstützt auch Aufgaben wie Objekterkennung, -verfolgung und Videoabruf.
Bewertungsmetriken umfassen typischerweise Top-1- und Top-5-Genauigkeit für die Aktionserkennung sowie den mittleren durchschnittlichen Präzisionswert (mAP) für Antizipationsaufgaben. Der Benchmark wurde in mehreren Herausforderungen verwendet, einschließlich der EPIC-KITCHENS Action Recognition Challenge, die bei großen Computer-Vision-Konferenzen wie CVPR und ECCV ausgetragen wurde.
Auswirkungen und Anwendungen
Der Datensatz hat die Forschung im Bereich egozentrisches Sehen erheblich vorangetrieben und wurde von der Maschinelles-Lernen- und Deep-Learning-Community weitgehend übernommen. Er hat die Entwicklung von Modellen ermöglicht, die menschliche Aktivitäten aus der Ich-Perspektive verstehen, was für Anwendungen in Robotik, erweiterter Realität und assistiven Technologien entscheidend ist. Beispielsweise wurden Neuronale-Netze-Architekturen wie Transformer-basierte Modelle auf EPIC-KITCHENS für die Aktionsantizipation angewendet, wobei zeitlicher Kontext und multimodale Informationen genutzt werden.
Darüber hinaus hat EPIC-KITCHENS zur Untersuchung des langfristigen Video-Verständnisses und der Integration mehrerer Modalitäten wie Audio und Bewegung beigetragen. Die realistische Umgebung und die dichten Annotationen des Datensatzes machen ihn zu einer wertvollen Ressource für das Training und die Bewertung von Modellen, die auf reale Szenarien generalisieren sollen.
Erweiterungen und verwandte Datensätze
Nach dem Erfolg von EPIC-KITCHENS veröffentlichte dasselbe Team EPIC-KITCHENS-100, eine erweiterte Version mit 100 Stunden Video von 45 Teilnehmern, einschließlich zusätzlicher Annotationen und eines größeren Vokabulars. Weitere verwandte egozentrische Datensätze umfassen Ego4D, das ein breiteres Spektrum alltäglicher Aktivitäten abdeckt, und Charades-Ego, das sich auf egozentrische Aktionserkennung in Haushaltsumgebungen konzentriert. Diese Datensätze erweitern gemeinsam die Grenzen des egozentrischen Video-Verständnisses.
Fazit
EPIC-KITCHENS bleibt ein Eckpfeiler-Datensatz im Bereich des egozentrischen Sehens und bietet einen einzigartigen und herausfordernden Benchmark für das Verständnis von Aktionen. Seine Beiträge haben zahlreiche Innovationen in der künstlichen Intelligenz angeregt und beeinflussen weiterhin die Forschung in der Mensch-Computer-Interaktion und intelligenten Systemen.