Egozentrisches Sehen, auch bekannt als First-Person-Sehen, ist ein Teilgebiet der Computer Vision, das sich mit der Analyse von Bildern und Videos befasst, die von einer tragbaren Kamera aufgenommen wurden, die typischerweise am Kopf oder der Brust getragen wird und auf natürliche Weise das Sichtfeld des Kameraträgers approximiert. Diese Perspektive erfasst den Teil der Szene, auf den sich der Benutzer konzentriert, um eine Aufgabe auszuführen, und bietet wertvolle Einblicke in die Aktivitäten des Benutzers und deren Kontext in einer naturalistischen Umgebung. Die nach vorne gerichtete Kamera wird oft durch eine nach innen gerichtete Kamera ergänzt, die den Blick misst, was hilft, Aufmerksamkeit zu erkennen und die Aktivität und Absichten des Benutzers besser zu verstehen.
Das Feld ist aus frühen tragbaren Geräten zu einem eigenständigen Forschungsbereich innerhalb der Computer Vision gewachsen und überschneidet sich mit künstlicher Intelligenz und maschinellem Lernen, um Systeme für Aktivitätserkennung, soziale Interaktionsanalyse und assistive Technologien zu entwickeln.
Geschichte
Das Konzept, eine tragbare Kamera zu verwenden, um visuelle Daten aus einer First-Person-Perspektive zu sammeln, geht auf die 1970er Jahre zurück, als Steve Mann den „Digital Eye Glass“ erfand, ein Gerät, das, wenn getragen, effektiv das menschliche Auge sowohl in eine elektronische Kamera als auch in ein Fernsehdisplay verwandelte. Anschließend wurden tragbare Kameras für gesundheitsbezogene Anwendungen im Kontext von Humanistic Intelligence und Wearable AI verwendet. Egocentrisches Sehen wird am besten vom Augenpunkt aus durchgeführt, kann aber auch über eine am Hals getragene Kamera erfolgen, wenn eine Brille im Weg wäre; diese am Hals getragene Variante wurde durch die Microsoft SenseCam im Jahr 2006 für experimentelle Gesundheitsforschung populär gemacht.
Das Interesse der Computer-Vision-Gemeinschaft am egozentrischen Paradigma wuchs langsam zu Beginn der 2010er Jahre und hat sich in den letzten Jahren rasant beschleunigt, begünstigt durch Fortschritte in der tragbaren Technologie und eine zunehmende Anzahl potenzieller Anwendungen. Im Jahr 2012 beschrieben Kanade und Hebert ein prototypisches First-Person-Vision-System, das aus drei grundlegenden Komponenten besteht: einer Lokalisierungskomponente zur Schätzung der Umgebung, einer Erkennungskomponente zur Identifizierung von Objekten und Personen, und einer Aktivitätserkennungskomponente, um Informationen über die aktuelle Aktivität des Benutzers zu liefern. Zusammen bieten diese Komponenten ein vollständiges Situationsbewusstsein, das verwendet werden kann, um dem Benutzer oder einer Pflegekraft zu helfen. Dieser Idee folgend, konzentrierten sich frühe computergestützte Techniken auf handbezogene Aktivitätserkennung und soziale Interaktionsanalyse. Angesichts der ungezwungenen Natur des Videos und der großen Datenmengen waren zeitliche Segmentierung und Zusammenfassung unter den ersten Problemen, die angegangen wurden.
Nach fast zehn Jahren egozentrischer Vision-Forschung (2007-2017) diversifizierte sich das Feld. Neue Forschungsthemen umfassen soziale Salienzschätzung, multi-agentische egozentrische Vision-Systeme, datenschutzerhaltende Techniken, aufmerksamkeitsbasierte Aktivitätsanalyse, soziale Interaktionsanalyse, Handposenanalyse, egoistische grafische Benutzeroberflächen (EUI), Verständnis sozialer Dynamiken und Aufmerksamkeit, Wiederbesuch von Robotik-Vision und Maschinenvision als egozentrische Sensorik, Aktivitätsvorhersage, und Blickvorhersage.
Technische Herausforderungen
Tragbare Kameras sind kleine, leichte digitale Aufnahmegeräte, die Bilder und Videos aus einer First-Person-Perspektive aufnehmen. Abhängig vom Gerät kann die Aufnahme automatisch sein, und Auflösung und Bildrate können variieren. Eine häufige Unterscheidung wird zwischen Fotokameras( auch Lifelogging-Kameras genannt) und Videokameras getroffen. Fotokameras, wie die Narrative Clip und Microsoft SenseCam, werden häufig an der Brust getragen und zeichnen sich durch eine sehr niedrige Bildrate( bis zu 2 Bildern pro Minute) aus, was die Bildaufnahme über lange Zeiträume ohne häufiges Aufladen des Akkus ermöglicht. Sie bieten Potenzial, um Wissen über Verhaltensmuster, Gewohnheiten oder Lebensstil abzuleiten. Aufgrund der niedrigen Bildrate und der freien Kamerabewegung zeigen zeitlich benachbarte Bilder jedoch oft abrupte Erscheinungsänderungen, was Bewegungsmerkmale unzuverlässig macht.
Videokameras, wie Google Glass und GoPro, werden häufig am Kopf montiert und erfassen konventionelles Video( etwa 35 Bilder pro Sekunde), was feine zeitliche Details von Interaktionen ermöglicht. Sie bieten Potenzial für eine eingehende Analyse täglicher oder besonderer Aktivitäten. Da sich die Kamera jedoch mit dem Kopf des Trägers bewegt, ist die Schätzung der globalen Bewegung des Trägers schwieriger, und abrupte Bewegungen können verschwommene Bilder verursachen.
In beiden Fällen, da die Kamera in einer naturalistischen Umgebung getragen wird, weisen visuelle Daten eine hohe Variabilität in Beleuchtung und Objekterscheinung auf. Darüber hinaus ist der Kameraträger im Bild nicht sichtbar, sodass seine Handlungen aus dem Sichtfeld abgeleitet werden müssen, was bedeutet, dass wichtige Informationen wie Pose oder Gesichtsausdruck nicht verfügbar sind.
Anwendungen
Eine Sammlung von Studien, die in einer speziellen Themenausgabe des American Journal of Preventive Medicine veröffentlicht wurden, demonstrierte das Potenzial von Lifelogs, die durch tragbare Kameras erfasst wurden. Als Werkzeug zum Verständnis und zur Verfolgung von Lebensstilverhalten könnten Lifelogs die Prävention nichtübertragbarer Krankheiten ermöglichen, die mit ungesunden Trends und riskanten Profilen verbunden sind, wie Fettleibigkeit und Depression. Als Werkzeug für kognitives Re-Memory-Training könnten Lifelogs helfen, kognitiven und funktionalen Abbau bei älteren Menschen zu verhindern.
In jüngerer Zeit wurden egozentrische Kameras verwendet, um menschliche und tierische Kognition, menschlich-menschliche soziale Interaktion, Mensch-Roboter-Interaktion, und menschliche Expertise in komplexen Aufgaben zu untersuchen. Andere Anwendungen umfassen Navigation und assistive Technologien für Blinde, Überwachung und Unterstützung industrieller Arbeitsabläufe, und Augmented-Reality-Schnittstellen. Das Feld verbindet auch mit breiteren Deep-Learning-Ansätzen zur Analyse egozentrischer Daten, wobei neuronale Netze-Architekturen für Aufgaben wie Aktivitätserkennung und Blickvorhersage genutzt werden.
Siehe auch
- Tragbare Technologie
- Aktivitätserkennung
- Blickverfolgung