VR-Navigation mit der Microsoft Kinect: Gebieterische Gesten

Als wesentliches Merkmal der Virtual Reality (VR) gilt deren Interaktivität, die es dem Nutzer erlaubt, die digitale Welt aktiv zu beeinflussen. Dafür wurde bereits eine Vielzahl an Eingabegeräten entwickelt, die als Mensch-Maschine-Schnittstelle innerhalb eines VR-Systems fungieren. Mögliche Ausprägungen der Interaktion sind dabei die Navigation in der virtuellen Welt, die Manipulation von Objekten sowie das Feedback über eine Rückkopplung. Anhand geeigneter und intuitiver Bedienmetaphern werden die ausgeführten Aktionen und Gesten der Eingabegeräte in Bewegungen und Aktionen in der virtuellen Welt umgesetzt. Für die meisten Interaktionen in der VR oder für die Eingabegeräte ist ein Tracking beziehungsweise eine räumliche Positionsbestimmung erforderlich. Dabei werden räumliche Bewegungen in der realen Welt mit Hilfe der errechneten Koordinaten auf die digitale Welt übertragen.

Optische Trackingsysteme

Ein optisches Trackingsystem arbeitet mit einer oder mehreren digitalen Kameras, die im Trackingbereich die zu verfolgenden Objekte aufnehmen. Verwendung finden Infrarot- sowie Videokameras, die sich innerhalb des Trackingbereichs anhand von Referenzgeometrien (Marker, Targets, Formen, Kanten usw.) orientieren. Die Anschaffung eines professionellen optischen Infrarot-Trackingsystems ist dabei in der einfachsten Ausführung mit mindestens 10’000 Euro anzusetzen. Zudem bedarf die Verfolgung von Objekten und Personen deren Ausstattung mit geeigneten Tracking-Targets. Daher kommen zunehmend optische Bildverarbeitungsverfahren zum Einsatz, bei denen eine oder mehrere Videokameras das Bild der Umgebung durch eine Bildverarbeitungssoftware auswerten. Diese sind wesentlich günstiger in der Anschaffung und werden deshalb im vorliegenden Artikel näher betrachtet. Getrieben wird die Entwicklung neuartiger Interaktionsgeräte vom Spielkonsolenmarkt, der die Anforderungen der Nutzer nach kabellosen Eingabegeräten erfüllt und mit innovativen Ansätzen versucht, den Spieler interaktiv mit seinen Körperbewegungen in das Spiel einzubinden. Eine kommerzielle Lösung hierzu stammt aus dem Hause Microsoft und ist ein für die Spielkonsole Xbox entwickeltes Interaktionsgerät, das den Namen „Kinect“ trägt und sowohl Video- als auch Infrarot-Informationen kombiniert. Damit ist das Gerät in der Lage, die Funktionalitäten eines Trackingsystems und eines Eingabegeräts zur Navigation zu vereinen.

Im Rahmen seiner Forschungstätigkeiten beschäftigt sich der Lehrstuhl für Fördertechnik Materialfluss Logistik der Technischen Universität München mit dem Einsatz von VR in der Planung von Logistiksystemen. Dabei wird die Entwicklung und Adaptierung neuer intuitiver Interaktionsmetaphern in Form von gestenbasierten Interaktionskonzepten untersucht, die mit Hilfe der Microsoft Kinect umgesetzt werden können. Die Definition der Gesten zur Navigation und die Eingabe durch den Nutzer sollen dabei möglichst intuitiv erfolgen und eine Navigation im dreidimensionalen Raum ermöglichen. Hier soll der prototypisch entwickelte Ansatz näher beschrieben werden.

Microsoft Kinect

Die Microsoft Kinect wurde zu Beginn des Jahres 2012 in einer Version für 200 Euro auf den Markt gebracht, die speziell für die Anwendung an einem PC gedacht ist: „Kinect for Windows 7“. Die Kinect ist ein Eingabegerät, das die Bewegungen von Menschen interpretiert und auswertet. Die integrierte 3D-Kamera erkennt über einen optischen und einen Infrarot-Sensor den kompletten Körper des Anwenders vor der Kamera [1]. Aus der Aufnahme der RGB-Kamera und den Tiefeninformationen des Infrarotbildes berechnet die Software ein Skelettmodell des Nutzers mit entsprechenden Gelenk-Knotenpunkten. Diese ermittelt die xyz-Raumkoordinaten der Gelenk-Knotenpunkte des menschlichen Körpers. Arme, Beine, Kopf und Torso des Skelettmodells bewegen sich mit nur geringer Verzögerung synchron zum Nutzer. Selbst bei wechselnden Nutzern mit unterschiedlichen Körpergrößen und -abmaßen erkennt die Kamera deren Kontur problemlos. Es ist dabei weder die Kalibrierung auf einen Nutzer noch die Anbringung spezieller Marker am Körper notwendig. Die Nutzung dieser Eigenschaften erlaubt ein frei verfügbares und offiziell erhältliches Software Development Kit von Microsoft, das eine Natural-User-Interface-Steuerung und Interaktion anhand von Gesten erlaubt.

Gestendefinition und -implementierung

Mit dem berechneten Skelettmodell und den zugehörigen Gelenkpunkten kann anhand zu definierender Gesten eine Navigation in der VR ermöglicht werden. Dazu ist es erforderlich, die einzelnen Gesten für die unterschiedlichen Navigationsbewegungen zu implementieren und anhand der Gelenkpunkte festzulegen. Dazu werden in einer Software die Daten der Kinect-Sensoren gesammelt sowie die Koordinaten der Gelenkpunkte aufgenommen und in einer grafischen Darstellung ausgegeben. Rote Punkte repräsentieren dabei den rechten Arm, grüne den linken. Die blauen Punkte stehen für den Kopf, die Wirbelsäule und die Hüfte. Die erkannte Geste wird zudem über ein Textfeld angezeigt. 

Im nächsten Schritt galt es, für die aufgenommenen Gelenkpunkte feste Grenzen oder Bereiche zu bestimmen, anhand derer die Software die zum aktuellen Zeitpunkt ausgeführte Geste des Nutzers erkennt. Die Abbildung zeigt drei der definierten Gesten mit den dazugehörigen Aufnahmebildern der Gelenkpunkte sowie den charakteristischen Eigenschaften der Gesten. So sind diese eindeutig definiert und können als Navigationsbewegung identifiziert werden. Neben den beispielhaft gezeigten Gesten wurden insgesamt 13 Gesten definiert. Es werden die xyz-Koordinaten der verschiedenen Gelenke zugrunde gelegt und anhand ihrer relativen Position zueinander einzelne Regeln für die Software zum Erkennen und Unterscheiden der verschiedenen Gesten definiert. Befinden sich beispielsweise beide Handgelenke über der Hüfte sowie über dem Kopf, so wird die Geste „Fly“ erkannt.

In Form eines Plug-ins für die VR-Visualisierungssoftware RTT Deltagen wurde ein System entwickelt, das auf die Daten der Kinect zurückgreift und anhand der definierten Gesten eine entsprechende Translation und Rotation der Betrachter-Kamera umsetzt. Somit kann die Position des Betrachters in der digitalen Szene gesteuert werden. Dies ermöglicht eine Navigation in der VR anhand von Gesten.

Möglichkeiten und Grenzen

Grundsätzlich lässt sich feststellen, dass die Anwendung der Kinect in der VR neue Interaktionsmöglichkeiten mit der virtuellen Welt zulässt. Dabei hat jeder potenzielle Anwender die Möglichkeit, neue Gesten zu definieren und für eine Interaktion zu nutzen. Am Lehrstuhl für Fördertechnik Materialfluss Logistik wurden bislang lediglich die Funktionalitäten einer gestenbasierten Navigation in der virtuellen Welt untersucht. Eine Manipulation von Objekten und die Interaktion mit diesen wurde nicht umgesetzt. Dafür wären auch neue Interaktionsmetaphern zu definieren, da die Kinect auf größere Distanz nicht in der Lage ist, beispielsweise Greifvorgänge der Hand zu interpretieren und auszuwerten. Dasselbe Problem ergibt sich bei der Feststellung der Blickrichtung des Nutzers, so dass ein Kopf- oder Head-Tracking derzeit nicht möglich ist. Somit kann keine benutzerspezifische Perspektive der Visualisierung für den Anwender geliefert werden, wie dies in VR-Systemen Standard ist. Hier bleiben weitere Entwicklungen abzuwarten, was die Auflösungsgenauigkeit der Kinect anbelangt. Zudem stellen die Licht- und Umgebungsbedingungen ebenfalls eine Herausforderung dar. Der Raum darf nicht zu dunkel sein, da sonst keine saubere Erfassung des Anwenders vor der Kamera möglich ist. Häufig ist allerdings gerade dies bei VR-Systemen der Fall und könnte somit ein Problem in der Anwendung der Kinect in VR-Anlagen sein. Neben den Aufnahmebeschränkungen lässt sich unter ergonomischen Gesichtspunkten beurteilen, dass durch die gestenbasierte Bedienung kein haptisches Feedback, weder für das Aktivieren einer Funktion (zum Beispiel das Drücken einer Taste) noch für etwaige Kollisionen in der virtuellen Welt, an den Anwender zurückgegeben werden kann.

Die klaren Vorteile der gestenbasierten Steuerung werden in dem geringeren Lernaufwand zur Nutzung und Bedienung der Steuerung gesehen, die durch ein Learning by Doing ein schnelles Erfolgserlebnis bei den Anwendern verspricht. Gleichzeitig senkt die intuitive Steuerung die Hemmschwelle der Anwender zur Nutzung des Systems und vereinfacht die Interaktion mit der VR gegenüber heutigen Interaktionsgeräten. Dabei erfährt der Nutzer eine direktere Interaktion mit dem Modell, als dies bislang der Fall ist. Nicht zu vergessen sind zudem die außergewöhnlich niedrigen Investitionskosten einer Kinect im Vergleich zu den klassischen Infrarot-Trackingsystemen. Es bleibt abzuwarten, in welche Richtung sich der Markt für eine gestenbasierte Steuerung in VR-Systemen entwickeln wird. (<I>anm<P>)

Literaturhinweise

[1] www.microsoft.com/en-us/kinectforwindows/ 

Info: 3D-Navigation in der VR

Der Lehrstuhl für Fördertechnik Materialfluss Logistik (fml) unter Leitung von Prof. Dr. Willibald A. Günthner an der Technischen Universität München besitzt für seine Forschungsaktivitäten ein tuleistungsstarkes VR-Labor. Dort ist Florian Kammergruber seit 2009 als wissenschaftlicher Mitarbeiter zur Erforschung des Einsatzes von VR als digitales Werkzeug zur Planung und Auslegung von Materialfluss- sowie Logistiksystemen beschäftigt.

Technische Universität München
Lehrstuhl für Fördertechnik Materialfluss Logistik
Boltzmannstraße 15
85748 Garching
Tel. 089 / 28 91 59 21
[email protected]
www.fml.mw.tum.de