XR kommt in Fahrt: Warum BMW und Meta Reality Labs zusammenarbeiten

Anbieter zum Thema

Aerotech GmbH

BMW Group und Meta Reality Labs stellen Forschung zur Vernetzung von Extended-Reality-Geräten mit digitalem Fahrzeug-Ökosystem vor.

• Forschung für die potenzielle Industriestandardisierung.

• Geräte für Extended-Reality (XR) könnten in Zukunft für Kunden immer wichtiger werden.

• Forschungsprototyp meistert zentrale technische Herausforderungen.

Das BMW Group Technology Office USA in Mountain View stellt gemeinsame Forschungsergebnisse mit Meta Reality Labs vor. Es ist erstmalig gelungen, Fahrgästen in einem sich schnell bewegenden Fahrzeug stabile Virtual-Reality (VR) und Mixed-Reality-Inhalte (MR) anzuzeigen. Das ist sogar möglich, wenn das Fahrzeug abbiegt, über Bodenwellen fährt und beschleunigt. Durch die Verknüpfung des Tracking-Systems von Meta Quest (VR-Headset von Meta) mit den Sensordaten eines BMW konnten die Forscher stabile Spiel-, Unterhaltungs-, Produktivitäts- und Meditations-Erlebnisse realisieren. Langfristiges Ziel der Partnerschaft ist die Erforschung neuer Extended-Reality-Erlebnisse (XR) für Fahrgäste und Fahrer in zukünftigen Fahrzeugen. Die Partner wollen auch dazu beitragen, Industriestandards für die Integration von XR-Verbrauchergeräten in das digitale Fahrzeug-Ökosystem voranzubringen.

„Noch ist schwer absehbar, wann und wie diese Technologie für Endkunden verfügbar wird. Wir können uns aber schon heute verschiedene Anwendungsfälle für XR-Geräte im Fahrzeug vorstellen – zum Beispiel um den Fahrer auf Gefahren hinzuweisen, um wichtige Informationen zum Zustand des Fahrzeugs anzuzeigen oder beim Finden des Fahrzeugs auf einem vollen Parkplatz. Das Potenzial zukünftiger AR-Brillen und VR-Geräte – sowohl für Fahrgäste als auch für Fahrer – ist vielversprechend. Die Forschungspartnerschaft mit Meta ermöglicht uns herauszufinden, wie immersive XR-Erlebnisse im Fahrzeug künftig aussehen könnten und die nahtlose Integration solcher Erlebnisse voranzutreiben.“

Claus Dorrer, Leiter BMW Group Technology Office USA in Mountain View

Proof-of-Concept-Prototyp meistert wichtige technische Herausforderungen

VR-Headsets verwenden Kameras und Bewegungssensoren, um ihre genaue Position zu ermitteln. Wenn der Benutzer also seinen Kopf bewegt oder sich umschaut, bleibt der virtuelle Inhalt stabil. In schnell fahrenden Fahrzeugen werden die Sensoren des Headsets jedoch durch widersprüchliche Signale von der Bewegung des Geräts im Fahrzeug und der Bewegung des Fahrzeugs in der Welt gestört. Anders ausgedrückt: Die Bewegungssensoren des Headsets glauben, dass es sich bewegt, aber die Kameras glauben, dass es stillsteht, wenn sie das Innere des Autos betrachten.

Diese Diskrepanz, bekannt als Bewegung in einem nicht-inertialen Bezugssystem, führt dazu, dass ein VR-Headset wie die Meta Quest 2 virtuelle Inhalte nicht stabil anzeigen kann, wenn es in einem schnell fahrenden Fahrzeug mitfährt. Das gilt besonders dann, wenn das Fahrzeug beschleunigt, schnell abbiegt oder auf Fahrbahnunebenheiten stößt.

Informationen aus der Fahrzeugsensorik in das Tracking-System des VR-Headsets integrieren

Daher arbeiteten die Forscher von BMW und Meta zusammen, um Informationen aus der Fahrzeugsensorik in das Tracking-System einer Meta Quest Pro zu integrieren. So konnte das Tracking-System gleichzeitig die Position des Geräts relativ zum Fahrzeug und die Position des fahrenden Fahrzeugs relativ zur Welt berechnen. Somit ließen sich virtuelle Objekte exakt verankern und überzeugende VR- und MR-Erlebnisse während der Fahrt demonstrieren.

„Unser Forschungsprototyp zeigt, dass wir unterhaltsame und komfortable Fahrgast-Erlebnisse ermöglichen können, die im Auto selbst verankert sind – darunter VR- und MR-Spiele, Unterhaltungsangebote oder Produktivitätsanwendungen. Die Technologie hat das Potenzial, die Art und Weise zu verändern, wie wir auf Reisen sicher mit unserer Umwelt interagieren können. Während wir auf dem Weg zu AR-Brillen immer mehr zuverlässige Inhalte entwickeln, hoffen wir, dass es für Passagiere in Zukunft möglich sein wird, Dinge wie zum Beispiel Markierungen für Wahrzeichen, Restaurants oder Sehenswürdigkeiten zu sehen.“

Richard Newcombe, Leiter für Forschung und Wissenschaft bei Meta Reality Labs

XR während der Fahrt in sechs Freiheitsgraden

Durch die Kombination der vom Fahrzeug generierten Bewegungsdaten mit den Sensorfunktionen des XR-Headsets lässt sich die Fahrzeugbewegung im Wesentlichen subtrahieren. Die Bewegung des Headsets lässt sich in einem Fahrzeug somit genauer verfolgen. Das ermöglicht wiederum die Darstellung von Inhalten, die mit der Bewegung des Fahrzeugs in Echtzeit synchronisiert sind – sowohl innerhalb als auch außerhalb des Fahrzeugs bei hohen Geschwindigkeiten und unabhängig davon, ob sich das Fahrzeug auf einer flachen, geraden Straße oder auf einer unebenen Straße mit scharfen Kurven bewegt.

Der gemeinsam entwickelte Prototyp demonstriert XR während der Fahrt in den sechs Freiheitsgraden (bezieht sich auf die Bewegungsfreiheit eines starren Körpers im dreidimensionalen Raum). Er berechnet gleichzeitig die Position des Headsets relativ zum Fahrzeug und die Position des fahrenden Fahrzeugs in Bezug auf die Umgebung durch die Integration der Fahrzeugsensorik.

Bild oben: BMW Group und Meta Reality Labs stellen gemeinsame Forschung zur Vernetzung von XR-Geräten mit digitalem Fahrzeug-Ökosystem vor. Bild: BMW Group

Projektinformationen: https://tech.facebook.com/reality-labs/2023/5/meta-bmw-quest-pro-project-aria-news/

Weitere Informationen: https://www.bmwgroup.com/de.html und https://about.meta.com/de/realitylabs/

Erfahren Sie hier mehr über den Einsatz von VR-Anwendungen als Standardtools im Automobildesign.

Lesen Sie auch: "Maintenance: Wie die Fernwartung von Augmented-Reality-Brillen profitiert"