Per Geste, Blick und Stimme: Augmented Reality unterstützt Wartung von Flugzeugen

Anbieter zum Thema

MPDV Mikrolab GmbH

CADFEM Germany GmbH

Virtuelle 3D-Anleitungen, die mithilfe von AR-Datenbrillen eingeblendet werden und das Sichtfeld des Benutzers überlagern, könnten diese Probleme beheben und langfristig die zweidimensionalen Wartungsvorschriften ersetzen.

• Die Wartung moderner Flugzeuge ist komplex. Der Einsatz von AR-Datenbrillen in Kombination mit 3D-Informationsvisualisierungen soll Fluggerätemechanikern die Reparatur und Instandhaltung jedoch künftig erleichtern.

• Die virtuellen Anleitungen, Displays und technischen Ausstattungen lassen sich somit per Gesten-, Blick- und Sprachsteuerung bedienen.

• Forschende am Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie FKIE haben für den Airbus A400M Konzepte und Lösungsansätze für die Wartung mithilfe von Augmented-Reality-Systemen entwickelt.

Moderne Transportflugzeuge sind mit unzähligen mechanischen und elektronischen Geräten und Komponenten ausgestattet. Allein die Triebwerke moderner Transportflugzeuge wie des Airbus A400M umfassen mehr als 10'000 Einzelteile. Entsprechend anspruchsvoll sind die Wartung und Instandhaltung der Flugzeuge. Bedienungsanleitungen in Papierform unterstützen Fluggerätemechaniker bislang bei ihrer anspruchsvollen Aufgabe. Doch die Handhabung dieser systematisch aufgebauten Vorschriften kann sehr umständlich sein – vor allem dann, wenn man mehrere Handbücher parallel zurate ziehen muss.

Wie AR Fluggerätemechaniker bei der Wartung unterstützen kann: Zwei Anwendungsfälle

In beengten Umgebungen wie dem Cockpit geht das Jonglieren mit Dokumenten mit Platzproblemen und fehlender Übersichtlichkeit einher. Zumal sind die zweidimensionalen Abbildungen zu komplexen Montageaufgaben nicht immer selbsterklärend und können missverständlich sein, was im schlimmsten Fall zu Wartungsfehlern führt. Virtuelle 3D-Anleitungen, die mithilfe von AR-Datenbrillen eingeblendet werden und das Sichtfeld des Benutzers überlagern, könnten diese Probleme beheben und langfristig die zweidimensionalen Wartungsvorschriften ersetzen. Wie Augmented Reality Fluggerätemechaniker bei der Wartung unterstützen kann, haben Forschende der Abteilung »Mensch-Maschine-Systeme« (siehe Kasten) am Fraunhofer FKIE im Projekt »Ariel« am Beispiel der beiden Anwendungsfälle »Installation einer Bildschirmeinheit im Cockpit« und »Wartung einer Batterie in der Werkstatt« untersucht.

Geprüft wurden die prototypischen Konzepte für den Airbus A400M mit den AR-Brillen Microsoft HoloLens 2 und Epson Moverio BT-300. Der Fokus lag auf der Gestaltung geeigneter 3D-Informationsvisualisierungen und Interaktionstechniken. Dazu gehören Gesten-, Blick- und Sprachsteuerung. An den Tests, die die Aspekte Usability, User Experience und Komfort berücksichtigten, waren fünf Fluggerätemechaniker beteiligt. Das Vorhaben wurde vom Bundesamt für Ausrüstung, Informationstechnik und Nutzung der Bundeswehr gefördert.

Individuelles Bedienkonzept für jede Augmented Reality-Datenbrille

»Im Rahmen der Konzepterstellung haben wir unter anderem das Wissen von Domänenexperten berücksichtigt, die Vorgehensweise der Probanden am Arbeitsplatz analysiert, die persönliche Ausrüstung und deren Kompatibilität zu den AR-Datenbrillen überprüft, für jede Brille ein individuelles Bedienkonzept entwickelt und darauf basierend verschiedene Anforderungen in den Kategorien Nutzung, Organisation und Gestaltung abgeleitet«, beschreibt Martin Mundt, Wissenschaftler der Abteilung Mensch-Maschine-Systeme die Vorgehensweise.

Die Konzepte wurden darüber hinaus an die sich deutlich unterscheidenden Anwendungsfälle angepasst: Zum einen an das Cockpit, das ausladende gestische Interaktion behindert und in dem darüber hinaus ein erhöhter Geräuschpegel vorherrscht, der eine mögliche Spracherkennung beeinflusst. Zum anderen wurde ein Konzept für die Werkstattumgebung mit ihrer kontrollierten Beleuchtungssituation erstellt, die sich gut zur automatischen Erkennung von Objekten eignet. »Wir haben die bestehenden Vorschriften erweitert und diese nun in 3D umgesetzt und durch Animationen ergänzt, die direkt am virtuell eingeblendeten Bauteil bestimmte Handlungsschritte veranschaulichen. Das können z. B. die Messung des Widerstands an der Batterie oder spezielle Notationen am Modell des Cockpits sein«, erläutert der Forscher.

Interaktionselemente lassen sich vielseitig bedienen

Das Team setzte auf multimodale Eingabetechniken, die es dem Nutzer ermöglichen, unabhängig von Einschränkungen durch die aktuelle Aufgabe oder bestimmte Umgebungsvariablen zu interagieren. Hierfür hat man verschiedene Interaktionselemente gestaltet, die sich sowohl mithilfe des Blicks als auch mit Gesten bedienen ließen. Zur Vermeidung ungewollter Eingaben bei Nutzung der Blicksteuerung wurden verschiedene Herangehensweisen abgewogen. Umgesetzt wurde schließlich die Eingabe durch kurzes Verweilen des Blicks auf dem Interaktionselement. Dabei füllt sich, ähnlich einem Fortschrittsbalken, ein Indikator, der anzeigt, wie lange der Nutzer noch auf das Element blicken muss, um es auszulösen. Alternativ kann der Nutzer das Interaktionselement durch Drücken mit ausgestrecktem Zeigefinger aktivieren.

Intuitive Interaktion mit Datenbrille

Die allgemeine Interaktion wurde von den Probanden als intuitiv bewertet. Die Blicksteuerung wurde gelobt und von den meisten Testern gegenüber der Gesten- oder Sprachsteuerung bevorzugt. Die direkte Überlagerung mit relevanten Informationen während der Wartung der Batterie half, bestimmte Bauteile zu identifizieren. Animationen zur zusätzlichen Illustrierung von Montageaufgaben haben die Probanden positiv bewertet. Unsicherheiten traten hingegen bei der Bedienung mittels Gestensteuerung auf. Daher entwickelte das Forscherteam zusätzlich zu den Demonstratoren eine Lernanwendung, die Nutzern mittels entsprechender Animationen grundlegende Gesten und Interaktionstechniken vermittelt.

Einsatz von AR in der Wartung: Auch andere Branchen könnten profitieren

Im nächsten Schritt sollen sich Dokumentation und Notizen über den Arbeits- bzw. Ergebnisstand festhalten und digitalisieren lassen. Darüber hinaus sollen Experten hinzugeschaltet werden können. »Hierbei wollen wir Aufgaben der Fernwartung adressieren, bei denen vor allem die Interaktion zwischen den Teilnehmern im Fokus steht«, so Mundt.

Neben den analysierten Anwendungsfällen wollen die Forschenden weitere Einsatzgebiete betrachten. Denn auch andere Branchen könnten von dem Einsatz von Augmented Reality bei Wartung und Reparatur profitieren können. So ließe sich der Fachkräftemangel im Energiesektor in Ansätzen kompensieren. Zum Beispiel könnte AR weniger erfahrene Techniker beim Einbau von Wärmepumpen unterstützen, da die dreidimensionalen Schritt-für-Schritt-Anleitungen auch Einsteiger sicher durch die Wartungsaufgaben führen.

Weitere Informationen: https://www.fkie.fraunhofer.de/

Erfahren Sie hier mehr darüber, wie die Fernwartung von Augmented-Reality-Brillen profitiert.

Lesen Sie auch: "Fernservice-Konzept: Augmented Reality trifft industrielle Services"