Entwicklung einer Mixed-Reality-Testumgebung für UX- und Cockpit-Konzepte

Software-defined Vehicles (SDV) gelten als die Zukunft der Automobilindustrie. Dabei wird die Software nicht mehr für die Fahrzeuge entwickelt, sondern umgekehrt definiert die Software als Basis den Entwicklungsprozess neuer Fahrzeuge. Ob Fahrzeugsteuerung, Diagnose, Sicherheitssysteme oder Media und Entertainment - ohne hochspezialisierte Software kommt schon heute kein neues Fahrzeug mehr aus. Erfordert bereits das assistierte und teilautomatisierte Fahren komplexe Software und ausgefeilte Bedien- und Warnkonzepte, so müssen diese spätestens beim vollautomatisierten und autonomen Fahren völlig neu gedacht werden.

Die Entwicklung neuer Bedien- und Cockpitumgebungen samt Software ist jedoch kostspielig. Irgendwann muss jedes Projekt, das sich mit diesem Thema beschäftigt, den Realitätscheck bestehen. Die Herstellung der dafür notwendigen Demonstratoren und Prototypen ist mit einem hohen Zeit- und Kostenaufwand verbunden. Die Automobilindustrie sucht daher nach Alternativen, um diesen Prozess effizienter zu gestalten.

In der Automobilindustrie ist der Einsatz von Virtual Reality in verschiedenen Anwendungsszenarien schon fast ein alter Hut. Auch virtuelle Cockpits zur visuellen Exploration werden bereits vielfach produktiv eingesetzt.

Die BMW AG unterhält mit den BETA-Labs eine fahrzeugnahe Forschungsabteilung, deren Aufgabe es ist, Anwendungsszenarien für neue Technologien zu identifizieren, zu entwickeln und zu erproben. Das Team der BETA-Labs hat sich der Herausforderung gestellt, UX- und Cockpit-Konzepte für Entwicklungszwecke in virtuelle Umgebungen zu übertragen. Im Gegensatz zu rein visuellen Erlebnissen sollen Designerinnen und Designer sowie Software-Ingenieurinnen und -Ingenieure ihre Konzepte in jeder Entwicklungsphase testen können. Sie sollen dabei visuell und haptisch das gleiche Nutzererlebnis haben wie in einem realen Cockpit. Ziel ist es, den Anteil teurer physischer Prototypen in frühen Entwicklungsphasen zu minimieren und damit die Effizienz in der fahrzeugnahen Softwareentwicklung deutlich zu steigern.

Unterstützt wurde das BETA-Labs-Team der BMW Group von den Softwareentwicklungsexpertinnen und -experten des IT-Dienstleisters adesso, mit dem bereits in der Vergangenheit eine gute und partnerschaftliche Zusammenarbeit bestand. Auch Studierende des Studiengangs Software Engineering der TU München unterstützten das Projekt im Rahmen ihres „iPraktikums“.

Aufgabe des Teams war es, auf Basis des Headsets Apple Vision Pro und des Betriebssystems Apple visionOS ein virtuelles Cockpit zu entwickeln, das die Integration externer Bedienelemente in die Simulation und ein haptisches Feedback ermöglicht. Dabei sollten die besonderen Vorteile des relativ neuen Ökosystems gegenüber herkömmlichen Setups mit Lösungen wie Meta Quest Pro genutzt werden. Dazu gehören unter anderem eine bessere Bildqualität sowie ein erstmals verfügbares Image- und Object Tracking.

Die Arbeit am Konzept und die Umsetzung in eine Anwendung fanden abwechselnd in den BETA-Labs der BMW AG, in den Vision Pro Developer Labs von Apple und in den Räumen der Technischen Universität München sowie bei adesso in München statt.

In nur drei Monaten entwickelten die Studierenden gemeinsam mit dem Team der BETA-Labs und adesso die Plattform „BMW Virtual Cockpit". Sie umfasst neben der Apple visionOS App einen vollwertigen physischen Fahrsimulator, der das haptische Nutzererlebnis von Lenkrad und Zentraldisplay in die virtuelle Welt transportiert. Er erlaubt die flexible Konfiguration von Lenkrad und Pedalen mit einem Zentraldisplay - in der realen Welt durch ein Touchdisplay repräsentiert - und einer Smartphone-Halterung, um unterschiedliche UX-Konzepte abbilden zu können.

Durch Tracking des Benutzers und der am Arbeitsplatz positionierten Objekte werden die physischen Objekte durch virtuelle Repräsentanten präzise in die 3D-Umgebung integriert. Lenkbewegungen, Pedalbetätigungen, Steuereingaben am Display oder Smartphone werden wie in einem Mixed-Reality-Setting nicht nur visuell, sondern auch funktional auf die virtuellen Pendants übertragen.

Die besondere Herausforderung für das Team: Die Anwendungen des Central Information Display (CID) und des Smartphones sollten parallel auch in der Simulation an den richtigen Stellen erscheinen. Im Rahmen des Projekts entwickelten die Studierenden daher nicht nur die Hauptapplikation für Apple Vision Pro, sondern auch begleitende Applikationen für iOS und macOS. Mit diesen werden die Bildschirminhalte der externen Geräte per Low-Latency-Video-Streaming in die virtuelle Umgebung der Apple Vision Pro projiziert. Ein zusätzlich entwickeltes Python-Skript für Windows stellt der Vision Pro die Lenkrad- und Pedaldaten zur Verfügung.

Mit dem „BMW Virtual Cockpit“ wurde die Grundlage dafür geschaffen, dass Designerinnen und Designer sowie Ingenieurinnen und Ingenieure während der Entwicklungsphase jederzeit die Möglichkeit haben, den aktuellen Stand der Infotainmentsoftware wie an realen Prototypen zu testen. Dadurch sparen sie nicht nur Kosten und Zeit, sondern gewinnen auch ein Vielfaches an Flexibilität im Hinblick auf agile Softwareentwicklungsprozesse.

In der virtuellen Darstellung können unter anderem folgende Fragen geklärt werden:

• Wie wirkt der aktuelle Stand des UX- und Cockpit-Konzepts auf den Fahrer?
• Ist das Bedienkonzept schlüssig?
• Hat der Fahrende alles im Blick?
• Geben die Anzeigen und Bedienelemente ausreichend Rückmeldung?
• Wird der Fahrende durch das Cockpit- und Bedienkonzept ungewollt abgelenkt?

Mit dem Projekt ist es dem gemeinsamen Team von BMW BETA-Labs, adesso und den Studierenden auch gelungen, eine Testumgebung zu schaffen, die für die Zukunft gerüstet ist. So können in der virtuellen Umgebung nicht nur Nutzungsszenarien und Bedienkonzepte von heute und morgen erprobt werden. Es können auch Varianten simuliert werden, die der zunehmenden Verbreitung von autonomen Fahrsystemen mit Level 3 und höher Rechnung tragen. Diese erlauben es dem Fahrer beispielsweise, sein Smartphone während der Fahrt in die Hand zu nehmen und zu bedienen.

Eine Weiterentwicklung des ursprünglichen Prototyps präsentierte die BMW Group auf der CES in Las Vegas 2025 im Rahmen der Weltpremiere des BMW Panoramic iDrive. Hier konnten die Besucher einen ersten Eindruck des neuen Bediensystems in Mixed Reality gewinnen.