Augmented Reality in der Luftfahrt

Aus Winfwiki

Name der Autoren:	Sven Eumann, Andreas Röder, Christoph Schicktanz
Titel der Arbeit:	"Augmented Reality in der Luftfahrt"
Hochschule und Studienort:	FOM Essen

Inhaltsverzeichnis 1 Einleitung 2 Begrifsabgrenzung 2.1 Augmented Reality 2.2 Luftfahrt 2.2.1 Zivile Luftfahrt 2.2.2 Militärische Luftfahrt 3 Technik 3.1 Optische oder videogestützte Umsetzung 3.2 Herausforderungen 3.2.1 Optische Probleme 3.2.2 Mobilität und Portabilität 3.2.3 Registrierung 3.2.4 Tracking 4 Anwendungsgebiete 4.1 Flugführungsinformationsysteme 4.2 Augmented Reality Unterstützung für Tower 4.3 Unbemannte Luftfahrt 5 Zusammenfassung 6 Ausblick 7 Anhang 7.1 Abkürzungsverzeichnis 7.2 Abbildungsverzeichnis 7.3 Fußnoten 7.4 Literatur- und Quellenverzeichnis

1 Einleitung

"Zunächst werden die Geräte 'intelligenter', mit denen wir kommunizieren, im zweiten Schritt die Netze, in denen wir kommunizieren, und schliesslich wird sich die Realität selbst verändern"^[1]

In dem, im Jahr 2002 in der c't erschienenen, Artikel "Der große Kommunikator" von Gundolf S. Freyermuth, welcher sich mit den Trends und dem Kommunikationsverhalten im 21. Jahrhundert befasste, wurde genau diese Veränderung der Realität als einer von drei Schritten ins 21. Jahrhundert beschrieben. Diese Veränderung der Realität oder im ersten Schritt, die Anreicherung der Realität durch Metainformationen, allgemein bekannt unter dem Titel Augmented Reality (AR) beschäftigt die Informationstechnologie nicht erst seit Beginn des 21. Jahrhunderts. Doch erst durch die stetige Weiterentwicklung der Computertechnologie sind einige Einsatzmöglichkeiten von Augmented Reality Anwendungen erst möglich geworden. Ende der 1990er wurde durch das Bundesministerium für Bildung und Forschung (BMBF) ein Forschungsvorhaben mit dem Titel Augmented Reality for Development, Production and Services (Arvika) ins Leben gerufen. Durch die Einbindung von 18 Partner, hierunter namhafte Unternhmen der Industrie, sowie einiger Forschungsinstitute, wurde das damale größte Augmented Reality Projekt aufgesetzt. Aus diesem Projekt heraus wurden u.a. zahlreiche mobile AR-System Prototypen entwickelt, insbesondere auch für die Automobil- und Flugzeugindustrie. Das BMBF zählt AR zu den sechse Schlüsseltechnologien der Wissensgesellschaft.^[2]

Die konstante Steigerung des Luftverkehrsaufkommens in den vergangenen Jahrzehnten macht pilotenunterstützende Maßnahmen zur Flugführung quasi erforderlich. Um einen reibungslosen und sicheren Flugverkehr zu gewährleisten, bieten sich einige AR-Anwendungen an, da unter anderem im Cockpit kein besonderes Augenmerk auf die uneiengeschränkte Beweglichkeit der Piloten sichergestellt sein muss. Im Rahmen dieser Arbeit soll erörtert werden, welche AR-Anwedungsgebiete in der Luftfahrt eingesetzbar sind, welche AR-Anwendungsgebiete bereits die Realität verändern bzw. erweitern und welche Prototypen sich in der Entwicklung befinden.^[3]

Diese Arbeit lässt sich grundsätzlich in zwei Bereiche unterteilen. Zum einen wird in Kapitel 3 aufgezeigt, durch welche Techniken eine Anreicherung der Realität überhaupt erreicht werden kann. Aufbauend hierauf werden, in Kapitel 4, die potenziellen Anwendungsgebiete im Bereich der Luftfahrt vorgestellt. Kapitel 5 fasst die im Rahmen dieser Arbeit gewonnen Erkenntnisse zusammen und in Kapitel 6 wird ein kurzer Ausblick zur weiteren Entwicklung von AR-Anwendungen gegeben.

2 Begrifsabgrenzung

2.1 Augmented Reality

Unter Augmented Reality (AR) oder AR-Anwendungen wird allgemein die computergestützte Erweiterung der Realität mit Metainformationen verstanden. Durch sog. Augmented Reality Systeme (ARS) werden dem Blickfeld des Anwenders durch verschiedene Techniken^[4] optische Informationen hinzugefügt. Diese in Echtzeit generierten Informationen überlagern ganz oder teilweise die reale Welt. Bereits die Nutzung einer monitorbasierten Einparkhilfe im PKW stellt eine AR-Anwendung dar, hierbei wird dem Anwender mittels einfacher Objekte visuell dargestellt, wieviel Platz noch zum rangieren verbleibt.^[5]

Zur Augmented Reality muss die Thematik Virtual Reality (VR) abgegrenzt werden. Durch VR Anwendungen wird keine Anreicherung oder Erweiterung der Realität vorgenommen, VR Anwendungen bezeichnen die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit in einer in Echtzeit computergenerierten Umgebung. Weiterhin können in dieser interaktiven virtuellen Umgebung physikalische Eigenschaften simuliert werden.^[6]

2.2 Luftfahrt

Als Luftfahrt^[7] bezeichnet man Reisen und Gütertransport durch die Erdatmosphäre.

2.2.1 Zivile Luftfahrt

Unter ziviler Luftfahrt versteht man zum einen alle kommerziellen Passagier- und Frachttransporte, als auch die Verkehrs- und Wetterüberwachung, zum anderen lässt sich noch nach allgemeiner nicht kommerzieller Luftfahrt unterscheiden. Die allgemeine Luftfahrt umfasst jeden zivilen Luftverkehr mit Ausnahme des Linien- und Charterverkehrs durch die Fluggesellschaften, hierunter fällt auch der Luftsport.

2.2.2 Militärische Luftfahrt

Militärische Luftfahrt umfasst den Einsatz von Luftfahrzeugen für offensive, defensive und unterstützende Luftkriegsoperationen. Viele der in der zivilen Luftfahrt eingesetzten AR-Anwendungen sind Entwicklungen des Militärs.

3 Technik

Die heutigen Bereiche der Augmentated Reality beschäftigt sich mit der visuellen Anreicherung der Umgebung. Man ist darauf bedacht das menschliche Sehen der realen Welt durch Objekte der virtuellen zu erweitern. Dies wird meistens durch Helme, sog. Head Mounted Devices (HMDs) erreicht. Bei HMDs sind zwei grundsätzliche Konzepte der Umsetzung zu unterscheiden: Optisch oder videogestützt.^[8]

3.1 Optische oder videogestützte Umsetzung

Optische Systeme

Das Konzept der optischen Umsetzung wird in sog. "Durchblick HMDs" angewand. Hier wird ein optischer Kombinierer vor dem Auge des Anwenders positioniert. Der optische Kombinierer hat die Eigenschaft eines transparenten Monitors und bietet damit die Möglichkeit dem Anwender die reelle Umgebung zu zeigen und diese Sicht mit virtuellen Objekten anzureichern. Durch diesen transparenten Monitor sieht man die Welt wie durch eine Sonnenbrille. Die Einblendung virtueller Objekte wird durch die Reduktion der Lichtstärke erreicht. In dieser Reduktion liegt auch gleichzeitig ein Problem bei optischen Kombinierern, da beispielsweise in der Dämmerung reelle Objekte evtl. nicht mehr erkannt werden können.^[9] Ein Lösungsansatz wäre die Transparenz der "Durchblick HMDs" dynamisch anzupassen.

Videogestützte Systeme

Videogestützte Systeme sind in "closed-view HMDs" zu finden. Diese Art der HMDs ersetzen die Sicht des Anwenders durch ein Videobild. Dieses Videobild wird von einer oder zwei Kameras, die am HMD befestigt sind, und einem Szenengenerator generiert. Das Videobild zeigt die reellen Objekte und wird durch die gewünschten virtuellen Objekte erweitert. Dieses Videobild wird dem Anwender auf einem Display des HMDs angezeigt. Bei der Videobildgenerierung mit den virtuellen Objekten werden 2 Verfahren unterschieden^[10]:

1. Chroma Keying: Hierbei wird der Hintergrund, der nicht von virtuellen Objekten genutzt wird, mit einer bestimmten Farbe (bspw. Blau) gefüllt. Danach wird dieser Hintergrund durch das Videobild, welches die Kameras liefern ersetzt. Dieses Verfahren ist aus Film und Fernsehen als Blue Screen bekannt.
2. Nutzen von Bildtiefeninformationen: Wenn die Tiefeninformationen pro Pixel eines Bildes vorliegen, kann die Zusammenführung der reellen und virtuellen Objekte durch den Vergleich dieser Pixelinformationen realisiert werden, welches ein harmonischeres Bild zur Folge hat.

Beide Systeme haben ihre Vorzüge. Betrachten wir nun die Vorteile der optischen Ansätze^[11]:

1. Einfachheit: Durch den Wegfall der Videokomposition ist die optische Umsetzung einfacher und dadurch billiger. Optische HMDs müssen sich nur um die Generierung und Positionierung der virtuellen Objekte kümmern. Das gesamte Bild aus reellen und virtuellen Objekten baut das Auge des Betrachters zusammen.
2. Auflösung: Das Bild der reellen Umgebung wird nicht durch die Monitorauflösung verringert. Lediglich die eingeblendeten Objekte müssen sich an der Auflösung des Monitors orientieren.
3. Sicherheit: Da videogestützte Systeme die Sicht des Benutzers ersetzen, kann es bspw. durch einen Stromausfall passieren, dass der Benutzer nichts mehr sieht. Optische Systeme haben dieses Problem nicht, da im Falle eines Stromausfalles lediglich die virtuellen Objekte ausfallen würden.
4. Kein Augen-Offset: Nicht optische Systeme arbeiten mit Kameras. Meistens können diese Kameras nicht direkt vor dem Auge des Benutzers platziert werden, wodurch ein Versatz zwischem den "sehenden Empfinden" und dem Videobild entsteht. Diesen Versatz kannn technisch entgegengewirkt werden, bspw. durch Spiegel, doch ist dies sehr aufwendig. Optische Systeme haben dieses Problem nicht, da der Benutzer immer die reelle Umgebung selber sieht.

Natürlich gibt es auch Vorteile auf Seiten der Videosysteme^[12]:

1. Höhere Flexibiltät: Ein Problem bei optischen Systemen ist, dass reelle Objekte immer durchschimmern, da das Licht der virtuellen und reellen Objekte das Auge des Benutzers erreicht. Diesem Problem kann bei videogestützten System entgegengewirkt werden, da das reelle und virtuelle Bild digital vorliegt und somit der Szenengenerator viel mehr Möglichkeiten der Ein- bzw. Ausblendung besitzt. Dadurch ergibt sich für den Anwender ein besseres Seherlebnis.
2. Bessere Weitsicht: Durch die Bildaufbereitung können nahe und ferne Objekte geschärft dargestellt werden. Bei optischen Systemen kann dies nur durch komplexe Optiken erreicht werden.
3. Zeitverhalten zwischen reellen und virtuellen Objekten: Durch die komplette Bildaufbereitung entsteht bei Videosystemen kein Timing-Problem zwischen den virtuellen und reellen Objekten
4. Erweiterte Registrierungsmöglichkeiten: Optische Systeme nutzen zur Positionsbestimmung und damit zur Positionierung der virtuellen Einblendungen lediglich den Headtracker. Videosysteme besitzen jedoch die Möglichkeit die Daten der digitalisierten Objekte ebenfalls zur Positionsbestimmung heranzuziehen.

Monitorbasierte Systeme

Diese Art der Augemented Reality Systeme ist eigentlich ein stationäres videobasiertes HMD. Es gibt kein Display, welches der Anwender trägt. Stattdessen sitzt er vor einem Monitor und bekommt wie beim Videosystem das fertig verarbeitete Bild. Optional kann dieses System mit einer 3D Sicht mittels Brille ausgestattet werden. Anwendung findet dieses Konzept vorwiegend bei medizinschen Anwendungen. Nachteilig an dieser Art der Visualisierung ist, dass sich die Illusion nicht so richtig einstellen möchte, was ja den Reiz einer solchen Anwednung ausmacht. Des Weiteren bietet sich diese Anwendung nur für stationäre Einsätze an.^[13]

3.2 Herausforderungen

3.2.1 Optische Probleme

Egal ob ein videounterstütztes oder optisches System benutzt wird, beide haben auf die eine oder andere Weise mit dem Problem des Fokus zu kämpfen. Normalerweise werden bei Videosystemen alle Objekte des Bildes im Fokus angezeigt. Dies ist in der Welt der Augmented Reality nicht empfehlenswert. Alle Objekte, seien es Reale oder Virtuelle, sollten in Abhängigkeit der Distanz des Betrachters scharf oder unscharf dargestellt werden. Optische Systeme haben noch ein anderes Problem. Die Einstellung des Fokus der realen Objekte übernimmt das menschliche Auge. Die eingeblendeten Objekte werden mittels Fixfokus auf dem HMD dargestellt. Dies kann dazu führen, dass die engeblendeten Objekte scharf dargestellt werden, die Umgebung aber aufgrund der Distanz zum Betrachter unscharf aussieht.^[14]

Doch nicht nur der Fokus ist ein optisches Problem, sondern auch der Kontrast. Wünschenswert für Augmented Reality Systeme wäre, wenn die Helligkeit der virtuellen und realen Objekte übereinstimmen würden, um ein harmonisches Bild zu bekommen. Für beide Systemtypen ergeben sich hierdurch unterschiedliche Schwierigkeiten. Weil der Anwender bei optischen Systemen die reale Welt direkt durch ein transparentes Display sieht, passiert es, dass wenn die Umgebung zu hell ist, die virtuellen Elemente einfach "überstrahlt" werden. Diesem Problem kann mit einer dynamischen Kontrastanpassung begegnet werden. Videogestützte Systeme haben dieses Problem nicht, da hier beide Quellen digitalisiert und erst dann dargestellt werden. Bei diesen Systemen liegt die Herausforderung in der Darstellung eines möglichst großen Kontrastumfanges. Doch diese Möglichkeiten, die Fähigkeit der heutigen Displays, hohe Kontrastspannen darstellen zu können, sind beschränkt.^[15]

3.2.2 Mobilität und Portabilität

Augmented Reality Systeme entfalten ihr komplettes Potential nur wenn der Anwender möglichst frei in seiner Beweglichkeit ist. Dies bedeutet für Systeme wie HMDs, dass sie nicht zu schwer sein sollten. Um eine gute Beweglichkeit gewährleisten zu können, sollten die eingesetzten Komponenten so klein wie möglich sein. Mit fortschreitender Miniaturisierung digitaler und optischer Bauelemente nimmt dieses Problem stetig ab.^[16]

3.2.3 Registrierung

Unter "Registrierung" im Zusammenhang mit Augmented Reality ist gemeint, dass das System erkennen kann, welche realen Objekte von Virtuellen überblendet werden sollen. Hier liegt auch die größte Herausforderung für Augmented Reality Systeme. Der Anwender bekommt nur das Gefühl, dass beide Welten miteinander "verschmelzen", wenn die eingeblendeten Objekte richtig und genau positioniert werden. In medizinischen Anwendungen ist die genaue Positionierung der virtuellen Objekte nicht nur wünschenwert, sondern zwingende Voraussetzung für deren Einsatz.^[17]

Die größte Schwierigkeit der Registrierung liegt darin, dass Augmented Reality Anwendungen interaktive Systeme sind, die keinem festen Schema folgen, sondern das verarbeiten müssen, was der Anwender dem System präsentiert. Dies bedeutet, dass die Registrierung der zu ersetzenden realen Objekte innerhalb kürzester Zeit erfolgen muss (im Bereich von Millisekunden).

Hierdurch ergeben sich nach Azuma zwei Arten von Fehlerquellen^[18]:

1. Statische Fehler: Diese Registrierungsfehler treten bei statischen Bildern, also bei Regungslosigkeit auf.
2. Dynamische Fehler: Registrierungsfehler dieser Art treten auf, wenn Bewegungsabläufe abgearbeitet werden.

Für statische Fehler gibt es vier Hauptquellen^[19]:

1. Optische Verzerrungen: Unter einer Verzerrung versteht man Abbildungsfehler. Zu diesem Fehler kommt es, wenn der Abbildungsmaßstab geändert wird und sich somit der Abstand des Bildpunkts zur optischen Achse vergrößert. Dadurch entsteht der Eindruck, dass eine horizontale Linie gewölbt ist. Dieses Problem kann aber kompensiert werden.
2. Tracking Fehler: Das Tracking System versorgt das Augmented Reality System mit den notwendigen Positionsdaten. Wenn das Tracking System falsche Daten liefert bspw. durch Signal- oder Übertragungstörungen, kann es zu Darstellungsproblemen kommen. Leider lassen sich diese Art der Darstellungsprobleme nicht einfach lösen, da sie nicht systematisch sind.
3. Fehlerhafte mechanische Ausrichtung: Hiermit sind Probleme in der mechanischen Konstruktion gemeint, die dadurch entstehen dass bspw. aufgrund der Herstellungsprozesse das Produkt von den Spezifikation des Models abweicht. Gerade bei den optischen Bauteilen tritt dieses Problem häufiger auf. Dem kann mit Neukalibrierung entgegengewirkt werden.
4. Falsche Umgebungsparameter: Diese Art der statischen Registrierungsfehler ist ebenfalls eine Kalibrierungsproblematik. Eine schlechte Kalibrierung z. B. des vertikalen Offsets zwischen Auge und Kamera kann dazu führen, dass virtuelle Objekte höher bzw. tiefer erscheinen als sie sollten.

Festzuhalten bleibt, dass sich die meisten statischen Fehlerquellen durch Nachjustierung der Kalibrierung beheben lassen.

Dynamische Fehler treten nur bei Bewegung auf. Sie sind systematisch und treten aufgrund von Laufzeitproblemen zwischen den beteiligten Komponenten auf. Da jede Komponete eines Augmented Reality Systems Zeit benötigt, um auf die Bewegung des Benutzers zu reagieren und um die neuen Informationen zu sammeln und zu verarbeiten, kommt es zu Verzögerungen zwischen Eingangssignal und dem bearbeiteten Bild. Sie führen dazu, dass die eingeblendeten Objekte später an der gewünschten Position erscheinen, als sie sollten. Es tritt dabei ein Art "Schwimm"-Effekt bei den virtuellen Objekten auf. Dies bedeutet, dass sich bei einer gegebenen Verzögerung von 100ms und einer Bewegung von 50 Grad pro Sekunde eine Abweichung von 5 Grad für die eingeblendeten Objekte ergibt^[20]. Durch folgendes Vorgehen lassen sich dynamische Fehler minimieren^[21]:

1. Reduzierung der Verzögerungen: Falls das System keine Verarbeitungsverzögerung aufweisen würde, gäbe es auch keine dynamische Registrierungsprobleme mehr. Dies ist jedoch leichter gesagt als getan. Bei einer Kopfbewegung mit 50 Grad pro Sekunde dürfte die Systemverzögerung bei nur 10 ms liegen. Leider braucht ein Display im 60Hz Betrieb schon 16,67 ms pro Frame.
2. Minimierung des "Schwimm-Effektes": Die Reduzierung dieses Effektes wird durch einen Trick in der Bildaufbereitung erreicht. Der Szenengenerator verarbeitet einen größeren Bildausschnit, als für das Display notwendig wäre. Kurz bevor das fertige Bild zum Display weitergereicht wird, werden nochmals die Positionsdaten abgefragt und der Bildausschnitt entsprechend angepasst.
3. Anpassen von Verarbeitungsverzögerungen: Videosysteme haben mit dem Problem zu kämpfen, dass es durch die Verarbeitung und Digitalisierung der realen Welt zu Zeitverzögerungen kommen kann. Für dynamische Fehler ist dieses Verhalten vorteilhaft, da durch den Einsatz eines Timers, der diese Verzögerungen auffängt und ausgleicht, gleichzeitig auch die dynamischen Fehler beseitigt werden.
4. Vohersagen: Bewegungen sind meistens gleichmäßig und fließend. Da Tracking laufend geschieht bedeutet dies, dass Trends von Bewegungen erkennbar sind. Wenn man sich diese Vorhersagen für die Szenengenerierung zu nutze macht, kann dies helfen dynamische Fehler zu vermeiden. Zur Positionierung der künstlichen Elemente werden dazu die Daten aus den Vohersagen verwendet.

3.2.4 Tracking

Unter Tracking versteht man das Sammeln von Umgebungsinformationen wie Position und Orientierung des Anwenders. Zu beachten bei der Auswahl von Trackingsystemen sind die technischen und nichtfunktionalen Eigenschaften wie^[22]:

• Präzision
• Reichweite
• Störanfälligkeit
• Trägheit
• Drift
• Gewicht
• Energieverbrauch
• Kosten

Doch nicht nur die allgemeinen Eigenschaften spielen eine Rolle. Es gibt verschiedene Konzepte für Tracking Hardware.

1. Elektromagnetisches Tracking: Diese Art des Trackings macht sich das sogenannte Tagging zu eigen. Dabei werden die gewünschten Objekte mit elektromagnetischen Tags versehen. Die Tags bilden ein elektromagnetisches Feld, welches vom Tracker ausgewertet werden kann. Vorteil dieses Konzeptes ist seine Genauigkeit der Positionsbestimmung, die sich im mm-Bereich bewegt. Weiterhin ist diese Trackingmethode unempfindlich gegenüber optischen Einflüssen. Nachteilig ist die örtliche Gebundenheit sowie seine geringe Reichweite von unter 10 m.^[23]
2. Mechanisches Tracking: Dieses Tracking-Konzept ist häufig bei robotergestützten Arbeiten zu finden. Die Positionsbestimmung wird durch die mechanische Verbindung zwischen dem zu trackenden Objekt und einem Referenzpunkt erreicht. Vorteil dieser Konstruktion ist die hohe Präzision der Positions- und Orientierungsbestimmung. Bei nicht koppelbaren Systemen kann diese Art des Trackings nicht eingesetzt werden.^[24]
3. Inertiales Tracking: Hier findet das Prinzip der Trägheitsnavigation Anwendung. Hierbei wird die Beschleunigung in einem orthogonalen System gemessen. Durch eine zweifache Integration über den zurückgelegten Weg in Bezug zur Referenzachse wird die Position bestimmt. Allerdings funktioniert diese Art des Systems erst nach erstmaliger Initialisierung. Vorteilhaft dieser Trackingart ist, dass sie nach der Initialisierung unabhängig von der Außenwelt ist und dies über einen langen Zeitraum. Leider muss das System von Zeit zu Zeit nachjustiert werden, da es mit fortschreitender Zeit anfängt zu "driften".^[25]
4. Laserbasiertes Tracking: Realisiert ist dieses Konzept im LaserBird2 System. Dabei spielen der Emitter und die photooptischen Sensoren die Hauptrolle. Der fest installierte Emitter erzeugt ein pyramidenförmiges hochfrequentes Laserfeld (im Infrarotbereich). Die zu trackenden Objekte müssen in diesem Feld positioniert und weiterhin mit jeweils 3 photooptischen Sensoren versehen sein. Erst dann ist eine Positionsbestimmung möglich. Obwohl diese Art des Trackings eine hohe Genauigkeit aufweist, ist sie für viele Einsatzgebiete zu aufwendig und zu teuer.^[26]
5. Optisches kamerabasiertes Tracking: Diese Variante arbeitet mittels Videokamera und Bildigitalisierung. Zur Ermittelung der gewünschten Objekte im digitaliserten Bild sollte die Position der Kamera bekannt sein. Es existieren zwei Vorgehensweisen zur Ermittlung der Daten. Erstens kann man durch einen Vergleich der Bilderfolge die Rotation/Translation berechnen. Durch Addition dieser Werte bekommt man einen Rückschluß auf die aktuelle Position. Die zweite Variante berechnet für jedes gelieferte Bild die Position komplett neu. Dies hat den Vorteil das kein Drift - Effekt auftritt. Leider reicht bei komplexen Bildanalysen die Rechnenleistung noch nicht aus, um die Ergebnisse verzögerungsfrei zu berechnen. Optische Trackingsysteme arbeiten aus diesem Grund mit Markern.^[27]

Gerade bei den optischen kamerabasierten Tracking Systemen spielen die Marker eine besondere Rolle. Für jegliche Art der Anwendung gibt es verschiendene Umsetzungsmöglichkeiten, sprich Arten von Markern, die zum Einsatz kommen. Grundsätzlich unterscheidet man zwischen natürlichen und künstlichen Markern. Mit natürlichen Markern, auch markerlos genannt, sind Objekte im aufgenommenen Bild gemeint. Und hier liegt auch die Problematik der natürlichen Markern. Heutige markerlose Trackingsysteme haben nicht die Leistung, um eine präzise und schnelle Verarbeitung zu gewährleisten. Dem gegenüber stehen die künstlichen Marker. Wie oben bereits erwähnt, nutzen auch andere Tracking Konzepte Marker. Der Unterschied dort ist, dass man keine andere Wahl hat (bspw. lasergestütztes Tracking benötigt immer photooptische Sensoren). Bei den künstlichen Markern wird weiterhin zwischen Aktiven und Passiven unterschieden. Aktive Marker emittieren eine Art Signal, wie Infrarotlicht durch die sie identifiziert werden können. Zugute kommt dieser Umsetzung, dass sie sich deutlich von der Umgebung abheben und optischen Problemen wie starker Licheinstrahlung und ungünstige Schattenbildung entgegenwirken. Dies kann sich aber auch nachteilig auswirken, da aktive Marker die Umwelt dadurch stören bzw. beeinflussen könnten. Passive Marker versuchen sich dagegen durch ein besonderes Design abzuheben, wie ein 2d-barcodiertes Design (siehe Abbildung 4). Hier tritt leider das umgekehrte Problem auf: Die Störeinflüsse der Umwelt wie starker Licheinfall können die Identifizierung der Marker erschweren.^[28]

4 Anwendungsgebiete

4.1 Flugführungsinformationsysteme

"Highway in the sky"! So lautet der Projekttitel dessen Ziel es ist, den Piloten bei seinem Flug, insbesondere während der Start- und Landephase zu unterstützen. Dies wird durch Einblendung eines Tunnels in den Sichtbereich und die Umgebung des Piloten erreicht. Dieser Tunnel zeigt die optimale Flugroute und hilft dadurch selbst bei schlechten Sichtverhätnissen oder unübersichtlichem Terrain das Flugzeug sicher zu manövrieren. Eine weitere Komponente dieses Systems ist der sogenannte Predictor. Der Predictor veranschaulicht dem Piloten mittels augmentiertem Rechteck wo sich das Flugzeug in 5 Sekunden befinden wird. Der Predictor benutzt dazu die aktuellen Flugdaten, wie Lage und Beschleunigung des Flugzeugs sowie die Steuereingaben des Piloten um seine Vohersage zu treffen. Der Pilot muss nur dafür sorgen, dass das Rechteck des Predictors immer im Tunnel bleibt. Umgesetzt wurde dies mittels eines HMDs, welches ohne einen speziellen Helm genutzt werden kann, weil es in der zivilen Luftfahrt nicht üblich ist, als Pilot einen Helm zu tragen. Als visuelle Umsetzung wurde ein "optisches Durchblick" HMD gewählt, da diese kostengünstig sind und bei Systemausfall den Piloten nicht behindern.

Herausforderungen

Gerade in der Luftfahrt gibt es technische Limitierungen und hohe Sicherheitsvoraussetzungen. Aus diesem Grund gibt es einige Dinge, die beachtet werden müssen, um überhaupt Augmented Reality Systeme im Flugzeug einsetzen zu können^[29].

• Allgemeine Anforderungen: Es ist schon schwer genug einen "Vogel aus Stahl" in die Luft zu bekommen. Aus diesem Grund sollte ein zusätzlich zu installierendes Flugführungssystem nicht zu schwer sein. Weiterhin muss eine Unempfindlichtkeit gegenüber Vibrationen, Luftdruck und Temperatur vorhanden sein. Schon vorhandene Instrumente im Cockpit dürfen in keiner Weise durch den Einbau, Betrieb und entstehender Interferenzen des Systems gestört oder beeinträchtigt werden. Gleiches gilt für den Piloten und dessen normalen Sichtbereich. Marker für das Tracking müssen besonders klein sein, da der Platz in einem Flugzeugcockpit sehr beschränkt ist. Können diese Vorraussetzungen nicht erfüllt werden, muss von dem Einsatz angesehen werden, da es eine Gefahr für Mensch und Maschine darstellen würde.
• Sichtfreiheit des Piloten: Weil die Sicht des Piloten niemals gestört werden darf, wurde sich für ein "Durchblick" HMD entschieden. Diese Art eines HMD würde auch bei Ausfall des Gerätes einen Weiterflug nicht behindern. Ein videogestützter Ansatz kann dies nicht gewährleisten, da sich das Display vor den Augen des Piloten befindet. Die Sichtfreiheit spielt nicht nur bei Ausfall des Systems ein Rolle. Auch bei funktionierendem System darf die Sicht des Piloten auf die Instrumente und die sonstige Umgebung zu keiner Zeit eingeschränkt sein.
• Einsatz von Markern: Wie bereits oben im Artikel erwähnt, bietet markerloses bzw. natürliches Tracking noch nicht die gewünschte Präzision und Geschwindigkeit. Aus diesem Grund können im Flugzeug nur Trackingsysteme eingesetzt werden, die mit künstlichen Markern arbeiten. Nur hier wird die benötigte Schnelligkeit und Genauigkeit geboten. Da das Sichtfeld des Piloten nicht eingeschränkt werden darf und bestehende Instrumente weder verdeckt noch ersetzt werden dürfen, kommen für die Plazierung nur die Bereiche um die Fenster und die Zwischenräume auf der Instrumententafel in Frage. Hinzu kommt, dass die Marker sehr klein sein müssen, da der Platz zwischen den Instrumenten sehr beschränkt ist.
• Fehlertoleranz des Trackings: Nicht alle Instrumente in einem Cockpit sind zu reinen Informationsdarstellung gedacht, sondern auch um Einstellungen vorzunehmen, wie z. B. die Funkfrequenz einzustellen. Wie wir gerade schon festgestellt haben, sind die geeigneten Plätze für die künstlichen Marker die Zwischenräume der Instrumente. Dies bedeutet für das Trackingsystem, dass es unempfindlich auf die Verdeckung der Marker durch Piloten bei gewissen Steuereingaben reagieren muss. Anderenfalls würde der Platz für Tracking weiter minimiert werden und ein fehlerloses Tracking wäre nicht mehr möglich.
• Genauigkeit: Bei dieser Art der Anwendung ist die Winkelgenauigkeit besonders wichtig. Die Winkelgenauigkeit ist deshalb so wichtig, weil sie für die Deckungsgleichheit der virtuellen und realen Objekte verantwortlich ist. Mader veranschaulicht dies mit folgendem Beispiel: "Betrachtet man die Sonne (sehr weit entferntes Objekt) durch ein Dia-Rahmen unter der gleichen Winkelausrichtung (z. B. mit einer Blickrichtung genau nach Süden (180 Grad)), so spielt es keine Rolle ob man sich 100m weit links oder rechts befindet. Dreht man sich jedoch um nur 1 Grad nach links oder rechts, so wandert die Sonne durch den gesamten Dia-Rahmen."^[30] Würde die Winkelgenauigkeit des Trackers nicht stimmen, würde das Flugzeug also schnell von seinem Kurs abkommen.

Zu Gute kommt dieser Anwendung, dass der zu augmentierende Bereich, die zu trackenden Objekte und die zu verarbeitenden Informationen nicht allzu umfangreich sind. Beispielweise ist die Bewegungsfreiheit des Piloten per se eingeschränkt, da eine Pilotenkanzel teilweise sehr eng ist. Weiterhin ist der zu augmentierende Bereich ausschließlich auf den Fensterbereich beschränkt. Damit ergibt sich für ein Fluginformationssystem keine so hohe Verarbeitungsanforderung wie bspw. an mobile Systeme, die von Anwendern getragen werden, die keinerlei Beschränkungen unterworfen sind.

Umsetzung

Aufgrund des frühen Entwicklungsstadiums und natürlich der hohen Sicherheitsstandards in der Luftfahrt wurden Ideen und Konzepte an einem Flugsimulator der TU München umgesetzt. Bei den benötigten Komponenten wurden handelsübliche Bauteile, also keine Spezialanfertigungen verwendet. Da man sich für optisches kamerabasiertes Tracking entschieden hat, wurde eine Kamera benötigt. Die Bilder der Kamera dienen der Positionsbestimmung im Cockpit. Für weitere Daten zur Bestimmung von Lage und Position des Flugzeugs werden entsprechende vorhandene Instrumente mittels einer Datenkarte abgefragt. Die ermittelten Daten werden dann von einem Rechner verarbeitet. Das daraus verarbeitete und gerenderte Bild wird schließlich zum HMD weitergereicht, welches der Pilot dann sehen kann. Um ein effizientes Tracking zu ermöglichen, wurden aktive Marker in Form von Infrarotleuchtdioden ausgewählt. Desweiteren wurde die eingesetzte Kamera mit einem Tageslichtsperrfilter versehen. Durch den Einsatz von aktiven Markern, die im nichtsichbaren Bereich arbeiten, wurde dem Problem Sorge getragen, dass grelles Sonnenlicht oder ungünstiger Schatteneinfall das Tracking behindern könnte. Hierzu wurden die Marker auf LEGO Platten vormontiert und im Testcockpit verteilt.^[31]

Wegen dem kamerabasiertem Tracking musste besonderes Augenmerk auf die Eigenschaften der eingesetzten Kamera gelegt werden. Damit genügend Markerpunkte erfasst werden können, wurde ein Weitwinkelobjektiv mit 4mm Brennweite gewählt. Dadurch ist gewährleistet, dass für einen Schwenkbereich von 150 Grad das gesamte Cockpit mit 4 Vollbildern erfasst wird. Die Brennweite ist ein Kompromiss aus der Anzahl von eingesetzten Markern und der Größe der Bildverzerrung. Mit dieser benutzten Konfiguration werden somit 10-15 Markern pro erfasstem Bereich gebraucht. Wie bereits beschrieben muss nur ein Bereich in Fenstersicht augmentiert werden. Aus diesem Umstand ergibt sich für die Befestigung der Kamera am Helm ein Neigungswinkel von 25 Grad nach unten. Weiterhin wird das optische Tracking durch den Einsatz des Tageslichtsperrfilters und dessen Kalibrierung verbessert. Abbildung 5 zeigt die Vereinfachung durch den Filter deutlich.^[32] Das nächste Glied in der Verarbeitungskette, ist der Rechner, der die Verarbeitung des Bildes mit den Markern übernimmt. Hierbei werden zwei Aufgaben unterschieden:

• Berechnung der Schwerpunkte der einzelnen Markern
• Identifikation der einzelenen Markern

Der Einsatz des Filters hilft deutlich die Marker von der Umgebung zu trennen. Dennoch kann es durch auftretentes Rauschen im Bild zu Problemen kommen. Die Lösung dieses Problems liegt im sogenannten Thresholding. Dabei wird mittels eines Schwellenwertes jeder Pixel des Bildes binärisiert. Liegt ein Pixel oberhalb dieses Schwellenwerts, wird er auf den Wert "weiß (255)" gesetzt. Liegt er unterhalb, wird der Wert auf "schwarz (0)" gesetzt. Die daraus erhaltenen Bildbinärdaten erleichtern die Schwerpunktberechnung der Marker erheblich, da nur noch die Pixel mit dem Wert 255 gefunden werden müssen. Wenn nun genügend Marker gefunden wurden, muss ihre Position und Lage berechnet werden. Im vorliegenden Beispiel wurde sich für Roger Tsai´s Algorithmus entschieden^[33]:. Die folgenden geometrischen Zusammenhänge

1. "Der Strahl vom optischen Zentrum O (Brennpunkt) zum Welkoordinatenpunkt P schneidet die Bildebene in Pu, dem unverzerrten Bildpunkt von P (P undistorted)"^[34]
2. "Da jedoch die Linse dazwischen liegt, verzerrt sich der tatsächliche Bildpunkt radial vom Zentrum der Bildebene Of abhängig vom Abstand zu diesem (Radius Bildmitte - Pu). Dieser die Verzerrung berücksichtigende Punkt wird Pd genannt (p distorted)."^[35]

und das genutzte Lochkameramodell der aktuellen Szene, ermöglichen eine Positions- und Lagebestimmung der Kamera. Mit Hilfe eines karthesischen Koordinatensystems, in dem der registrierte Punkt Pw eingetragen wird, und der Rotation R und Translation T, wird dieser Punkt in ein 3d-Koordinatensystem überführt. Besonderheit dieses Koordinatensystems ist, dass die X- und Y-Achse, die eine Ebene aufspannen, koplanar zur Bildebene liegen. Die Z-Achse des Systems durchstößt die Bildebene in ihrem Mittelpunkt (Cx, Cy) und folglich auch das optische Zentrum. Durch die radiale Linsenverzerrung und deren Anwendung auf den Bildpunkt Pu kann der Punkt Pd ermittelt werden. Durch eine Transformation dieses Punktes können die konkreten Koordinaten ermittelt werden. Dies ist durch die Informationen über die Anzahl der Sensorelemente der Kamera, der Auflösung des Videobildes, anderer Eigenschaften des Gesamtsystems sowie durch die hardwareseitige Zeitverzögerung Sx möglich. Abbildung 6 veranschaulicht dies gut.^[36]

Nun sind schon einige Informationen zur Position und Lage bekannt. Weiterhin muss der Offset zwischen dem Blickpunkt des Piloten und der Postion der Kamera beachtet werden. Dieser Offset ist leider nicht immer konstant, da sich durch wechselnde Piloten und deren unterschiedlichen körperlichen Eigenschaften dieser immer ändert. Deshalb wird vor jedem Einsatz des Systems eine Kalibrierung durchgeführt. Dies geschieht durch den SPAAM-Algorithmus. Hier wird ein ähnlicher Ansatz wie bei der Kalibierung von Touch-Displays verfolgt. Dem Anwender wird eine Markierung eingeblendet, die er durch eine Kopfbewegung zu einem Referenzpunkt bewegen muss. Durch mehrmaliges Wiederholen wird das Gesamtsystem kalibriert und somit an den Anwender angepasst. Die zweite notwendige Kalibierung ist eigentlich eine Synchronisation. Hierbei wird das System mit den aktuellen Positionsdaten des Flugzeugs, sprich mit den Daten der anderen Instrumente abgeglichen.^[37]

Identifikation von Markern

Bis zu diesem Zeitpunkt waren wir nur in der Lage Marker auf dem aktuellen Bild zu finden, aber eine eindeutige Identifikation eines bestimmten Markers war bis jetzt noch nicht möglich. Durch die Wandlung des Bildes in ein Binärformat haben wir nur die Information, ob sich im aktuellen Pixel ein Marker befindet oder nicht. Um nun einen Bezugspunkt zu bekommen, wird mit einem bestimmtem Muster, welches der sog. Master ist, gearbeitet. Voraussetzung für den Master ist, dass dieser immer gefunden werden muss. Doch wie kann dieser Master immer eindeutig identifiziert werden? Das Master Muster muss aus mindestens 4 Markern bestehen, da ansonsten keine Berechnung der perspektivischen Transformation möglich wäre. Dies hat mathematische Gründe, deren Ausführung nicht Teil dieser Arbeit ist. Das Muster muss sich klar abheben und die dazugehörigen Marker müssen geringere Abstände haben als sonstige benachbarte Marker. Zu Gute kommt der Identifikation, dass zwei Bedingungen als gegeben angesehen werden können^[38]:

1. Der Bewegungsraum des Pilotenkopfes ist weitgehend eingeschränkt.

1. Der Rollwinkel des Kopfes wird niemals mehr als 30 Grad einnehmen.

Dies und die Tatsache, dass der Master Marker sinnvoller Weise direkt vor dem Piloten positioniert wird, ergibt den folgenden Algorithmus^[39]::

• Wie bereits erwähnt, haben die Master Marker geringere Äbstände zu einander. Also sollten zwei Marker mit den geringsten Abständen gesucht werden. Dieser Abstand wird Dmin genannt.
• Da alle Master Marker den gleichen Abstand haben, werden nun alle Marker mit einem Abstand zueinander von Dmin plus einer Toleranz von 15% gesucht.
• Da unser Master aus 4 Markern besteht und wenn durch unsere voherige Suche 4 Marker gefunden wurden, liegt der Master Marker vor.
• Werden weniger Marker gefunden, ist anzunehmen, dass ein Teil des Masters außerhalb des Bereichs liegt oder Marker verdeckt sind.

Sind die Marker gefunden, werden sie anhand ihrer Position mittels der vier Himmelsrichtungen benannt. Der am weitesten auf der X-Koordinate links liegende wird W(est) benannt, der rechts liegende O(st). Ähnliches gilt für die Y-Koordinaten. Das obige Element N(ord) und unten S(üd). Mittels dieser Daten und einem künstlich aufgespanntem XYZ-Koordinatensystems, welches einen festen Ursprung im Cockpit hat, können durch mathematische Verfahren die Positionen und die zugehörigen Identifikationen ermittelt werden.^[40]:

Fazit

Es wurde ein grober Überblick über ein Flugführungsinformationsystem im Entwicklungsstadium, dessen Probleme und Lösungskonzepte aufgezeigt. Vorteilhaft dieser Umsetzung war der Einsatz handelsüblicher Komponenten, die die Kosten im Rahmen hielten, und deren einfacher Einsatz in bestehenden Systemen. Ebenfalls die Anwedungsgebiete eines solchen Systems sind breit gefächert. Ob als einfache Navigationsunterstützung für die optimale Flugroute oder als Werkzeug für den Piloten, um bei schlechter Sicht auf Kurs zu bleiben. Allerdings muss gerade bei Systemen in der Luftfahrt der Sicherheitsaspekt besonders beachtet werden. Ein Pilot muss immer in der Lage sein, das Flugzeug auch bei Ausfall eines solchen Systems zu fliegen. Trotzdem wird diese Art von System früher oder später zur Unterstützung der Piloten in der zivilen Luftfahrt zu finden sein.

4.2 Augmented Reality Unterstützung für Tower

Flughafentower haben bei schlechter Sicht das Problem, dass der Verkehrsfluss ins stocken gerät. Dies ist nicht nur störend, sondern zieht auch erhebliche ökonomische Schäden nach sich, durch Verspätungen oder nicht fristgerechten Lieferungen. Mit dem "Augemented reality tower tool", kurz ARTT soll dem Tower ein Werkzeug an die Hand gegeben werden, um genau diese Flaschenhälse zu vermeiden. ^[41]

Flugzeuglotsen arbeiten nicht nur mit digitalisierten Daten, sprich den Radarinformationen oder Flugzeugdaten. Sie müssen ebenfalls das Umfeld der Start- und Landebahnen im Auge behalten. Sie schauen also nicht nur auf ihre Monitore, sondern auch aus dem Fenster. Dies ist auch der Grund warum der Tower das höchste Gebäude an einem Flughafen ist. Gerade in diesem Hochsicherheitsbereich dürfen gewisse Dinge nicht beschränkt werden. Die Sicht der Lotsen darf zu keiner Zeit durch eingesetzte Gerätschaften beeinträchtigt werden. Aus diesem Grund fallen beim Einsatz von ARTT videogestützte Systeme weg, weil diese den natürlichen Sichtbereich des Lotsen stören. Aber auch optische Systeme haben in diesem Sektor hohe Anforderungen, weil auch das periphere Sehen nicht beeinträchtig werden darf. Dies bedeutet für die eingesetzten Brillen, dass sie an jeden Anwender angepasst werden müssen. Folgende Eigenschaften werden benötigt^[42]:

1. Das System darf den Losten nicht behindern
2. Es soll bei schlechten Wetterverhältnissen die "Sicht" des Lotsen verbessern
3. Daten von anderen Systemen zusammenführen und bündeln
4. Einblendung der zu überwachenden Fahrzeuge

Ein "proof-of-Concept" demonstrierte die NASA Ende des 20sten Jahrhunderts mit dem "Situation Awareness Virtual Enviroment" System, kurz SAVE genannt. Diese webbasierte Software stellte mittels Echtzeitdaten des Radarsystems den Luftraum und die in ihm befindlichen Objekte dar. Abbildung 7 zeigt einen Screenshot des Systems. Obwohl dieses System schon die Möglichkeiten von Vernetzung und der digitaliserten Visualisierung zeigt, war es eine typische Mensch-Maschine Schnittstelle, bestehend aus Monitor, Tastatur und Maus. Für das SAVE System war keine Anbindung bzw. Integration eines HMDs vorgesehen.^[43]

2004 wurde die erste Version von ARTT als Prototyp realisiert. Dabei wurde, wie schon beim Fluginformationssytem darauf Wert gelegt, dass handelsübliche Bauteile verwendet wurden. Umgesetzt wurde dieser Prototyp mittels eines optischen Durchblick-HMDs. Versorgt wurde dieses System mit Daten des CTAS Communication Manager. Dieser hat Zugriff auf Flugpläne und aktuelle Flugdaten der Maschinen. Ziel des Einsatzes dieses Systems war es, die Schwächen, die Benutzerfreundlichkeit und die Vorteile herauszufinden. Die eingesetzten Testpersonen fanden dabei folgende Probleme heraus:

1. der Tragekomfort der HMDs war ungenügend
2. die Durchlässigkeit des HMDs war nicht hoch genug
3. die Beleuchtung im Tower störte das System

Die Ergebnisse der Befragung floss mit in die Entwicklung der Version 2.0 des ARTT ein. Das System wurde dahingehend erweitert, dass Datenbanken mit detailierten Umgebungsdaten genutzt wurden. Diese Datenbanken wurden normalerweise nur für Flugsimulatoren eingesetzt, um ein realistisches Fluggefühl zu bekommen. Damit einhergehend wurden ebenfalls die 3D Fahigkeiten der Software stark erweitert, wodurch ein realistischeres Gefühl für die Umgebung aufkommt. Neben den Overlays aus den Datenbanken der Umgebung, werden die Flugdaten und die eigentlichen Flugzeuge eingeblendet. Dies bedeutet, wenn der Lotse aus dem Fenster blickt, kann er nicht nur die Umgebung, sondern auch die Flugzeuge plus deren Flugdaten sehen und somit sich einfacher orientieren. Obwohl die Umsetzung dieses Systems schon sehr gut war, konnte es noch nicht den Sicherheitsstandards genügen. Ein Problem war und ist es, dass die Sicht des Lotsen immer noch beschränkt wurde bzw. bei ungünstigen Lichteinfällen sogar komplett behindert wurde. Dies darf bei einer solchen Anwendung zu keiner Zeit passieren, da es sonst zu Unfällen kommen könnte^[44]. Solange diese und andere Probleme nicht gelöst sind, ist an den Einsatz eines solchen Systems, auch wenn es einige Vorteile mit sich bringen würde, noch nicht zu denken. Trotzdem waren die Prototypen nicht umsonst, da sie einiges an Erkenntnis für die Weiterentwicklung gebracht haben.

4.3 Unbemannte Luftfahrt

Wie so oft, spielt das Militär eine Vorreiterolle. Nicht nur, dass Piloten von Kampfjets die ersten waren, die mittels HUDs Informationen und Flugdaten in ihren Sichtbereich eingeblendet bekamen, sondern findet sich auch die unbemannte Luftfahrt in Verbindung mit Augmented Reality im militärischen Sektor wieder. Unter unbemannter Luftfahrt versteht man kleine spezialisierte Flugzeuge, auch Drohnen genannt, die durch einen Piloten mittels Fernsteuerung bedient werden. Bei der Fernsteuerung spielt die Augmented Reality eine große Rolle. Durch den Einsatz von Sensoren und Kameras in der Drohne, wird der Pilot mit den notwendigen Informationen und Flugdaten versorgt. Die Augmentierung wird durch einen monitorbasierten Ansatz erreicht. Der Pilot der Drohne befindet sich in der Bodenkontrollstation und bekommt ein Kamerabild der Drohne angezeigt, in welches die Flugdaten und sonstige Informationen augmentiert werden. Gut zu sehen in Abbildung 8. Zum Einsatz kommen diese Maschinen bspw. als Späh- oder Waffenträgersystem, also überall dort, wo es für bemannte Flugzeuge zu gefährlich ist. Nachteilig am bisherigen Ansatz ist die beschränkte Sicht für den Piloten und die ungenügende Visualisierung der Drohne selbst, da sie nur als Punkt auf einem Radar zu sehen ist. Am Australian Centre for Field Robotics (ACFR) wurde versucht diese Nachteile auszumerzen. Der konzeptionelle Gedanke ist, jedes reelle UAV in ein zusätzliches virtuelles UAV zu überführen, quasi die reale Welt und deren Objekte in Echtzeit augmentiert zu visualisieren. Dies geschieht mit Hilfe folgender Komponenten:

1. Real-time Multi-UAV Simulator: Dieser Simulator stellt die virtualisierte Welt mit den darin enthaltenen Objekten dar.
2. UAV: die eigentliche unbemannte Drohne. Sie enthält alle notwendigen Komponenten und Sensoren, wie den Flugkontrollcomputer oder das GPS, um den Piloten und den Simulator mit den benötigten Daten zu versorgen.
3. Bodenkontrollstation: Dies ist das Zuhause der Piloten. Sie bildet das Herzstück des Systems. Alle Systeme werden hier zusammengeführt, verarbeitet und gesteuert.
4. Missionskontrollstation: In ihr können alle Einsätze kontrolliert und beeinflusst werden. Sie dient nicht der direkten Steuerung.
5. Virtueller Sensoren Server: Er übernimmt die Schnittstellenarbeit zwischen der realen und virtuellen Welt. Alle Daten der realen UAVs werden hier verabeitet und an das RMUS weitergeleitet.
6. Kommunikation: Die eingesetzten UAVs verfügen über zwei Kommunikationsschnittstellen. Ein Funkmodem mit hoher Reichweite, über das die Steuerbefehle abgewickelt werden und ein IEEE802.11 WLan, welches für Kommunikation zwischen mehreren Drohnen verwendet wird.

Mittels diesem System ist es nun möglich, von jedem eingesetzten UAV ein virtuelles Gegenstück zu erzeugen. Dadurch ist eine 3 dimensionale Visualisierung der Drohnen und ihrer Umgebung möglich. Die daraus entstehende virtuelle Welt hilft bei der Missionskontrolle ungemein, da sich ein viel umfangreicheres Bild ergibt, als es mit einem aufgezeichneten Film oder mit fotographiertem Material möglich wäre. Aber auch dem Piloten wird ein Werkzeug an die Hand gegeben, dass es ihm ermöglicht, die Umgebung besser einschätzen zu können.

5 Zusammenfassung

Wie bereits gezeigt wurde, existieren bereits einige Augmeneted Reality Anwendungen in der Luftfahrt. Leider sind viele dieser Anwendungen noch in der Testphase oder speziellen Bereichen wie dem Militär nur zugänglich, weil wie sich gezeigt hat, jede dieser Anwendungen mit den gleichen Problemen zu kämpfen hat:

1. Hohes Sicherheitsniveau in der Luftfahrt
2. Performance der Tracking-Systeme
3. Eigenheiten der optischen und visuellen Systemen

Gerade um das hohe Sicherheitsniveau zu erreichen, sind die Anforderungen gerade im Bereich der Ausfallsicherheit und Genauigkeit sehr hoch, was dazu führt das AR Systeme komplex und teuer werden. Doch nicht nur die Sicherheitsproblematik "verkompliziert" solche Systeme, sondern auch die Anforderung an die Performance des Trackings. Dies führt dazu, dass der Fortschritt der durch diese Technik erreicht wird, nur finanzstarken Gruppen wie dem Militär zugänglich sind.

In naher Zukunft werden diese Probleme aber in den Hintergrund treten, da die Technik und damit ihr Leistungsvermögen immer weiter fortschreitet.

6 Ausblick

Kontaktlinse mit integriertem LED-Display

Ein Forschungsteam der University of Washington arbeiten zur Zeit an einer Kontaktlinse mit winzigen LEDs, eingebautem halbtransparentem Schaltkreis und Miniantenne. Mit Hilfe von mobilen Geräten sollen somit Umgebungsinformationen in ferner Zukunft direkt an das menschliche Auge übertragen werden können.^[45] Die digitalen Zusatzinformationen sollen nach Aussage von dem Nanotechnick-Spezialisten Parviz mit 50 bis 100 Zentimeter Abstand vor dem Auge zu schweben scheinen.^[46]

Bis man aber mit Hilfe von AR-Unterstützung die Welt regelmäßig "mit anderen Augen" sehen kann, dürfte noch ein wenig Zeit vergehen. Zwar wurde ein Prototyp bereits entwickelt und an Hasen auch erfolgreich getestet, doch besaß dieser Prototyp nur eine einzige LED und konnte somit nur einen einzelnen Pixel darstellen. In Zukunft sollen hunderte LEDs "die visuelle Wahrnehmung mit hochauflösenden, farbigen Computergrafiken überlagern"^[47], kündigt Parviz an. Dafür müssen jedoch noch neue Bauteile entwickelt werden. Die derzeit verfügbaren LEDs und Schaltungen sind für solch einen Einsatz ungeeignet. Auch die Unterbringung der benötigten Bauteile wie Transistoren, Widerstände, LEDs, Funkchips und Antennen auf einer einzigen winzigen Polymer-Linse stellt die Forscher noch vor Probleme. Da sich die Kunststoffe nicht mit den Chemikalien und den hohen Temperaturen, die zur Herstellung von Schaltkreisen benötigt werden, vertragen, wurden die Dioden und Antennen des Prototypen separat gefertigt und dann in feine Rillen der Kontaktlinse eingesetzt.^[48]

Beim Einsatz solcher Linsen im menschlichen Auge muss aber vor allem die Sicherheit gewährleistet sein. Durch den direkten Kontakt ist das Auge massiv gefährdet und muss vor Chemikalien, Giften, erzeugter Hitze und spitzen Gegenständen geschützt werden. Außerdem muss die Kontaktlinse trotz der vielen integrierten Bauteile halbtransparent sein und darf dem Benutzer in der Sicht auf seine Umgebung nicht einschränken.^[49]

Dennoch sind die Einsatzmöglichkeiten solcher Hightech-Kontaktlinsen vielseitig. In der Luftfahrt würden sie z.B. die im Rahmen dieser Arbeit vorgestellten Head-Mounted-Displays komplett ablösen. Die Piloten würden eigene AR-Kontaktlinsen tragen und sich alle relevanten Informationen direkt in ihr Sichtfeld projizieren lassen.

7 Anhang

7.1 Abkürzungsverzeichnis

Abkürzung	Bedeutung
AR	Augmented Reality
ARS	Augmented Reality System
Arvika	Augmented Reality for Development, Production and Service
BMBF	Bundesministerium für Bildung und Forschung
bspw.	beispielsweise
ebd.	ebenda
f.	folgende
ff.	fortfolgende
HMD	Head mounted display
o. V.	ohne Verfasser
S.	Seite
sog.	sogenannte
u.a.	unter anderem
UAV	Unmanned aerial vehicle
vgl.	vergleiche
VR	Virtual Reality
z.B.	zum Beispiel

7.2 Abbildungsverzeichnis

Abb.-Nr.	Abbildung	Quelle
1	Optisches Durchblick HMD	Azuma (1997) S. 10
2	Videobasiertes HMD	Azuma (1997) S. 10
3	Monitorbasiertes System	Azuma (1997) S. 12
4	2d-barcodierter Marker	Mader (2004) S. 35
5	Einfluss eines Tageslichtfilters	Mader (2004) S. 48
6	Radiale Linsenverzerrung	Mader (2004) S. 51
7	SAVE System der NASA	Reismann, Brown (2006) S. 2
8	Steuerungseinheit eines Predator	General Atomic Aeronautical
9	Kontaktlinse mit integriertem LED-Display	Augmented Reality in deiner Kontaktlinse

7.3 Fußnoten

1. ↑ Freyermuth (2002)
2. ↑ Vgl. Arvika (1999)
3. ↑ Vincenzi et al. (2008); S. 333 ff
4. ↑ vgl. Kap. 3.1 Optische oder videogestützte Umsetzung
5. ↑ Vincenzi et al. (2008), S. 334 ff.
6. ↑ Vgl. Hansen, Neumann (2001), S. 341 ff.
7. ↑ auch Aviatik, von lat. avis = Vogel
8. ↑ Vgl. Azuma (1997); S. 8
9. ↑ Vgl. Azuma (1997); S. 9
10. ↑ Vgl. Azuma (1997); S. 10.
11. ↑ Vgl. Azuma (1997); S. 12f
12. ↑ Vgl. Azuma (1997); S. 13f
13. ↑ Vgl. Azuma (1997); S. 11f
14. ↑ Vgl. Azuma (1997); S. 14
15. ↑ Vgl. Azuma (1997); S. 15
16. ↑ Vgl. Azuma (1997); S. 15
17. ↑ Vgl. Azuma (1997); S. 16
18. ↑ Vgl. Azuma (1997); S. 18
19. ↑ Vgl. Azuma (1997); S. 18f
20. ↑ Vgl. Azuma (1997); S. 21
21. ↑ Vgl. Azuma (1997); S. 21ff
22. ↑ Vgl. Mader (2004); S. 29
23. ↑ Vgl. Mader (2004); S. 30
24. ↑ Vgl. Mader (2004); S. 31
25. ↑ Vgl. Mader (2004); S. 31
26. ↑ Vgl. Mader (2004); S. 32
27. ↑ Vgl. Mader (2004); S. 33
28. ↑ Vgl. Mader (2004); S. 33ff
29. ↑ Vgl. Mader (2004); S. 24ff
30. ↑ Mader (2004); S. 27
31. ↑ Vgl. Mader (2004); S. 41ff
32. ↑ Vgl. Mader (2004); S. 43ff
33. ↑ Vgl. Mader (2004); S. 47
34. ↑ Vgl. Mader (2004); S. 50
35. ↑ Vgl. Mader (2004); S. 50
36. ↑ Vgl. Mader (2004); S. 50ff
37. ↑ Vgl. Mader (2004); S. 52
38. ↑ Vgl. Mader (2004); S. 71
39. ↑ Vgl. Mader (2004); S. 72
40. ↑ Vgl. Mader (2004); S. 73
41. ↑ Vgl. Reismann, Brown (2006); S. 1
42. ↑ Vgl. Reismann, Brown (2006); S. 2
43. ↑ Vgl. Reismann, Brown (2006); S. 2f
44. ↑ Vgl. Reismann, Brown (2006); S. 4ff
45. ↑ Vgl. TecChannel.de (2009)
46. ↑ Vgl. Spiegel Online (2009)
47. ↑ TecChannel.de (2009)
48. ↑ Vgl. Spiegel Online (2009)
49. ↑ Vgl. TecChannel.de (2009)

7.4 Literatur- und Quellenverzeichnis

Arvika (1999)	Augmented Reality for Development, Production and Service: Augmented Reality für Entwicklung, Produktion und Service, 06.01.2009 (13:45)
Azuma (1997)	Azuma, Ronald T.: A Survey of Augmented Reality, Hughes Research Laboratories 1997
Freyermuth (2002)	Freyermuth, Gundolf S.: Der Große Kommunikator: Trends, die das Kommunikationsverhalten in der nahen Zukunft prägen, in c't 2002, Heft 15 vom 01.08.2002
Hansen, Neumann (2001)	Hansen, Hans Robert; Neumann, Gustaf: Wirtschaftsinformatik I: Grundlagen betrieblicher Informationsverarbeitung, 8. Auflage, UTB, Tübingen 2001
Mader (2004)	Mader, Franz: Entwurf und Integration eines kamerabasierten Trackingsystems für ein Flugzeugcockpit zur Darstellung fortschrittlicher Flugführungsinformationen in einem HMD, Diplomarbeit TU München, München 2005
Reismann, Brown (2006)	Reisman, Ronald J., Brown, David M.: Design of Augmented Reality Tools for Air Traffic Control Towers, AITO (2006)
Spiegel Online (2009)	o. V.: Artikel "Kontaktlinse als Display: Mega-Bild aus Mini-Linse", 16.11.2009, http://www.spiegel.de/netzwelt/gadgets/0,1518,661466,00.html, 10.01.2009 (15:15)
TecChannel.de (2009)	o. V.: Artikel "Display in Kontaktlinsen liefert Umgebungsinformationen - Forscher arbeiten an erweiterter Realität in Miniformat", 01.09.2009, http://www.tecchannel.de/pc_mobile/news/2021728/cyborg_auge_liefert_umgebungsinformationen, 10.01.2009 (15:15)
Vincenzi et al. (2008)	Vincenzi, Dennis A., Hancock, Peter A., Mouloua, Mustapha: Human Factors in Simulation and Training, Crc Pr Inc