Aus Winfwiki

Name des Autors:	Helder Matias
Titel der Arbeit:	"Augmented Reality Gaming am Beispiel der AR.Drone von Parrot"
Hochschule und Studienort:	FOM Neuss

Inhaltsverzeichnis 1 Einleitung 1.1 Problemstellung 1.2 Zielsetzung 1.3 Aufbau 2 Grundlagen 2.1 Einordnung von Augmented Reality im Virtuality-Continuum 2.2 Definition von Augmented Reality und Abgrenzung zur Augmented Virtuality 2.3 Geschichte von Augmented Reality 2.4 Von Pervasive Gaming zu Augmented Reality Games 3 Augmented Reality Gaming System 3.1 Anforderungen an ein ARGS 3.2 Komponenten von einem ARGS 3.2.1 Tracking-Technologien 3.2.1.1 Optisches Tracking 3.2.1.2 Tracking mit Inertialsensoren 3.2.1.3 Tracking mit Magnetfeldsensoren 3.2.1.4 Ultraschall-Tracking 3.2.1.5 GPS und D-GPS 3.2.1.6 Mechanisches Tracking 3.2.1.7 Registrierung und Kalibrierung 3.2.1.8 Fehlerquellen und hybride Systeme zur Fehlerminimierung 3.2.2 Display-Technologien 3.2.2.1 Head-Mounted Displays 3.2.2.2 Virtual-Retinal Displays 3.2.2.3 Handheld Displays 3.2.2.4 Umgebungsfixierte Displays 3.2.3 Rendering 3.2.4 Verfahren und Technologien für die Eingabe und Interaktion 3.2.4.1 Eingabemöglichkeiten 3.2.4.1.1 Markerbasierte Eingaben 3.2.4.1.2 Tangible User Interfaces 3.2.4.1.3 Motion-Capturing 3.2.4.1.4 Spracheingabe 3.2.4.1.5 Eingaben mit dem Blick 3.2.4.2 Interaktionsmöglichkeiten 3.2.4.2.1 Auswahl 3.2.4.2.2 Manipulation 3.2.4.2.3 Navigation 3.3 Multi-User Fähigkeit in Augmented Reality Games 4 AR.Drone als Beispiel für ein ARGS 4.1 Äußere Beschaffenheit 4.2 Technologische Komponenten und Daten 4.3 Steuerung 4.4 Multiplayer-Gaming 4.5 Autopilot 4.6 SDK 5 Beurteilung 5.1 Bewertung von Augmented Reality Games 5.2 Bewertung der AR.Drone als AR-Spielgerät 6 Schlussbetrachtung und Ausblick 7 Fußnoten 8 Abkürzungsverzeichnis 9 Abbildungsverzeichnis 10 Literatur- und Quellenverzeichnis

1 Einleitung

"With a typical game you're set looking at a screen that's fixed in front of you, but with augmented reality, now you have a virtual window into another world"^[1]

"Video game publishers have worked hard to plunge players into beautifully constructed realities. But a new wave of titles is leveraging augmented reality technology to set games in the most immersive environment yet: the one around us."^[2]

1.1 Problemstellung

AR (Augmented Reality) - im Deutschen Sprachgebrauch gleichfalls als "Erweiterte Realität" bezeichnet - lässt die Virtualität und Realität miteinander verschmelzen indem die reale Umgebung mit virtuellen Informationen oder Objekten angereichert wird. Diesem Prinzip folgen auch die ARG (Augmented Reality Games), die noch zu einer sehr jungen aber vielversprechenden Kategorie in der Spiele-Branche gehören. Die reale Welt wird bei ARG als zentrale Spielumgebung genutzt, der Spieler kann in einem AR-Spiel selbst als Spielfigur in die augmentierte Realität eintauchen und erhält dadurch ein völlig neues Spielerlebnis. Zur Realisierung von AR-Games müssen jedoch sehr anspruchsvolle technologische Anforderungen erfüllt werden. Aufgrund dieser hohen Anforderungen, befinden sich ARG derzeit noch im Anfangsstadium. Die technologischen Entwicklungen erlauben es erst kürzlich, dem breiten Konsumentenmarkt erschwingliche ARGS (Augmented Reality Gaming System) -Lösungen anzubieten. Die vorliegende Arbeit beschäftigt sich mit diesen Anforderungen, setzt als Schwerpunkt in Kapitel 3 auf die technologische Umsetzung und stellt unterschiedliche Technologiemöglichkeiten vor.

1.2 Zielsetzung

Das erste Ziel der vorliegenden Arbeit besteht darin, ein Grundverständnis von AR zu vermitteln. Daraufhin sollen die Merkmale von ARG anhand einer Abgrenzung zu klassischen VR (Virtual Reality) -Games verdeutlicht werden. Neben den Anforderungen sollen technologische Variationen aufgezeigt werden, um ein ARGS umzusetzen. In diesem Zusammenhang besteht die Zielsetzung darin, dass der Leser einen tieferen Einblick in die Funktionsweise von einem ARGS erhalten soll. Zur besseren Verdeutlichung der Funktionsweise wird die AR.Drone (Augmented Reality Drone) von Parrot als ein Beispiel für ein ARGS vorgestellt. Als weiteres Ziel, soll der Leser einen Überblick über das Potential von ARG, den heutigen Stand der Technik in Bezug auf ARG und über mögliche zukünftige Entwicklungen erhalten.

1.3 Aufbau

Die Seminararbeit über ARG beginnt mit einer Einordnung und Definition von AR, im Weiteren findet eine Abgrenzung zur AV (Augmented Virtuality) statt. Nach einem kurzen historischen Überblick, wird Pervasive Gaming als Oberbegriff für ARG vorgestellt, um darauf aufbauend die Merkmale von ARG darzustellen und eine Abgrenzung zum Location Based Gaming vorzunehmen. Im nächsten Kapitel werden folglich Anforderungen und mögliche Technologien zur Umsetzung eines ARGS veranschaulicht. Diese lassen sich in die drei Bereiche Tracking-, Display- sowie Eingabe- und Interaktions-Technologien unterteilen. Das darauffolgende Kapitel führt die AR.Drone von Parrot als Beispiel für ein ARGS an und untersucht die Funktionsweise sowie den Technologieumfang. Es folgt eine Beurteilung über ARG im Allgemeinen und über ARG in Bezug zur AR.Drone. Das letzte Kapitel beinhaltet eine Schlussbetrachtung und eine Zukunftsprognose über ARG.

2 Grundlagen

Ziel des ersten Kapitels ist es, zunächst ein Verständnis über AR zu vermitteln. Es beginnt daher mit einer Einteilung von AR im Virtuality-Continuum von Milgram et al., einer Definition und einer Differenzierung zur Augmented Virtuality. Es beinhaltet eine kurze Zusammenfassung über die Geschichte von AR und beleuchtet die Merkmale von ARG.

2.1 Einordnung von Augmented Reality im Virtuality-Continuum

Da AR eine Umgebung innerhalb des Virtuality-Continuums von Milgram und Koshino bildet, eignet sich zunächst die Erläuterung dieses Modells, welches in Abb. 2.2-1 veranschaulicht wird. Dieses unterscheidet drei verschiedene Szenarien: die vollkommene Realität, MR (Mixed Reality) und vollkommene Virtualität.^[4] Letzteres ist bspw. in klassischen Spielumgebungen vorhanden, in denen der Gamer einen virtuellen Charakter in einer vollständig künstlichen Welt steuert. In VR-Games sind daher völlig irreale Welten umsetzbar. Innerhalb der beiden Extrema ordnet sich die MR ein, die sowohl Elemente aus der realen sowie aus der virtuellen Welt vereint. Diese gemischte Umgebung ist außerdem durch den Grad der Virtualität gekennzeichnet und unterscheidet in dieser Hinsicht zwischen AR und AV.^[5]

2.2 Definition von Augmented Reality und Abgrenzung zur Augmented Virtuality

Der Terminus augment ist im Merriam-Webster's Collegiate Thesaurus mit den Worten "increase, enlarge, expand, extend" definiert.^[6] Die dazugehörige deutsche Übersetzung umfasst die Begriffe erweitern oder ausweiten, daher findet sich in vielen deutschen Monographien auch der Begriff "Erweiterte Realität", der synonym für AR verwendet wird. AR-Umgebungen beinhalten also primär eine Erweiterung der Realität um virtuelle Elemente.^[7] Azuma erwähnt ebenfalls die Verschmelzung von realer und virtueller Welt als Voraussetzung für AR, nennt zudem jedoch noch zwei weitere grundlegende Kriterien, die für das Vorliegen einer AR-Umgebung erfüllt werden müssen: Interaktivität in Echtzeit und Registrierung in einem dreidimensionalen Raum. Die Überlagerung der beiden Welten muss laut dem ersten Kriterium demzufolge in Echtzeit erfolgen, somit unterscheidet sich AR an dieser Stelle bspw. von einem Film, indem die Überlappung von realen und virtuellen Elementen oftmals in einer Nachbearbeitungsphase umgesetzt wird. In ARS (Augmented Reality Systemen), die technologische Komponenten zur Umsetzung von AR umfassen, wird dies oftmals mit einem Live-Videostream der realen Welt verwirklicht. Außerdem müssen AR-Umgebungen den Benutzern eine Interaktion mit den eingebundenen virtuellen Objekten ermöglichen. Das zweite Kriterium verwendet den englischen Begriff Registration und bezeichnet die korrekte perspektivische Ausrichtung der virtuellen Elemente auf der augmentierten Umgebung. Dies erfordert eine exakte sowie kontinuierliche Positionsbestimmung und Kalibrierung in derartigen Systemen.^[8] Im Gegensatz zur AV, die einen hohen Grad an Virtualität aufweist, spielt bei der AR die reale Umgebung eine vorrangige Rolle.^[9] Die vorliegende Arbeit wird sich ausschließlich mit dem Bereich der AR auseinandersetzen, wobei vorrangig AR in Bezug auf den Gaming Sektor analysiert wird.

2.3 Geschichte von Augmented Reality

Den Grundstein für die historische Entwicklung von AR legte Ivan Sutherland^[11] im Jahre 1968, als er das erste computerbasierte, transparente sowie dreidimensionale HMD (Head-Mounted Display) entwickelte. Für die Visualisierung nutzte er eine stereoskopische Anzeige aus beschichteten Spiegeln. An den Ohren befestigte Kathodenröhren lieferten die computergenerierten Elemente, die über die Spiegel ins Auge reflektiert wurden und dem Nutzer die Überlappung von realen und virtuellen Elementen ermöglichte. Zudem verbaute er in seinem HMD ein mechanisches Tracking sowie Ultraschallsensoren zur Erfassung der Kopfbewegungen des Benutzers. Somit konnten die virtuellen Objekte in Abhängigkeit von der aktuellen Position des Anwenders zum einen perspektivisch korrekt und zum anderen in Echtzeit im Raum dargestellt werden. Aufgrund der Größe und des Gewichts, musste das HMD seinerzeit an der Decke befestigt werden und war bis dato nicht ausgereift für eine kommerzielle Vermarktung.^[12]

Erst in den späten 90er Jahren wurden die Forschungsarbeiten im AR-Bereich erhöht, da ab diesem Zeitpunkt der Stand der Technik für derartig komplexe Systeme allmählich die Voraussetzungen erfüllte. 1997 präsentieren Feiner et al. das erste MARS (Mobile Augmented Reality System), die sogenannte Touring Machine. Ab diesem Zeitpunkt folgten zahlreiche weitere Forschungsansätze für ARS und MARS, ein alternatives bekanntes Beispiel lieferte die im Jahre 2000 von Thomas et al. entwickelte AR-Variante des Desktop-Games Quake unter dem Namen AR-Quake.^[13][14] In der heutigen Zeit bewähren sich allmählich funktionsfähige und markttaugliche AR-Anwendungen in unterschiedlichsten Gebieten, wie bspw. in der Fertigungstechnik, Fahrzeugsicherheitstechnik, Luftfahrt, Medizin, im Militär und im Gaming-Sektor, auf den wir uns in der vorliegenden Arbeit beschränken werden. So erschien im September 2010 für den AR-Gaming-Bereich die AR.Drone von der Firma Parrot, die Bestandteil dieser Arbeit ist und in Kapitel 4 analysiert wird.

2.4 Von Pervasive Gaming zu Augmented Reality Games

Der Begriff PG (Pervasive Gaming) gilt als eine junge und neue Form von Computerspielen und ist hauptsächlich durch die Verschmelzung von realer und virtueller Welt charakterisiert. Somit erweitert es die klassischen Spiele der VR, da die reale Welt zum zentralen Spielfeld und mit interaktiven virtuellen Elementen oder Informationen ergänzt wird. Ein wesentliches Merkmal von PG und zugleich Unterschied zu VR-Spielen ist demnach der hohe Mobilitätsgrad der Spielumgebung. Zur erfolgreichen Umsetzung derartiger Spielumgebungen nehmen Kommunikations-, Sensor- sowie Lokalisierungstechnologien eine zentrale Rolle ein. Zudem ist eine reibungslose und mobile Benutzerschnittstelle zur Interaktion mit den virtuellen Elementen unabdingbar. Eine weitere Unterscheidung zu klassischen VR-Spielen ist die direkte soziale Interaktion, die bei PG zwischen den Mitspielern auftritt und den Kernpunkt des Spielverlaufs bildet. PG gilt in der Literatur als Oberbegriff und unterscheidet im Wesentlichen zwischen ARG und Location-Based Games.^[15]

Location-Based Games integrieren das physische Umfeld der Spieler in die Spielumgebung und die Gamer selbst zu Spielfiguren. Zur Positionsbestimmung werden mobile Geräte eingesetzt, die Technologien wie GPS (Global Positioning System), WLAN^[16] (Wireless Local Area Network), GSM (Global System for Mobile Communications) sowie UMTS (Universal Mobile Telecommunications System), Kameras oder Mikrofone umfassen. Ein Beispiel für ein Location-Based Game bildet das Spiel Catch the Flag. Dabei werden virtuelle Spielobjekte wie Flaggen, Bomben, Fallen, Zaubertränke oder Burgen in einer physischen Spielumgebung über eine reale Position eingebaut und können somit den Spielern auf einem 3D (dreidimensionalen) -Plan dargestellt werden. Es findet eine Unterteilung in zwei Teams statt, die das Ziel verfolgen, die gegnerische Flagge zu erobern und den von den Gegnern platzierten Hindernissen auszuweichen.^[17]

In ARG wird ebenso die Realität als zentrale Spielumgebung genutzt und mit Grafiken, Tönen oder Gerüchen erweitert. Diese augmentierte Umgebung erscheint dem Gamer in überlagerter Form und in Echtzeit auf einem einzigen Display, wobei es verschiedene Umsetzungsmöglichkeiten gibt, die in Kapitel 3.2.2 näher erläutert werden. Demzufolge kann die Sparte der ARG technologisch sehr anspruchsvolle und innovative Spiele anbieten, bspw. können dem Spieler in der realen Umgebung plötzlich erfundene, virtuelle Wesen erscheinen. Spezielle Benutzerschnittstellen ermöglichen den Anwendern u.a. anhand von Gesten oder der Sprache mit den virtuellen Objekten zu interagieren.^[18] Im nachfolgenden Kapitel wird nun im Detail die Funktionsweise eines ARGS zur Realisierung eines ARG erörtert.

3 Augmented Reality Gaming System

Das vorliegende Kapitel verdeutlicht vorerst die Anforderungen, die ein ARGS erfüllen muss. Daraufhin werden unterschiedliche Technologien dargestellt, die zur Realisierung eines solchen Systems eingesetzt werden können. Je nach Gaming-Anwendung, kann es zu unterschiedlichen Kombinationen von Technologien kommen. Der letzte Abschnitt in diesem Kapitel verdeutlicht die Multi-User Funktionalität in AR-Spielen, da die soziale Interaktion zwischen den Mitspielern ebenso zu einem wesentlichen Bestandteil von ARG gehört.

3.1 Anforderungen an ein ARGS

In Kapitel 2.4 wurde erläutert, dass bei ARG die Realität als zentrale Spielumgebung genutzt wird und mit virtuellen Elementen auf einer Beobachtungsebene überlagert wird. Da die reale Welt weit komplexer ist als eine virtuelle Umgebung, müssen bei der Umsetzung von einem ARGS besondere technologische Anforderungen erfüllt werden.^[19]

Die erste und zugleich elementarste Anforderung von einem ARGS ist das Tracking und die Registrierung, da die meist dreidimensionalen, virtuellen Objekte perspektivisch korrekt in der realen Welt ausgerichtet werden müssen. Da sich die Spieler oft innerhalb ihrer Spielumgebung bewegen und sich die Blickwinkel kontinuierlich verändern, muss ein Tracking-System eine stetige Positions- und Orientierungsbestimmung gewährleisten. Daher muss das Tracking für ein ARGS folgende Anforderungen erfüllen: Hohe Genauigkeit, Performance sowie Robustheit, eine geringe Latenzzeit und eine 6DOF (6 Degrees Of Freedom) -Messung. Zudem werden Multi-User Fähigkeit, gute Mobilität und Erschwinglichkeit verlangt.^[20]

Des Weiteren sind Überlegungen bezüglich der Darstellung der virtuellen Objekte in der realen Welt erforderlich. Forschungsarbeiten liefern verschiedene Display-Technologien, die hinsichtlich ihrer beschränkten Blickwinkel und Auflösung, Größe und Gewicht unterschieden werden können. Zudem spielt in diesem Bereich das Rendering eine wichtige Rolle, da die virtuellen Objekte möglichst realistisch innerhalb der realen Umgebung dargestellt werden müssen. Da die meisten ARGS mobil sind und daher ein Echtzeit-Rendering nötig ist, muss hier eine Abwägung zwischen Qualität und Geschwindigkeit getroffen werden.^[21]

Das letzte Anforderungsgebiet beinhaltet Technologien, die eine Interaktion mit den virtuellen Elementen und unterschiedliche Eingaben in ein ARGS ermöglichen. Geeignet sind insbesondere neuartige Interaktions-Technologien, die eine dreidimensionale Eingabe und Interaktion erlauben.^[22]

3.2 Komponenten von einem ARGS

Das vorangegangene Kapitel hat verdeutlicht, dass sich ein ARGS im Wesentlichen aus drei technologischen Bausteinen zusammensetzt. Es benötigt zunächst ein Tracking-System, da eine Positions- und Orientierungsermittlung unabdingbar ist. Im Folgenden werden daher unterschiedliche Tracking-Technologien erläutert. Ferner wird Registrierung und Kalibrierung in einem einzelnen Abschnitt behandelt und es werden mögliche Fehlerquellen von Tracking-Technologien aufgezeigt. Im Anschluss werden alternative Display-Technologien beschrieben, zur Vervollständigung wird an dieser Stelle zudem auf das Thema Rendering eingegangen. Das letzte technologische Unterkapitel umfasst Technologien zur Eingabe und Interaktion mit einem ARGS.

3.2.1 Tracking-Technologien

In AR-Umgebungen ist es von höchster Wichtigkeit, dass die virtuellen Objekte korrekt an der realen Welt ausgerichtet werden. Ein Tracking-System übernimmt diese Aufgabe, erfasst die Position und Orientierung des Betrachters, der Kamera sowie des Displays und gibt diese an ein Computer-System weiter.^[23] Da in einem ARGS sowohl Positions- als auch Orientierungsdaten nötig sind, und in zweifacher Form Koordinationsdaten der X, Y und Z-Achse erfasst werden - also sechs Freiheitsgrade bestimmt werden - handelt es sich um ein sogenanntes 6DOF-Tracking.^[24][25]

Im Allgemeinen wird beim Tracking zwischen zwei Prinzipien, dem Outside-In und Inside-Out differenziert. Bei einem Inside-Out System werden die Trackingdaten von dem sich in einer Umgebung bewegenden Objekt selbst ermittelt. Der Raum oder die Umgebung verhelfen hierbei zur Erlangung der Daten. Das Outside-In Prinzip funktioniert umgekehrt und positioniert ein aktives System innerhalb eines bestimmten Raums oder einer Umgebung, welches dem ARGS die nötigen Trackingdaten liefert.^[26]

Heutzutage wird aus Kostengründen das Tracking eines ARGS in der Regel mit dem Inside-Out Prinzip realisiert.^[27] Zu den verbreiterten Formen zählen das optische Tracking oder das Tracking mit Inertialsensoren, da die erforderliche Hardware in beiden Fällen vergleichsmäßig gering ist. Zu alternativen Tracking-Verfahren zählen das mechanische, elektromagnetische, Ultraschall-Tracking oder das Tracking über GPS. Vor allem aber hybride Systeme, die aus einer Kombination von unterschiedlichen Sensoren bestehen sind in der Praxis weit verbreitet, da somit nachteilige Effekte einzelner Technologien reduziert werden können.^[28]

3.2.1.1 Optisches Tracking

Beim optischen Tracking werden die Orientierungs- und Positionsdaten durch den Einsatz von Kameras erkannt und mit trigonometrischen Funktionen berechnet.^[30] In Zusammenhang mit dem optischen Tracking ist vor allem das Unternehmen A.R.T. (Advanced Realtime Tracking) nennenswert, welches diesbezüglich unterschiedliche Lösungen offeriert.^[31] Es wird zwischen zwei Varianten, dem markerbasierten und markerlosen optischen Tracking unterschieden.^[32]

Das markerbasierte Tracking gilt als kostengünstigere und einfachere Variante, da der Berechnungsaufwand zur Erkennung wesentlich geringer ist als bei einem markerlosen Tracking. Wird ein Marker von einer Kamera registriert, kann daraufhin über ein Bildverarbeitungsprogramm die genaue Position und Orientierung errechnet werden. Nachteile dieser Form sind, dass Marker vor der Berechnung - also vor dem Spielbeginn - in der Spielumgebung platziert werden müssen und außerdem einen erhöhten Kalibrierungsaufwand benötigen, der in Abschnitt 3.2.1.7 näher dargestellt wird.^[33] Es können verschiedene Typen von Markern genutzt werden, wie bspw. passive reflektierende Objekte, aktive Infrarot-LED‘s (Leuchtdioden) und zweidimensionale Formen, die auch als Flachmarker bezeichnet und in Abbildung 3.2-1 verdeutlicht werden. Das ARToolkit ist ein Open-Source System und ein klassisches Beispiel für ein markerbasiertes Tracking mit Flachmarkern.^[34][35] Neben den Flachmarkern werden Marker aus retroreflektierendem Material genutzt, die meist in Form von Kugeln angeboten werden. Die Tracking-Kameras strahlen bei dieser Methode Lichtblitze - meist Infrarot-Licht - aus, und nutzen die Richtung der Lichtreflexion an den Markern, um daraus die Positionsdaten zu errechnen. Diese Art von Markern sind im Vergleich zwar teurer, jedoch weniger empfindlich bei sich verändernden Lichtbedingungen und nicht so störanfällig bei Verdeckungen.^[36] Aktive Infrarot-LED's funktionieren ähnlich, emittieren jedoch selbst Infrarotstrahlen und sind für größere Entfernungen besser geeignet.^[37] Markerbasierte Technologien erweisen immer eine sehr hohe Genauigkeit der Messungen.

Die markerlose Tracking-Technologie wird auch als Natural-Feature Tracking bezeichnet und stellt die optimalste Form vom optischen Tracking dar, da keine zusätzlichen Hilfsmittel benötigt werden, die in der Umgebung vorab platziert werden müssen. Außerdem ist der nötige Aufwand für eine Kalibrierung geringer als beim markerbasiertem Tracking. Für die Erkennung der Position und Orientierung werden natürliche Objekte aus der Umgebung erfasst. Ein Beispiel für eine derartige Erkennung liefert der klassische Ansatz Edgetracking, der eine Umgebung nach Ecken und Kanten untersucht und daraus ein 3D-Modell erstellt. Der Rechenaufwand für die Bildverarbeitung und Mustererkennung ist jedoch sehr komplex und bspw. für Handheld-Devices derzeit zu groß. Ohne den Einsatz von Markern sind die Systeme zudem nicht so robust und störungsanfälliger aufgrund von z.B. Beleuchtungsänderungen in der Tracking-Umgebung oder auftretender Deformierbarkeit von Objekten.^[38]

3.2.1.2 Tracking mit Inertialsensoren

Ein weiteres und in der Praxis mittlerweile oft angewendetes Tracking-Verfahren für ein ARGS stellt das Tracking mit Intertialsensoren dar. Hierbei werden jeweils drei senkrecht zueinander positionierte Beschleunigungs- und Drehratensensoren eingesetzt, um die Bewegungsänderungen in alle Richtungen - sprich in die X-, Y- und Z-Achse - erfassen zu können. Der Beschleunigungssensor oder auch Accelerometer misst die lineare Beschleunigung, indem es die auf ein Objekt wirkenden Kräfte ermittelt. Die ermittelten Gravitationswerte helfen bei der Berechnung der Orientierung, die Translationsbeschleunigung bei der Positionsbestimmung. Der Drehratensensor oder auch Gyroskop ermittelt die Winkelbeschleunigung eines Objekts, woraus sich die Rotationsgeschwindigkeit und somit die Orientierungsänderung bestimmen lässt.^[39] Inertialsensoren haben den Vorteil, dass sie keine zusätzlichen Hilfsmittel oder Hardware benötigen, was gleichzeitig auch ein Nachteil ist. Deshalb können sie nämlich nur relative Bewegungsänderungen zu ihrem Startpunkt bzw. Objekt erfassen. Absolute Positions- und Orientierungswerte müssen daher mittels Integration berechnet werden und führen zu dem bei Intertialsensoren bekannten Driftproblem und ungenauen Ergebnissen. Zur Vermeidung des Driftproblems und zur genaueren Initialisierung werden Inertialsensoren nicht selten in Kombination mit weiteren Tracking-Technologien verbaut.^[40] Beide Sensoren werden inzwischen in der MEMS- (Micro-Electro-Mechanical System) Technologie hergestellt und sind aufgrund ihrer geringen Größe und Erschwinglichkeit bereits in vielen digitalen Geräten wie z.B. Mobiltelefonen integriert. Dies ist eines der Gründe, warum heutige Mobiltelefone eine gute Basis für die Entwicklung von AR-Anwendungen bilden.^[41] Das Unternehmen Intersene ist führend bei der Entwicklung von hybriden Tracking-Systemen zur Bewegungsmessung, die mit Inertialsensoren auf MEMS-Technologie funktionieren.^[42]

3.2.1.3 Tracking mit Magnetfeldsensoren

Ein magnetisches Tracking-System für ein ARGS funktioniert ähnlich wie ein Magnetkompass, welcher sich nach dem Erdmagnetfeld ausrichtet. Der Kompass ermöglicht jedoch nur eine Richtungsbestimmung, da eine Positionsbestimmung aufgrund von Störungen, die auf das Erdmagnetfeld wirken, nicht erfolgen kann.^[43] Bei einem magnetischen Tracking in einem ARGS erzeugt daher ein Sender ein künstliches, magnetisches Feld. Die Magnetfeldsensoren, die sich innerhalb dieses Feldes bewegen, sind in der Lage Bewegungsströme zu messen und ermöglichen dadurch eine Lagebestimmung. Voraussetzung dafür ist, dass der Raum frei von magnetischen Störquellen ist. Das magnetische Tracking bietet im Vergleich zu anderen Technologien den Vorteil, dass hierbei keine direkte Sichtverbindung zwischen dem Sender und Empfänger bestehen muss.^[44] Ein bewährtes System bietet z.B. die Firma Ascension mit ihrem Produkt Flock of Birds.^[45]

3.2.1.4 Ultraschall-Tracking

Bei akustischen Tracking-Systemen werden zunächst fest positionierte Sender in einem Raum aufgestellt. Diese strahlen abwechselnd kurze Ultraschallimpulse aus, die von Empfängern erfasst werden. Ein System misst die Laufzeit für die Signalübertragung vom Sender zum Empfänger. Daraus können die unterschiedlichen Wegstrecken zu den Sendern und somit die Positionen der Empfänger ermittelt werden.^[46] Das Verfahren hat den Nachteil, dass es relativ ungenau und störanfällig ist, da die Messdaten von mehreren Faktoren wie bspw. dem Luftdruck, der Temperatur oder störenden Objekten zwischen Sendern und Empfängern beeinflusst werden. Im Gegenzug sind derartige Technologien jedoch sehr erschwinglich.^[47]

3.2.1.5 GPS und D-GPS

Das GPS ist ein Tracking-System für eine absolute Positions-, Geschwindigkeits- und Zeitmessung. Vor allem in der Fahrzeugnavigation ist es zurzeit ein sehr häufig genutztes System. Die Grundlage dieses Systems bilden 27 Satelliten, die gleichmäßig im All verteilt sind und untereinander synchronisiert sind. Diese versenden stetig ihre exakte Position und Zeit. Bis zum Eintreffen der ausgehenden Signale beim Empfänger entsteht eine Laufzeit, wodurch eine Entfernung zum Satelliten bestimmt werden kann. Da meistens eine dreidimensionale Positionsmessung erwünscht ist, ist eine Entfernungsmessung zu mindestens vier Satelliten erforderlich. Nach diesem Prinzip kann eine relativ genaue Position, die bis zu 15 Metern von der exakten Position abweichen kann, berechnet werden. Neben der Ungenauigkeit ist ein weiterer Nachteil dieser Methode, dass eine Sichtverbindung zu den Satelliten bestehen muss, um Signale empfangen zu können. Geschlossenen Räume, Tunnel etc. oder die Nähe zu großen Gebäuden oder Bäumen beeinträchtigen die Funktionsfähigkeit des Systems. Zuletzt ist eine Orientierungsermittlung bei sich nicht bewegenden Nutzern nicht möglich. Eine Bewegungsrichtung und Geschwindigkeitsmessung kann lediglich durch zwei zeitlich verzögerte Messungen oder durch die Ausnutzung eines Doppler-Effekts erfolgen. Beide Methoden setzen jedoch sich bewegende Empfänger voraus.^[48]

Mit dem Gebrauch von einem D-GPS (Differential Global Positioning System) kann die Ungenauigkeit von GPS-Systemen bis unter 1 Meter reduziert werden. Auf der Erde stehende Referenzstationen fungieren als stationäre GPS-Empfänger, die die Laufzeiten exakter bestimmen können. Die mobilen Empfänger erhalten über eine Langwelle Korrektursignale, somit können dessen Positionsdaten bei Bedarf verbessert werden. Für die Nutzung von D-GPS entstehen einmalig Anschaffungskosten für den Langwellenempfänger, GPS- und Korrektursignale werden kostenfrei ausgestrahlt.^[49]

Bei AR-Anwendungen werden GPS oder D-GPS-Systeme in der Regel in Kombination mit anderen Sensoren verbaut, um im Freien stets eine ungefähre Positionsermittlung zu ermöglichen und um bei der Initialisierung von anderen Sensoren, wie bspw. Intertialsensoren, zu verhelfen. Für eine Orientierungsberechnung ist diese Technologie zu ungenau.^[50]

3.2.1.6 Mechanisches Tracking

Bei dieser Form des Trackings liegt eine direkte mechanische Verbindung zwischen dem Referenzpunkt und dem zu messenden Objekt vor, um dessen Position und Orientierung zu bestimmen. Ein gutes Beispiel für ein derartiges Tracking-System bietet das Gypsy 7 von Animazoo, dass mit roboterähnlichen Konstruktionen und Gelenksensoren am Köper das Tracking ermöglicht.^[51][52] Positiv stellt sich heraus, dass bei mechanischen Trackern metallische Strukturen und magnetische Felder keine Störungen der Messungen verursachen. Zu einem weiteren positiven Merkmal gehört die Latenz, da sie im Vergleich zu anderen Technologien hier am geringsten ist. Außerdem muss keine Sichtverbindung zu dem messenden Objekt bestehen, Probleme mit Verdeckungen wie bei optischen Trackern treten hier nicht auf. Zu den Nachteilen der mechanischen Tracker gehören eine eingeschränkte Bewegungsfreiheit, eine Beschränkung des Arbeitsraumes, das Gewicht und bei qualitativ hochwertigen Trackern zudem der Preis.^[53]

3.2.1.7 Registrierung und Kalibrierung

Die Nutzung von Tracking-Technologien hat zur Folge, dass weitere Koordinatensysteme entstehen. Diese müssen aufeinander abgestimmt werden damit eine korrekte Überlagerung der virtuellen Objekte auf der realen Welt erfolgen kann. Virtuelle Objekte müssen perspektivisch korrekt an die richtige Position im Raum ausgerichtet werden. Dieser Prozess wird als Registrierung verstanden. Das kamerabasierte Tracking macht zudem eine Kalibrierung der Kamera erforderlich, um das Tracking zu verbessern und um die Gefahr einer falschen Überlagerung zu reduzieren.^[54]

Der Vorgang der Kamerakalibrierung zielt zunächst darauf ab, die extrinsischen und intrinsischen Parameter einer Kamera zu bestimmen. Extrinsische Parameter beschreiben die Position und Orientierung einer Kamera im Raum und werden in einem Kamerakoordinatensystem erfasst. Somit kann ein Zusammenhang zwischen dem Welt- und dem Kamerakoordinatensystem erstellt werden. Die intrinsischen Parameter dienen zur Beschreibung der geometrischen Parameter einer Kamera und zur Projektion des dreidimensionalen Kamerakoordinatensystems in ein zweidimensionales Bildkoordinatensystem. Zu den intrinsischen Werten, die völlig unabhängig zu den extrinsischen Werten sind, zählen die Brennweite der Kamera und das optische Zentrum in der Bildebene. Da in Kameras üblicherweise Linsen genutzt werden, kommt es bei der Projektion der Bilder zu Verzerrungen, vor allem an den Bildrändern ist die stärkste Krümmung festzustellen. Es wird diesbezüglich zwischen radialer und tangentialer Verzerrung unterschieden, wobei die radiale Verzerrung eine übergeordnete Rolle bei der Kalibrierung eines ARGS einnimmt. Diese Kameraverzerrung gilt es bei der Kalibrierung zu korrigieren, um eine genaues Tracking und eine exakte Überlagerung zu gewährleisten.^[55] An dieser Stelle sei das ARToolkit und Tsai erwähnt, da beide Varianten eine Implementierung für eine Kamerakalibrierung bieten.^[56]

3.2.1.8 Fehlerquellen und hybride Systeme zur Fehlerminimierung

Tracking-Systeme bilden die Grundlage für die Umsetzung von AR-Anwendungen und sind daher unvermeidbar. Durch ihre Verwendung entstehen jedoch mehrere Fehlerquellen, die zu unbrauchbaren Ergebnissen bei der endgültigen Darstellung führen können. Das fundamentale Problem bildet die korrekte Positionierung und Überlagerung in einer AR-Umgebung. Dieses ist abhängig von der Genauigkeit der ermittelten Werte und somit von der Exaktheit der eingesetzten Tracking-Technologien. Darüber hinaus kann es zu Schwimmeffekten kommen, die dazu führen, dass virtuelle Objekte zeitversetzt in die reale Szene überlagert werden. Dieser Effekt tritt nur bei sich bewegenden Szenen auf und ist bedingt durch Latenzzeiten der Tracking-Verfahren, der Verarbeitungszeit im Computer und der zum Rendern benötigten Zeit. Eine zusätzliche Fehlerquelle bildet die falsche Verdeckung von realen und virtuellen Elementen. Vor allem bei deformierbaren Objekten wie z.B. der menschlichen Hand tritt dieser Fehler verstärkt auf. Als nächstes Problem ist das Jitter zu nennen, dass ebenso von der eingesetzten Tracking-Technologie abhängig ist. Es resultiert aus falschen Ergebnissen der Tracker und kann z.B. zur Folge haben, dass eigentlich stationäre Objekte in der AR-Umgebung springen oder flimmern. Weiterhin können Tracking-Systeme einem sogenannten Drift ausgesetzt sein. Dieser Fehler ereignet sich aufgrund von kleinen Ungenauigkeiten in den Teilmessergebnissen, die auf Dauer zu immer größer werdenden Aufaddierungsfehlern führen. Letzteres sei die Aktualisierungsrate der Tracker zu nennen - je geringer die Rate, desto größer ist das Fehlerpotential.

Hybride Systeme aus unterschiedlichen Technologien eignen sich um Fehler anderer Technologien zu kompensieren.^[57][58] Als Beispiel für ein hybrides Tracking-System kann die technologische Veranschaulichung eines Mobiltelefons aus dem High-End Bereich, wie z.B. das iPhone 4, herangezogen werden. Über eine eingebaute Kamera wird das optische Tracking umgesetzt, zudem umfasst das Mobiltelefon Inertialsensoren für eine relative Positions- und Orientierungsmessung. Mit der integrierten GPS-Technologie kann eine absolute Positionierung realisiert werden.^[59]

3.2.2 Display-Technologien

Nachdem Positions- und Orientierungsdaten mit Tracking-Systemen ermittelt wurden, müssen die virtuellen Elemente mit der realen Welt überlagert und perspektivisch korrekt an der richtigen Position dargestellt werden. Das folgende Kapitel setzt sich mit den möglichen Display-Technologien für die kombinatorische Darstellung auseinander und erläutert die Umsetzung. Abschluss des Kapitels bildet ein Einblick in das Rendering Verfahren, welches die Darstellung der künstlichen Objekte auf den unterschiedlichen Displays ermöglicht.

Im Allgemeinen wird zwischen zwei Funktionsweisen unterschieden, dem Optical See-Through und Video See-Through Prinzip. Ein Optical See-Through Display erlaubt dem Nutzer einen direkten Blick in die reale Welt, virtuelle Elemente werden im Sichtfeld des Nutzers eingeblendet. Bei Video See-Through Displays werden Kameras eingesetzt, um das Bild der realen Umgebung auf ein Computerdisplay zu übertragen. Auf diesem Live-Stream werden die virtuellen Elemente überlagert. Darauf aufbauend lassen sich AR-Displays grob in 3 Kategorien einteilen: am Kopf getragene Displays, die sich tiefergehend in Head-Mounted Displays und Virtual-Retinal Displays unterteilen lassen, umgebungsfixierte Displays und Handheld bzw. bewegliche Displays, die nachfolgend näher erläutert werden.^[60]

3.2.2.1 Head-Mounted Displays

HMD sind am Kopf getragene Displays, gehören zu den ersten und klassischen Displays für AR-Umgebungen, sind jedoch für den Einsatz im Gaming-Sektor im Moment noch zu kostspielig. Der Nutzer trägt in diesem Fall eine spezielle Brille, die ihm den Einblick in die augmentierten Szenarien ermöglicht. Es wird tiefergehend zwischen einem Optical See-Through und Video See-Through HMD unterschieden.

Bei der Optical See-Through Variante hat der Anwender weiterhin einen direkten Blick in sein reales Umfeld. Ein Miniaturdisplay, dass über den Augen positioniert ist, projiziert virtuelle Elemente auf einen halbdurchlässigen Spiegel, oder auch Combiner. Da der Spiegel nur wenige Zentimeter vor dem Auge angeordnet ist, wird eine runde Linse genutzt, damit die virtuellen Elemente in einer größeren Entfernung erscheinen. Eine schräge Ausrichtung des Combiners sorgt letzten Endes dafür, dass die computergenerierten Objekte oder Informationen in das Sichtfeld des Nutzers reflektiert werden. Die Funktionsweise eines Video See-Through HMD hingegen basiert auf einem Live-Stream von ein oder zwei Kameras, die das Blickfeld eines Nutzers in Echtzeit aufzeichnen. Dieses Kamerabild wird zunächst an einen Computer übertragen, der dann die virtuellen Elemente mit dieser Aufzeichnung vermischt. Das gemischte Kamerabild wird im nächsten Schritt auf ein Miniaturdisplay übertragen, dass sich in diesem Fall vor den Augen des Anwenders in einer geschlossenen Brille befindet. Wird nur ein Display für ein Auge verwendet, liegt ein monokulares HMD vor. In diesem Fall liegt beim Anwender kein echter 3D-Eindruck vor, da keine zwei Kameras verwendet werden und es sich nicht um eine stereoskopische Anzeige handelt.^[62]

Beide AR-Display Lösungen sind bislang nicht optimal ausgereift und weisen unterschiedliche Nachteile auf. Optical See-Through Displays führen bei Bewegung schnell zu Schwimmeffekten, zudem werden die virtuellen Bestandteile immer transparent dargestellt. Um eine exakte graphische Überlagerung zu gewährleisten, erfordern sie des Weiteren qualitativ hochwertigere Tracking-Sensoren als bei der Video See-Through Technologie. Ferner kann es zu visuellen Wahrnehmungsstörungen kommen, da hierbei der Anwender zwei unterschiedlichen Bildtiefen ausgesetzt ist: zum einen der variablen Tiefe der Realität und zum anderen der konstanten Tiefe der virtuell abgebildeten Elemente. Dies hat zur Folge, dass eine Bildtiefe unscharf erscheint oder dass die Augen durch das permanente und abwechselnde Fokussieren angestrengt werden. Video See-Through Lösungen weisen im Gegensatz dazu nur eine Bildtiefe auf und lösen dieses Problem. Im Übrigen kann zwar der Schwimmeffekt beseitigt werden, jedoch hängt das Gesamtbild den Bewegungen des Nutzers hinterher. Es wird um die Zeit verzögert dargestellt, die der Computer für das Rendering benötigt. Zudem kann es je nach Kameraauflösung zu einer geringeren Qualität bei der Darstellung der realen Welt führen. Beide Varianten sind von einem begrenzten Blickfeld gekennzeichnet. Außerdem muss bei der Herstellung eines HMD ein Mittelmaß zwischen schweren, aber qualitativ besseren, und ergonomischen, jedoch qualitativ schlechteren, HMD getroffen werden.^[63] Aufgrund der geringen Helligkeit der HMD eignen sie sich nur für einen Einsatz im Indoor-Bereich.^[64]

3.2.2.2 Virtual-Retinal Displays

Zu einer weiteren Ausführung der am Kopf getragenen Displays gehören die VRD (Virtual-Retinal Displays). Diese verwenden farbiges moduliertes Laser mit geringer Energie, dass direkt auf die Netzhaut (Retina) projiziert wird, um somit ein Bild zu erzeugen. VRD haben eine vollständige Marktreife bis dato nicht erlangt, da sie jedoch viele Vorteile gegenüber den HMD aufweisen liegen die Erwartungen hoch, dass sie die HMD zukünftig substituieren werden. Die Bilder können mit deutlich höherer Helligkeit, Auflösung sowie höherem Kontrast dargestellt werden. Sie haben eine verbesserte Farbwiedergabe als Standarddisplays und erzeugen eine echte stereoskopische Anzeige mit Tiefenanpassung. Obendrein ermöglichen sie einen wesentlich breiteren Blickwinkel und sind angesichts der MEMS-Technologie kompakt und leichtgewichtig. Aufgrund dessen eignen sie sich ebenso für mobile Outdoor-Lösungen im Vergleich zu den HMD.^[66] Microvision ist der Vorreiter dieser Display-Technologie und hat 2001 das erste allerdings nur monochrome, rotfarbige Display publiziert.^[67] Die Firma Brother hat 2008 einen ersten vollfarbigen Prototypen unter der Bezeichnung RID (Retinal Imaging Display) veröffentlicht, welcher in naher Zukunft den kommerziellen Markt erreichen wird und in Abbildung 3.2-3 dargestellt wird.^[68]

3.2.2.3 Handheld Displays

Handheld Displays sind gekennzeichnet von ihrer kompakten Größe und Handlichkeit. Daher können Anwender derartige Displays in der Hand halten und sind auf diese Weise uneingeschränkt mobil. Beispiele für solche Displays sind Tablet-PC's (Personal Computer), PDA's (Personal Digital Assistant) oder Mobiltelefone. Die Geräte vereinen einen Prozessor, ein Display, Speichermodule und Interaktionstechnologien in einem System. Sind die Geräte auf der Rückseite zudem mit einer Kamera ausgestattet, kann ein Live-Stream auf das Display übertragen werden. Es handelt sich hierbei um ein Video See-Through Konzept und ist in der Praxis derzeit das am häufigsten genutzte Verfahren. Im Gegensatz zu den am Kopf getragenen Displays, deren Blickrichtung vom Kopf des Nutzers abhängig ist, bestimmt bei dieser Form die Ausrichtung des Geräts die Blickrichtung, da die Kamera fest mit dem Display verbunden ist. Die Optical See-Through Variante funktioniert ähnlich wie die des HMD mit einem halbdurchlässigen Spiegel worauf die virtuellen Elemente abgebildet werden. Der Anwender trägt ein Fenster in seinen Händen, auf dem die AR-Szene abgebildet wird. In Zusammenhang mit AR-Gaming und Handheld Displays stehen vor allem die Mobiltelefone im Fokus, da sie aufgrund ihrer Mobilität und weltweiten Verbreitung ein großes Potential aufweisen um AR im Massenmarkt zu etablieren.^[69] Obendrein ist der heutige Stand der Technik in Mobiltelefonen bereits derartig fortgeschritten, dass die graphischen Voraussetzungen für ansprechende AR-Anwendungen erfüllt werden können.^[70] Für High-End Handys wie z.B. dem iPhone werden gegenwärtig unterschiedliche AR-Applikationen angeboten.^[71] Zu der größten Schwachstelle von Mobiltelefonen im Einsatz für AR zählt vor allem die begrenzte Bildschirmgröße und somit der geringe Blickwinkel, außerdem ist keine freihändige AR-Lösung umsetzbar.^[72]

3.2.2.4 Umgebungsfixierte Displays

In der dritten Kategorie von Displaytechnologien werden die Displays fest in der Umgebung des Nutzers positioniert. Dadurch wird der Anwender davon befreit das Display mit sich herumtragen zu müssen. Innerhalb dieser Kategorie findet eine Unterscheidung zwischen absolut und relativ feststehenden Displays statt.^[73] Als Beispiel für absolut positionierte Displays lässt sich vor allem der sog. FogScreen als projektionsbasierter Ansatz nennen. Hierbei erfolgt die Erweiterung der Realität durch eine dreidimensionale Videoprojektion auf Wasserdampf.^[74] Andere Lösungen nutzen transparente Projektionsleinwände oder projizieren die virtuellen Elemente direkt auf die Oberfläche der physischen Objekte.^[75] Relativ feststehende Displays sind zwar fest positioniert, jedoch von einem mobilen Rahmen umgeben. Diese Form von Displays werden auch als HUD (Head-Up Displays) bezeichnet und wurden anfangs in Flugzeugen verbaut, um zusätzliche Informationen in das Sichtfeld der Piloten einzublenden. Forschungsarbeiten bemühen sich zur Zeit um die Entwicklung von HUD für Kraftfahrzeuge, in denen die Frontscheibe als Combiner für die erweiterte Realität dienen soll.^[76] Vor allem projektionsbasierte Lösungen eignen sich sehr gut für qualitativ anspruchsvolle AR-Anwendungen die keine Mobilität verlangen, da sie eine großflächigere Darstellung, eine höhere Auflösung, Helligkeit sowie Kontrast und einen breiteren Blickwinkel erlauben als die anderen vorgestellten Displayformen.^[77] Allerdings zählen sie ebenso zu den kostenintensivsten Verfahren.^[78]

3.2.3 Rendering

AR-Applikationen sorgen für eine erweiterte Realität, indem sie virtuelle Objekte mit der realen Welt überlagern. Rendering-Systeme erzeugen Computergrafiken auf einem für eine AR-Anwendung geeigneten Display. Um dreidimensionale Elemente auf einem zweidimensionalen Bildschirm darzustellen, nutzt der Renderer eine virtuelle Kamera. Diese Kamera hat die gleiche Funktionsweise wie eine Lochkamera, alle Strahlen von Bildpunkten in einem Raum treffen sich bei der perspektivischen Projektion in einem Punkt. Für eine korrekte Positionierung der virtuellen Objekte in der Realität, muss zunächst der Sichtbereich der virtuellen Kamera an den realen Sichtbereich angeglichen werden.^[79] Hierbei kommt es zu einem Zusammenspiel der Koordinaten aus dem Render- und Trackingsystem.^[80]

Gerade bei AR-Anwendungen ist eine möglichst realistische Darstellung der grafischen Objekte wünschenswert. Da die überlagerten virtuellen Elemente nicht immer vollständig im Vordergrund erscheinen sollen, sondern in einem AR-Szenarium auch teilweise von realen Objekten überdeckt werden können, kommen an dieser Stelle Geometrie- und Bild-basierende Algorithmen zum Einsatz, die eine korrekte Verdeckung ermöglichen. Um zudem eine höhere Realitätstreue zu erzielen, werden die Grafiken z.B. mit Schatten oder Reflektionen dargestellt. Einige Systeme analysieren außerdem die Beleuchtung in der realen Umwelt und entwickeln dadurch ein Beleuchtungsmodell, dass auf die virtuellen Objekten übertragen werden kann.^[81]

Die Mehrzahl existierender AR-Anwendungen wenden standardisierte Computergrafik-Algorithmen an wie z.B. die weit verbreitet Software Bibliothek OpenGL oder Szenegraph-basierte Bibliotheken wie z.B. OpenSG. ^[82] Bei OpenGL ES2 handelt es sich um eine einfachere Variante von OpenGL, die speziell für den Einsatz auf mobilen Geräten konzipiert wurde und dessen Hardware-Gegebenheiten berücksichtigt.^[83] Diese bewährten Technologien sind einfach in ihrer Anwendung sowie Implementierung und ebenso schnell genug, um das für AR-Anwendungen erforderliche Echtzeit-Rendering umzusetzen.^[84]

3.2.4 Verfahren und Technologien für die Eingabe und Interaktion

Die vorherigen Kapitel haben sich ausschließlich mit der Darstellung - also der Ausgabe von Informationen oder Grafiken - in AR-Applikationen beschäftigt. Das vorliegende Kapitel soll nun die Möglichkeiten zur Eingabe und Interaktion in einem ARGS erläutern, da ohne diese Funktionalitäten AR-Lösungen kein echtes Potential aufweisen.

3.2.4.1 Eingabemöglichkeiten

Klassische Eingabegeräte an Schreibtischen wie u.a. eine Maus oder Tastatur, erlauben dem Nutzer zweidimensionale Eingaben zu tätigen. Da ein ARGS meist mobil zum Einsatz kommt, werden alternative Verfahren zur Eingabe von Informationen verlangt, die teilweise abhängig von den eingesetzten Tracking- und Displaytechnologien sind. Von Vorteil sind ebenso Eingabeverfahren die eine echte dreidimensionale Eingabe mit 6 Freiheitsgraden erlauben. Werden bewegliche Displays wie bspw. Mobiltelefone als Grundlage für AR-Anwendungen genutzt, findet die Bedienung der AR-Elemente über die interne Steuerung der Mobiltelefone statt, also über die Tastatur des Telefons, das Touchscreen oder einen Stift bei einem PDA. Die nachfolgenden Eingabemöglichkeiten sind in Verbindung mit Handys zusätzlich zur Erweiterung der Funktionalitäten und ebenso bei alternativen AR-Displays umsetzbar.

3.2.4.1.1 Markerbasierte Eingaben

Wird eine AR-Anwendung mit einem Markerbasierten-Tracking umgesetzt, werden die eingesetzten Marker zugleich gerne als Eingabegeräte genutzt. Diese können zum einen als Funktionsknöpfe oder Slider verwendet werden aber auch die Eingabe von Gesten, wie Schütteln oder Drehen erkennen. Um die angebotenen Funktionalitäten der Marker anzuzeigen werden gelegentlich sog. Ghosted Hints in die augmentierte Umgebung eingeblendet. Schnappschüsse oder animierte und sich wiederholende Filme werden gerne für die Verdeutlichung der Eingabemöglichkeiten genutzt.^[85]

3.2.4.1.2 Tangible User Interfaces

Die Notwendigkeit ausdrücklicher Hinweise zur Erkennung der Funktionalitäten werden bei TUI (Tangible User Interfaces) umgangen, da sie die umgebende Welt in ein Benutzerschnittstelle umwandeln. Digitale Informationen werden mit physikalischen Objekten in der Umgebung verknüpft und somit fassbar sowie steuerbar.^[87] Ein Beispiel für ein solches TUI liefert das in Abb. 3.2-4 illustrierte elektronische Musikinstrument The Reactable, dass mit greifbaren Objekten die Steuerung des Systems ermöglicht.^[88]

3.2.4.1.3 Motion-Capturing

Beim Motion-Capturing werden Eingaben mittels Bewegungen einzelner Körperteile oder des ganzen Körpers erfasst und als Eingaben zur Steuerung eines System verwertet.^[89] Als Beispiel für ein Ganzkörpertracking wurde in Zusammenhang mit dem mechanischen Tracking bereits auf das Tracking-System Gipsy 7 von Animazoo verwiesen, welches Körperbewegungen mit Sensoren oder mechanischen Konstruktionen am Körper erfassen kann.^[90] Für die Erfassung von Hand- und Fingerbewegungen sind ebenso mechanische Verfahren in Form von trackenden Handschuhen denkbar. Des Weiteren besteht auch hier die Möglichkeit eines markerbasierten Tracking-Verfahrens, wenn Hände mit Markern versehen werden.^[91] Eine günstige Alternative verspricht der farbige sog. Color Glove Handschuh von Robert Y. Wang und Jovan Popović, der ähnlich wie eine markerbasierte Lösung mit Kameraerkennung funktioniert.^[92] An der Universität Bonn wird aktuell an einer Lösung ohne Marker und Handschuhe gearbeitet, die derzeitig bereits 6 Freiheitsgrade der Lage der Hand in 4 verschiedenen Gestern ermitteln kann. Hier besteht aktuell noch Forschungsbedarf, um in Zukunft alle 27 möglichen Freiheitsgrade einer Hand exakt registrieren zu können.^[93] Das Frauenhofer Institut stellte 2009 unter dem Namen iPoint 3D gleichfalls eine Technologie vor, die eine 3D-Eingabe über Gesten ermöglicht und gänzlich ohne Zusatzhardware am Körper auskommt.^[94] Letzteres ist an dieser Stelle noch die Kopferfassung zu nennen, die ebenso in AR-Anwendungen zur Eingabe und Steuerung genutzt werden kann. Liegt ein ARGS basierend auf einem HMD vor, ist ein Positions- und Orientierungstracking des Kopfes innerhalb dieses Systems bereits integriert. Die aus dem Tracking ermittelten Daten können hierbei zur Erfassung der Kopfbewegungen genutzt werden.^[95]

3.2.4.1.4 Spracheingabe

Die Eingabe mit Hilfe der Spracherkennung liefert eine zusätzliche Möglichkeit zur Steuerung eines Systems, kann mit anderen Eingabe-Technologien kombiniert werden und ist insbesondere sinnvoll, wenn die Benutzung beider Hände eingeschränkt ist.^[96] Ein bewährtes Spracheingabesystem bietet u.a. die Firma Nuance mit der Software Dragon Naturally Speaking, welches unter dem Namen Dragon Dictation auch als eingeschränkte Version für das iPhone erhältlich ist.^[97]

3.2.4.1.5 Eingaben mit dem Blick

Eine letzte Möglichkeit zur Eingabe für AR-Umgebungen bietet der Blick eines Menschen, der über ein am Kopf getragenes oder ein in der Umgebung platziertes System erfasst werden kann. Für die Eingabe kann die Blickrichtung oder die Fixationstiefe der Augen genutzt werden. Die Fixationstiefe kann die Genauigkeit einer Selektion erhöhen, die im Abschnitt 3.2.4.2.1 näher behandelt wird. Die Erfassung des Blickes wird in der Literatur als Eye-Tracking bezeichnet, eine blickbasierte Selektion wird Picking genannt.^[98]

3.2.4.2 Interaktionsmöglichkeiten

Nachdem verschiedene Verfahren zur Eingabe vorgestellt wurden, beleuchtet das letzte technologisch ausgerichtete Kapitel für ein ARGS nun die Verwendung dieser Eingaben. Es behandelt das Auswählen und das Manipulieren von Objekten sowie die Bewegung innerhalb einer AR-Szenerie, um eine Interaktion mit einem ARGS zu ermöglichen.

3.2.4.2.1 Auswahl

Ein ARGS möchte dem Nutzer gegebenenfalls die Möglichkeit geben, eins oder mehrere virtuelle Objekte auswählen zu können. Eine Selektion kann mit unterschiedlichen Technologien erreicht werden. Liegen die Elemente in einem sichtbaren Bereich kann u.a. eine getrackte Hand ein Objekt ergreifen oder ein Marker mit einem Objekt kollidieren und somit eine Selektion hervorrufen. Andere Techniken nutzen einen virtuellen Strahl, welcher auf ein Objekt ausgerichtet werden kann und durch einen Knopf oder das Verharren einer bestimmten Dauer dessen Auswahl bewirkt. Sind Elemente nicht direkt sichtbar müssen andere Verfahren eingesetzt werden. An dieser Stelle bieten sich u.a. Miniaturansichten der Welt an, die je nach Anwendung skaliert, gedreht oder verschoben werden und demzufolge alle Elemente erreichen können.^[99] Zusätzliche Möglichkeiten für eine Selektion können je nach Interaktionsgerät variieren und ebenso über das Betätigen eines Touchscreens oder einer Tastatur, der Stimme, dem Blick oder mit Gesten erfolgen. Nach einer Selektion folgt in der Regel ein visuelles oder akustisches Feedback, um die Auswahl eines oder mehrerer Objekte zu signalisieren.^[100]

3.2.4.2.2 Manipulation

Die Manipulation von Objekten umfasst alle möglichen Aktionen, die nach einer vorangegangenen Selektion auf einem Objekt ausgeführt werden können. Im klassischen Fall wird darunter eine Drehung oder eine Positionsänderung verstanden, aber auch andere Operationen sind durchaus sinnvoll.

Um eine Verschiebung eines virtuellen Objekts zu realisieren, eignet sich zunächst das einfache markerbasierte Verfahren. Ein Marker selektiert und verbindet das Objekt, um es daraufhin an eine beliebige Position verschieben zu können. Die Manipulation umfasst jedoch nicht die Verschiebung eines Objekts durch Änderung der Blickrichtung bzw. durch Bewegung eines Nutzers in einer AR-Umgebung. Ist eine Drehung eines virtuellen Gegenstands erwünscht, bieten Marker nur umständliche Lösungen. Flachmarker können nicht gedreht werden, bei Würfel- oder Baummarkern muss ein Umgreifen erfolgen. Sind Objekte nicht sichtbar sind auch bei der Manipulation andere Verfahren notwendig. An dieser Stelle bietet sich bspw. eine relative Steuerung an, die ebenfalls mit einem Marker funktioniert. Der relative Abstand zwischen Verdeckungsursprung und dem erneutem Tracking des verdeckten Objekts wird verwendet, um eine Verschiebung in gleicher Richtung zu realisieren.^[101]

Zu weiteren vorstellbaren Aktionen eines ARGS gehören Befehle wie das Einfügen, Kopieren, Austauschen, Aktivieren, Deaktivieren, Invertieren oder Löschen von virtuellen Gegenständen. Zusätzlich ist es denkbar, dass das ARGS das Ändern der Eigenschaften oder auch des Verhaltens von Objekten ermöglicht. Nach einer beendeten Aktion erfolgt auch bei der Manipulation meist ein visuelles, akustisches oder haptisches Feedback. Um den Nutzer über die Bedienmöglichkeiten zu informieren und somit die Performance der Interaktionen zu erhöhen, ist die Verwendung von Hinweisen in textlicher, visueller oder akustischer Form von Nutzen.^[102]

3.2.4.2.3 Navigation

Die Navigation innerhalb einer AR-Umgebung erfolgt schlicht durch die Bewegung des Benutzers in der Realität. Die Blickrichtung passt sich je nach verwendeter Displaytechnologie entweder dem Blick des Nutzers oder des Blickwinkels der Kamera an. Da ein virtuelles Objekt einen festen Standort in einer AR-Anwendung hat, muss dessen Position und, falls es sich um ein dreidimensionales Objekte handelt, zudem dessen Orientierung sich der neuen Position und dem neuen Blickwinkel anpassen. Dies muss bei AR-Applikationen in Echtzeit erfolgen.^[103]

3.3 Multi-User Fähigkeit in Augmented Reality Games

Zu einem zusätzlichen, interessanten Feature eines ARGS zählt die Multi-User Fähigkeit, die es den Gamern erlaubt, zusammen in Kollaboration oder als Gegner ein Spiel auszutragen. Im Unterschied zu klassischen VR-Games, kann es in einem AR-Game zu einer direkten Interaktion kommen, da als zentrale Spielumgebung die reale Umgebung genutzt wird. In VR-Spielen würde eine direkte Interaktion die aktiven Spieler vom eigentlichen Spielgeschehen ablenken. ARG können daher eine neuartige Art an sozialer Interaktion zwischen den Gamern anbieten und bspw. auch die Gefühle oder das Verhalten der Spieler in die Handlung des Spiels miteinbeziehen. Um die Multi-User Fähigkeit zu realisieren, müssen die beteiligten ARGS über ein Netzwerk miteinander kommunizieren. In diesem Zusammenhang bietet derzeit die WLAN-Technologie das geeignetste Verfahren. Für die Verteilung der Applikations- und Szenedaten auf allen ARGS, kann z.B. in der Infrastruktur ein zentraler Server eingesetzt werden. Sind die Gamer in einem ARG räumlich voneinander getrennt oder über eine längere Entfernung verteilt, kann falls notwendig eine zusätzliche Kommunikationsschnittstelle wie bspw. ein Mobilfunkgerät integriert werden.^[104]

4 AR.Drone als Beispiel für ein ARGS

Die AR.Drone wurde von der Firma Parrot konzipiert, die sich seit 15 Jahren mit kabellosen Technologien beschäftigen und zu einen der führenden Anbieter weltweit in diesem Gebiet gehören.^[105] Die Entwicklungszeit des Geräts dauerte länger als vier Jahre und es wurden mehr als 20 Patente registriert.^[106] Seit August 2010 ist das Spielgerät global in ausgewählten Geschäften auf dem Markt und in Deutschland für einen Preis von 299 Euro erhältlich.^[107][108] Es lässt die virtuelle Welt und die Realität miteinander verschmelzen und liefert somit ein innovatives Beispiel für ein Augmented Reality Spielgerät.^[109] Nachdem alle technologischen Grundlagen für ein ARGS im vorherigen Kapitel erläutert wurden, soll nun die AR.Drone diesbezüglich vorgestellt und untersucht werden.

4.1 Äußere Beschaffenheit

Bei der AR.Drone handelt es sich um einen Quadcopter^[111] mit vier eigenständigen, seitlich abspreizenden Propellern, die jeweils mit einem bürstenlosen Motor angetrieben werden. Die vier Motoren können bis zu 3.500 Umdrehungen pro Minute erreichen und haben eine Leistungsaufnahme von 15 Watt. Die äußere Beschaffenheit der Drohne besteht neben Kohlefaser zudem aus hoch widerstandfähigem PA66-Kunststoff.^[112]

Der Lieferumfang des Spielgeräts enthält zwei verschiedene Verkleidungen, die für eine Verwendung in Innenräumen oder im Freien optimiert sind.^[113] Das EPP-Gehäuse für Indoor Flüge besteht aus einer robusten Schaumstoffumrandung^[114] und soll im Besonderen die Rotoren bei Kollisionen mit Wänden oder Gegenständen schützen.^[115] Kommt es zu einem Zusammenstoß der Drohne mit einem Hindernis, erfolgt ein sofortiges und automatisches Stoppen aller Motoren. Zudem ist die Steuerungsanwendung auf der Fernbedienung mit einer Notfalltaste ausgestattet und erlaubt ebenso ein sofortiges Anhalten.^[116] Sollte es dennoch zu Beschädigungen kommen, bietet Parrot einen Online Shop für Ersatzteile und Zubehör an.^[117] Mit der Indoor-Hülle misst das Spielzeug 52,5 x 51,5 cm und wiegt 420 Gramm, ohne die Schutzhülle misst es 45 x 29 cm und wiegt 380 Gramm.^[118] Die stromlinienförmige Outdoor-Hülle hat vor allem einen aerodynamischen Hintergrund. Sie verringert die Angriffsfläche für den Wind und schafft somit eine hohe Manövrierfähigkeit und verbesserte Steuerung der Drohne. Sie wird in drei verschiedenen und markanten Farbkombinationen angeboten, dadurch kann der Pilot die Bewegungen der Drohne einfacher verfolgen. Außerdem kann der eigene Quadcopter über die Frontkamera einer gegnerischen AR.Drone bei einem Multiplayer-Kampf besser erkannt werden. Um einen Kampf zweier Drohnen mit Indoor-Hüllen zu ermöglichen, können Aufkleber mit ähnlich auffälligen Farben an den Umrandungen befestigt werden.^[119]

4.2 Technologische Komponenten und Daten

Das integrierte Computersystem arbeitet mit einer Linux-Plattform und einem DaVinci-SoC mit einer Parrot P6 ARM926 468 MHz 32-Bit CPU (Central Processing Unit). Neben einem DDR (Double Data Rate) -Modul mit 128 MB bei 200 MHz ist das Gerät zudem mit einem 128 MB Flash Memory Modul ausgestattet. Ein Firmware-Update des Systems wird über WLAN oder USB (Universal Serial Bus) ermöglicht.^[120] Für die Stromversorgung des ganzen Systems sorgt die eingebaute UL2054 Lithium-Polymer-Batterie. Mit 3 Zellen liefert sie eine Spannungsversorgung von 11,1 V und 1000 mAh. Nach etwa zwölf Flugminuten ist der Akku vollständig entladen, der aktuelle Ladezustand wird auf dem Display des Steuerungsgeräts angezeigt. Ein erneutes Aufladen des Akkus benötigt 90 Minuten, über den Online-Shop von Parrot können zusätzliche Akkus bezogen werden. Die erreichbare Fluggeschwindigkeit der AR.Drone liegt laut Hersteller bei 5 m/s bzw. 18 km/h.^[121] Die Beschleunigung und maximale Geschwindigkeit des Quadcopters kann über die Einstellungen in AR.FreeFlight verringert werden, indem der Neigungswinkel reduziert wird. Dies ist sinnvoll, um die Drohne den Gegebenheiten der Flugumgebung anzupassen, da bspw. in Innenräumen ein langsameres Fliegen zur Kollisionsvermeidung von Vorteil ist.^[122] In Kombination mit dem Computersystem bilden vor allem die MEMS das Herzstück des Quadcopters: ein Achsen-Beschleunigungssensor, ein Gyrometer sowie ein Ultraschall-Sensor. Die verbauten MEMS sorgen für eine intuitive Steuerung der Drohne, da verschiedene Autopilot-Funktionen realisiert werden können, die in Abschnitt 4.5 vertieft werden. Obendrein wurde das Fluggerät mit zwei Kameras ausgestattet, um AR zu realisieren und bei der Steuerung zu unterstützen.^[123]

Der Ultraschall-Höhenmesser arbeitet mit einer Abtastfrequenz von 40 kHz und auf einer Reichweite von bis zu 6 Metern Höhe, die Messfrequenz liegt bei 25 Hz. Zusammen mit der Bodenkamera kann der Sensor für eine vertikale Stabilisierung der AR.Drone während eines Flugs sorgen.^[124]

Sowohl der Beschleunigungsmesser, als auch der Gyrometer können über 3 Achsen auswerten und bilden zusammen eine Einheit zur Trägheitsmessung. Dadurch kann der Roll-Nick-Gier-Winkel und die Winkelgeschwindigkeit der Drohne berechnet werden, die Messfrequenz liegt hier bei 200 Hz. Dieses System wurde von Parrot als Antivibrations-System patentiert.^[125]

Die erste Kamera ist an der Front der Drohne platziert und überträgt einen codierten Live-Videostream auf das Display des verwendeten Steuerungsgeräts, der Gamer bekommt dadurch den Eindruck selbst als Pilot in dem Quadcopter zu sitzen. Die Frontkamera bildet die Schlüsselfunktion für AR-Gaming auf der AR.Drone, da sie ein optisches Tracking realisiert und Position sowie Orientierung des Quadcopters ermitteln kann. Zusammen mit den Intertialsensoren werden Bewegungsänderungen des Fluggeräts in Echtzeit berechnet und angepasst. Die Kamera unterstützt in Zusammenhang mit der integrierten Software eine Erkennung von zweidimensionalen Markern (Tags) - die auf den Hüllen der AR.Drones platziert sind - sowie eine Formen-Erkennung.^[126] Somit kann in einem Multiplayer-Kampf eine gegnerische AR.Drone registriert und angegriffen werden. Virtuell generierte Schüsse werden über die Positionsdaten der Kamera auf der realen Szene überlagert. Schusstreffer auf andere Drohnen können ebenso von der Kamera erfasst werden, die Erkennung funktioniert auf bis zu einer Entfernung von 5 Metern bzw. 16,4 Fuß. Außerdem können virtuelle Hindernisse oder auch Gegner in Form von virtuellen, phantasievollen Monstern über die Kamera eingeblendet und auf dem Live-Videostream der realen Umgebung überlagert werden.^[127] Virtuelle Objekte können auf einer Reichweite von 30 cm bis 5 Metern erkannt werden. Die Auflösung der VGA (Video Graphics Array) -Kamera beträgt 640x480 Pixel und die Videofrequenz 15 fps (Frames per Second). Es handelt sich dabei um eine Linsenkamera mit diagonaler Aufnahmeformat-Ausdehnung und 93°-Weitwinkel, zudem ist ein CMOS (Complementary Metal Oxide Semiconductor) -Sensor eingebaut.^[128]

Die Bodenkamera der AR.Drone integriert eine QCIF (Quarter Common Intermediate Format) -Kamera mit einer Auflösung von 176x144 Pixeln, die ebenso über einen CMOS-Sensor verfügt. Sie weist über die Diagonallinse einen Blickwinkel von 64° auf und erlaubt eine Videofrequenz von 60 fps. Die Hochgeschwindigkeitskamera dient hauptsächlich zur Berechnung der horizontalen Geschwindigkeit, ermöglicht jedoch auch die Übertragung eines codierten Live-Streams.^[129] Kommt es bei einem Outdoor-Flug zu Windeinflüssen auf den Quadcopter, kann ein integriertes System zum Bildvergleich für eine Stabilisierung der Fluglage sorgen.

Der Gamer kann auf seinem Display nach Belieben sich entweder das Bild der Front-, der Boden- oder auch beider Kameras gleichzeitig anzeigen lassen.^[130] Mit den zusätzlichen, kostenpflichtigen Applikationen AR.PowerFlight oder Flight Record aus dem Apple App Store, können Fotos oder auch Videos während des Flugs mit der Drohne aufgenommen werden.^[131]

4.3 Steuerung

Die Verbindung mit dem Steuerungsgerät und der AR.Drone wird über eine digitale Ad-Hoc WLAN-Verbindung realisiert. Der Quadcopter baut dafür ein eigenes WLAN-Netzwerk auf, es ist demnach keine Router- oder Internetverbindung erforderlich. Die durchschnittliche Reichweite wird vom Hersteller mit 50 Metern angegeben. Wurde eine Verbindung zur Drohne hergestellt, kann über das App AR.FreeFlight der Quadcopter gesteuert werden. Vor dem ersten Flug, sollte die Drohne über den Button Flat Trim kalibriert werden, um die Intertialsensoren auf 0 zu setzen. Die Drohne sollte während der Kalibrierung auf einer ebenen Fläche liegen. Eingaben und Interaktionen mit dem Fluggerät werden über das Touch-Screen-Display vom iPhone, iPad oder iPod Touch realisiert. Über den Take-Off-Knopf auf dem Display kann die AR.Drone gestartet werden. Es kann zwischen 2 unterschiedlichen Steuerungsmodi ausgewählt werden. Der Anfängermodus (Beginner) bietet 2 Knöpfe zur Steuerung der Drohne. Die im iPhone integrierten Inertialsensoren können die Neigung des iPhones erkennen. Eine Vorwärts-, Rückwärts- oder Seitwärtsbewegung der AR.Drone wird abhängig von der Neigung ausgeführt, im Beginner-Modus allerdings nur, wenn der linke Button auf dem Display dabei gedrückt wird. Mit dem auf der rechten Seite platzierten Steuerungsbutton kann die Höhe kontrolliert oder eine Rotation ausgeführt werden.^[132] Die Umdrehungsgeschwindigkeit sowie die vertikale Geschwindigkeit kann in den Optionen verändert werden. Die maximale Flughöhe des Quadcopters ist abhängig von den Grenzen des vorliegenden WLAN-Netzes. Wird die Grenze überschritten, sinkt die Drohne automatisch auf 6 Meter Flughöhe herab. In den AR.FreeFlight Einstellungen kann die maximale Flughöhe optional auf 3 Meter begrenzt werden.^[133] Im Expertenmodus (Ace) wird die vollständige Steuerung der AR.Drone nur über einen einzigen Steuerungsknopf realisiert. Der Lande-Button auf dem Display sorgt für eine selbstständige Landung des Quadcopters und stoppt die Rotoren.^[134]

4.4 Multiplayer-Gaming

Da die AR.Drone ihr eigenes WLAN-Netzwerk einrichtet, können optional mehrere Drones diesem Netzwerk beitreten und daraufhin gegeneinander antreten. Über das Multiplayer-Game AR.Pursuit, welches aus dem App Store bezogen werden kann, oder auch dem bald erscheinenden App AR.Flying Ace^[136], können Luftkämpfe zwischen zwei gegnerischen AR.Drones ausgetragen werden. Um die eigene AR.Drone vom Gegner zu unterscheiden, können Hüllen mit unterschiedlichen Farbkombinationen auf den Quadcoptern montiert werden.^[137]

4.5 Autopilot

Als ein weiteres Feature der Drohne lässt sich der integrierte Autopilot nennen, der vor allem den Abflug und die Landung des Quadcopters erheblich vereinfacht. Wird die AR.Drone über das Steuerungsdisplay gestartet, lässt der Autopilot die Drohne selbstständig auf eine Flughöhe von 50 Zentimetern über den Boden abheben und stabilisiert dessen Fluglage. Entfernt der Gamer seine Finger vom Steuerungsgerät, aktiviert der Autopilot den Schwebeflugmodus und sorgt für eine statische Stabilität des Quadcopters. Sollte es zu einer Unterbrechung der WLAN-Verbindung kommen oder ein Anruf während des Spielens eingehen, wird auch in diesem Fall der Autopilot eingesetzt. Nachdem er das Fluggerät stabilisiert hat, kann er Sekunden später selbstständig eine sanfte Landung der Drohne ausführen. Zusätzlich unterstützt der Autopilot die automatische Regulierung der Geschwindigkeit und der Höhe. Über die Steuerungssoftware kann das Augenmerk des Autopiloten auf die Genauigkeit (Indoor Flüge) oder auf die Geschwindigkeit (Outdoor Flüge) eingestellt werden.^[138]

4.6 SDK

Bereits seit der Einführung des Quadcopters auf der CES (Consumer Electronics Show) im Mai 2010, können interessierte Entwickler ein SDK (Software Development Kit) für die AR.Drone herunterladen. Mit der Hilfe dieser offenen Entwicklerplattform, gibt Parrot den Entwicklern die Möglichkeit in Zukunft weitere Spiele für die AR.Drone zu programmieren. Zudem kann über die SDK eine Portierung auf andere Plattformen realisiert werden. Bis dato haben sich bereits mehr als 450 Entwickler auf der Parrot-Homepage eingetragen. Über die Internet URL https://projects.ardrone.org können zusätzliche Informationen bezogen sowie ein Download der momentan aktuellen SDK Version 1.5 durchgeführt werden.^[139]

5 Beurteilung

Nachdem in Kapitel 3 Anforderungen und Technologien eines ARGS und in Kapitel 4 die AR.Drone als Beispiel für ein ARGS verdeutlicht wurden, wird in diesem Kapitel nun eine abschließende Beurteilung über ARG im Allgemeinen und über ARG im Hinblick auf die AR.Drone vorgenommen.

5.1 Bewertung von Augmented Reality Games

AR könnte in Zukunft in beinahe allen Bereichen Einzug finden, zu dem vielversprechendsten Gebiet zählt derzeit jedoch der Gaming-Bereich, da in diesem Sektor über den Massenmarkt das schnellste Wachstum erwartet wird.^[140] Die Computerspiele-Industrie verzeichnet jedes Jahr Umsätze in Milliardenhöhe, laut dem BIU (Bundesverband Interaktive Unterhaltungssoftware) konnten im Jahr 2009 allein in Deutschland für PC-, Konsolen- und Handheld-Spiele insgesamt 1,56 Milliarden Euro erzielt werden.^[141] ARG gehören zu einer sehr jungen Kategorie im Gaming-Sektor und die Vielfalt an Spielen im Massenmarkt ist bisher begrenzt. Der Grund dafür liegt an den hohen technologischen Anforderungen, um ausgereifte Endergebnisse in Hinblick auf Tracking, Darstellung und Interaktion erzielen zu können. Des Weiteren waren bisherige Forschungsansätze weder erschwinglich noch uneingeschränkt mobil einsetzbar. Aktuell arbeiten bereits viele Unternehmen an ARG für Mobiltelefone, PCs und Konsolen wie bspw. das amerikanische Unternehmen Ogmento, dass 2009 aus einem Zusammenschluss mehrerer Industrieveteranen eigens dafür gegründet wurde und derzeit zum führenden Unternehmen der ARG-Branche zählt.^[142]

Zu einem der ersten Vertreter der ARG gehört das im Oktober 2009 für die Playstation 3 publizierte Game EyePet.^[143] Das Spiel lässt sich jedoch nur stationär vor einem Fernseher spielen und erfüllt daher nicht das Kriterium der Mobilität. Für mobile ARG eignen sich daher heutige Mobiltelefone aus dem High-End Bereich, um ARG im Massenmarkt zu etablieren. Die Geräte können alle technologischen Anforderungen für eine Umsetzung eines ARGS erfüllen und der Endanwender wird von Anschaffungskosten für zusätzliche Geräte befreit. Ferner kann eine starke Verbreitung dieser Art von Mobiltelefonen festgestellt werden, die Anzahl potentieller Kunden ist dementsprechend hoch.

ARG unterscheiden sich zu klassischen VR-Spielen und weisen für den Gamer diverse Vorteile auf. Die zentrale Spielumgebung bei ARG ist nicht eine virtuell erzeugte Welt, sondern die reale Umgebung. Dies erhöht die Mobilität und die Flexibilität, die reale Spielumgebung ist frei von Grenzen und ermöglicht unzählige verschiedene Spielszenarien. Der Spieler taucht selbst als zentrale Figur in das Spielgeschehen ein. Weiterhin besteht bei ARG die Möglichkeit einer neuen Art an sozialer Interaktion zwischen mehreren Mitspielern, die in direkter Kollaboration auf das Ziel des Spiels hinarbeiten können, oder einen direkten Kampf austragen können. Neuartige Eingabe- und Interaktionstechnologien führen zudem zu einer einfacheren und intuitiveren Bedienung eines ARGS und erhöhen dadurch die Benutzerfreundlichkeit. Durch ARG erhält der Gamer insgesamt ein völlig neues und faszinierendes Spielerlebnis. Demnach könnten ARG eine Vielzahl an Menschen ansprechen, die sich sonst nicht für Videospiele begeistern. Den Spieleentwicklern eröffnet der AR-Sektor viele neuee Möglichkeiten und den Unternehmen ein hohes wirtschaftliches Potential, da es den bisherigen Massenmarkt zusätzlich erweitern könnte.

Auf der anderen Seite sind ARG, falls sie nicht für Mobiltelefon-Plattformen konzipiert wurden, mit hohen Zubehörkosten verbunden. Handys erfüllen zwar die technologischen Voraussetzungen, bieten jedoch nicht die besten Endergebnisse für eine augmentierte Umgebung, da in anderen Systemen wie z.B. in HMD oder VRD leistungsfähigere Grafik-Technologien eingesetzt werden können. Außerdem sind die Displays von Mobiltelefonen verhältnismäßig klein und können daher nur einen kleinen Blickwinkel darstellen. Die Nutzer von ARG verlangen mit Sicherheit auch nach komfortableren Display-Lösungen, da ein Mobiltelefon stets in der Hand gehalten werden muss. Es besteht zudem noch Verbesserungspotential in Bezug auf das Tracking und Rendering. Das markerbasierte optische Tracking ist das zurzeit am häufigsten genutzte Tracking-Verfahren, weil es im Vergleich zu anderen Technologien eine hohe Genauigkeit vorweisen kann und es zu dem derzeit praktikabelsten Verfahren gehört. Es erfordert allerdings eine vorherige Platzierung von einem oder mehrerer Marker in der Spielumgebung. Eine Verbesserung der Rendering-Technologie und des Computersystems kann in Zukunft dazu führen, dass die virtuellen Grafiken realistischer erscheinen und eine Unterscheidung zwischen Realität und Virtualität kaum noch feststellbar sein wird. Derzeit heben sich die virtuellen, überlagerten Grafiken in AR-Szenarien eindeutig von der realen Umgebung ab. Letzteres sind ARG von zusätzlichen gesundheitlichen Gefährdungen geprägt. Je nach Display-Technologie können nach einer zu hohen Belastungsdauer Schwindelgefühle oder Augenschäden sowie Verletzungen während des Spiels auftreten.

Die AR.Drone von Parrot, die in Kapitel 4 untersucht wurde, ist ein recht aktuelles Beispiel für ein ARGS. Eine abschließende Bewertung soll daher in einem eigenständigen Kapitel dargestellt werden.

5.2 Bewertung der AR.Drone als AR-Spielgerät

Die AR.Drone von Parrot liefert ein gutes Beispiel für ein ARGS und erfüllt alle eben genannten Vorteile für ARG. Der Quadcopter lässt die reale und virtuelle Welt miteinander verschmelzen und nutzt die Realität als Spielumgebung, die über einen Live-Videostream auf das jeweilige Steuerungsgerät übertragen wird. Auf dessen Display sieht der Gamer die augmentierte Spielumgebung und bekommt dadurch den Eindruck selbst als Pilot in der Drohne zu sitzen. Die Bedienung erfolgt zum einen über die Neigung des Steuerungsgeräts und zum anderen über die virtuellen Steuerungsknöpfe, die auf der augmentierten Szene dargestellt werden. Dies ermöglicht nach einer kurzen Eingewöhnungsphase eine sehr einfache und intuitive Steuerung des Quadcopters, die zudem für besonderen Spielspaß sorgt. Durch die eingebauten MEMS erhält die AR.Drone eine sehr gute Manövrierfähigkeit sowie exzellente Flugstabilität, erfahrene Piloten können mit dem Gerät außergewöhnliche Flugmanöver ausführen. Weitere AR-Eigenschaften der Drohne können an einem Multiplayer-Kampf verdeutlicht werden. Wenn zwei AR.Drones sich gegenseitig bekämpfen, können sie zum Schutz vor Angriffen reale Objekte, wie bspw. einen Baum oder ein Auto, als Deckung nutzen. Wird eine Drohne durch einen gegnerischen, virtuellen Schuss getroffen, können sich Eigenschaften der Drohne, wie bspw. die Geschwindigkeit oder Manövrierfähigkeit, verändern.

Als nachteilig empfinden derzeitige Gamer der Drohne vor allem die kurze Flugdauer von maximal 12 Minuten. Dieses Problem kann jedoch erst in Zukunft von einer neuen Batterie-Technologie gelöst werden.^[144] Außerdem reagiert die Drohne bereits bei leichtem Wind sehr empfindlich, was schnell zu Abstürzen und Beschädigungen des Geräts führen kann.^[145] Des Weiteren berichten User von diversen technischen Mängeln und Fehlverhalten der Drohne, wie bspw. ein Ausfall der WLAN-Technologie, Abstürze ohne äußere Einwirkungen aufgrund von Motorenausfällen oder Motherboard Defekten und Verluste aufgrund von Verselbstständigung und Entfall der Steuerung.^[146]

Insgesamt liefert der relativ erschwingliche Quadcopter von Parrot ein technologisch hoch anspruchsvolles und innovatives Männerspielzeug. Allerdings demonstrieren Erfahrungswerte von Usern, dass vor allem die Technologien in den Fluggeräten nicht in jedem Fall vollkommen fehlerfrei und ausgereift sind. Eine funktionsfähige Drohne schafft beim Gamer jedoch ein sehr neuartiges und faszinierendes Spielerlebnis und setzt trotz der teilweise aufgetretenen technischen Mängeln einen weiteren Meilenstein für ARG.

6 Schlussbetrachtung und Ausblick

Die vorliegende Seminararbeit hat versucht, dem Leser das Gebiet von AR zu verdeutlichen, um darauf aufbauend Merkmale von ARG aufzuzeigen. Der Schwerpunkt der Arbeit lag in der Vermittlung der aktuell angewendeten Technologien in einem ganzheitlichen ARGS zur Realisierung eines ARG. Für mobile ARG hat sich das markerbasierte optische Tracking als besonders praxistauglich, realisierbar und robust erwiesen. Als Beispiel für ein zeitnahes ARGS wurde die AR.Drone von Parrot vorgestellt. In einem Multiplayer-Kampf kann das Gerät eine gegnerische Drohne über die optische Tracking-Technologie erkennen. Die abschließende Beurteilung über den Quadcopter und seiner AR-Eigenschaften lieferte ein durchaus positives Ergebnis und kennzeichnete es als ein besonders innovatives AR-Spielzeug.

Im Allgemeinen rufen ARG bei Gamern ein sehr hohes Spielerlebnis hervor. ARG haben dadurch ein großes Zukunftspotential, da sie die Spieleindustrie revolutionieren könnten. Durch die Verbindung mit der Realität und die intuitive Bedienung entstehen völlig neuartige Spiele. Dadurch werden unter Umständen auch Menschen angesprochen, die sich bisher nicht für Videospiele begeistern konnten. In Bezug auf die in Kapitel 3 vorgestellten Technologien, wird die Zukunft erst zeigen, welche bereits existierenden oder auch neu entwickelten Technologien sich im ARG-Sektor durchsetzen werden. Die Technologie der VRD bietet bei mobilen Lösungen zurzeit die bestmögliche Darstellung einer augmentierten Umgebung und könnte sich in Zukunft bei ausreichender Reife und geringeren Preis als Standardlösung in MARS bewähren. In Kombination mit einem VRD wäre eine Interaktionstechnologie basierend auf Blicken oder Gesten denkbar. Ob ARG nur kurzfristig die Gamer durch das hohe Spielerlebnis faszinieren werden, oder ob dieses neue Genre langfristig Einzug in der Spieleindustrie finden wird ist demnach abhängig von der Akzeptanz der Konsumenten bezüglich der Technologien, der Nachfrage nach diesem neuen Genre, den technologischen Weiterentwicklungen und der Kreativität der Spieleentwickler, die aus dem Potential von AR zunächst weitere konsumentengerechte ARG entwickeln müssen.

7 Fußnoten

1. ↑ Kim (2010)
2. ↑ Ebd.
3. ↑ In Anlehnung an Milgram et al. (1994),S.3
4. ↑ Im Englischen wird anstelle von "Virtual Environment" oftmals "Virtual Reality" genannt.
5. ↑ Vgl. Milgram et al. (1994), S.2ff
6. ↑ Webster (1988), S.56
7. ↑ Vgl. Sherman et al. (2003), S.18
8. ↑ Vgl. Azuma (1997), S.355ff
9. ↑ Vgl. Bimber et al. (2005), S.2
10. ↑ Thinking Fluidly (2010)
11. ↑ Ivan Sutherland wird heutzutage ebenso als Urvater der VR angesehen.
12. ↑ Vgl. Bliem (2006), S.46
13. ↑ Vgl. Wagner (2010)
14. ↑ Auf eine Aufzählung aller Ansätze wird aufgrund des beschränkten Umfangs und der untergeordneten Bedeutung für die Seminararbeit verzichtet. Eine umfangreiche Erörterung aller wichtigen Meilensteine ist für Interessenten unter folgender Internet-URL auffindbar: https://www.icg.tugraz.at/~daniel/HistoryOfMobileAR/
15. ↑ Vgl. Edegger (2008), S.43ff
16. ↑ In der Literatur und im Sprachgebrauch wird als Synonym für "WLAN" gerne auch der Begriff "Wi-Fi" verwendet
17. ↑ Vgl. Ebd., S.48ff
18. ↑ Vgl. Ebd., S.52ff
19. ↑ Vgl. Bimber et al. (2005), S.4ff
20. ↑ Vgl. Ebd., S.4ff
21. ↑ Vgl. Ebd., S.4ff
22. ↑ Vgl. Ebd., S.4ff
23. ↑ Vgl. Blümchen, S.4
24. ↑ Vgl. A.R.T. (2010a)
25. ↑ Tracking-Systeme werden auch in anderen Bereichen eingesetzt wie bspw. in einer VR-Umgebung, der Medizin oder Industrie. Werden nur Positions- oder Orientierungsdaten erfasst, wird von einem 3DOF (3 Degrees Of Freedom) -Tracking gesprochen.
26. ↑ Vgl. Tönnis (2010), S.58ff
27. ↑ Vgl. Ebd., S.60
28. ↑ Vgl. Blümchen, S.4
29. ↑ Imagination (2010)
30. ↑ Vgl. Tönnis (2010), S.44ff
31. ↑ Vgl. A.R.T. (2010a)
32. ↑ Vgl. Tönnis (2010), S.44ff
33. ↑ Vgl. Gerndt et al. (2009), S.115 und Vgl. Tantius (2010), S.6ff
34. ↑ Vgl. ARToolworks (2010)
35. ↑ Ergänzend lässt sich an dieser Stelle festhalten, dass eine Erweiterung des ARToolkits mit dem Namen ARToolkit Plus entwickelt wurde, dass für den Einsatz auf Mobiltelefonen optimiert wurde. Informationen finden sich auf folgender Internet-URL: http://studierstube.icg.tu-graz.ac.at/handheld_ar/artoolkitplus.php
36. ↑ Vgl. Tönnis (2010), S.45ff
37. ↑ Vgl. A.R.T. (2010b)
38. ↑ Vgl. Gerndt et al. (2009), S.115 und Vgl. Tantius (2010), S.6ff
39. ↑ Vgl. Klingbeil (2006), S.15ff
40. ↑ Vgl. Ebd., S.12
41. ↑ Vgl. Tönnis (2010), S.52f
42. ↑ Vgl. Intersense (2010)
43. ↑ Vgl. Tönnis (2010), S. 53f
44. ↑ Vgl. Reifinger (2008), S.15 und Vgl. Tönnis (2010), S. 53f
45. ↑ Vgl. Ascension (2010)
46. ↑ Vgl. Klingbeil (2006), S.23
47. ↑ Vgl. Spitzweg (2009), S.54 und Vgl. Krapichler (1999), S.25
48. ↑ Vgl. Köhne et al. (2010)
49. ↑ Vgl. Ebd.
50. ↑ Vgl. Tönnis (2010), S.55
51. ↑ Vgl. Animazoo (2010)
52. ↑ Ergänzend lässt sich festhalten, dass es sich bei Gypsy 7 nicht um ein rein mechanisches, sondern um ein hybrides Tracking-System handelt. Da die Mechanik jedoch die Hauptrolle einnimmt eignet es sich daher an dieser Stelle als gutes Beispiel.
53. ↑ Vgl. Grigore et al. (2003), S.21ff
54. ↑ Vgl. Tönnis (2010), S.60
55. ↑ Vgl. Hofmann (2009)
56. ↑ Vgl. ARToolworks (2010) und Vgl. Tsai (2010)
57. ↑ Vgl. Grigore et al. (2003), S.19ff und Vgl. Tönnis (2010), S.82ff
58. ↑ Detailliertere Lösungsansätze zu den Fehlerkorrekturen werden aufgrund des begrenzten Umfangs der vorliegenden Seminararbeit nicht näher erläutert und können bei Bedarf in Tönnis (2010) nachgelesen werden.
59. ↑ Vgl. Apple (2010)
60. ↑ Vgl. Tönnis (2010), S.21f
61. ↑ Bimber et al. (2005), S.74
62. ↑ Vgl. Tönnis (2010), S.23ff
63. ↑ Vgl. Bimber et al. (2005) , S.74ff
64. ↑ Vgl. Sturm (2008), S.8
65. ↑ Brother (2010)
66. ↑ Vgl. Sturm (2008), S.8f
67. ↑ Vgl. Microvision (2010)
68. ↑ Vgl. Brother (2010) und Schwan (2009)
69. ↑ Vgl. Bimber et al. (2005), S.79ff
70. ↑ Vgl. Tantius (2010), S.14f
71. ↑ Vgl. Lanzerath (2009)
72. ↑ Vgl. Bimber et al. (2005), S.80ff
73. ↑ Vgl. Tönnis (2010), S.25ff
74. ↑ Vgl. FogScreen (2010)
75. ↑ Vgl. Bimber et al. (2005), S.87ff
76. ↑ Vgl. Tönnis (2010), S.26f
77. ↑ Vgl. Bimber et al. (2005), S.91f
78. ↑ Vgl. Sturm (2008), S.9f
79. ↑ Vgl. Tönnis (2010), S.7ff
80. ↑ Vgl. Tantius (2010), S.13
81. ↑ Vgl. Fischer (2006), S.3ff
82. ↑ Vgl. Cawood et al. (2008), S.31ff
83. ↑ Vgl. Tantius (2010), S.14
84. ↑ Vgl. Khronos (2010)
85. ↑ Vgl. Tönnis (2010), S.96ff
86. ↑ Reactable (2010)
87. ↑ Vgl. Tönnis (2010), S.98f
88. ↑ Vgl. Reactable (2010)
89. ↑ Vgl. Tönnis (2010), S.100ff
90. ↑ Vgl. Animazoo (2010)
91. ↑ Vgl. Tönnis (2010), S.100ff
92. ↑ Vgl. Wang et al. (2009)
93. ↑ Vgl. Schlattmann et al. (2010)
94. ↑ Vgl. Johannsen (2009)
95. ↑ Vgl. Tönnis (2010), S.102ff
96. ↑ Vgl. Tönnis (2010), S.105f
97. ↑ Vgl. Nuance (2010a) und Nuance (2010b)
98. ↑ Vgl. Tönnis (2010), S.104f und Vgl. Latoschik et al. (2007), S.113ff
99. ↑ Vgl. Tönnis (2010), S.108ff
100. ↑ Vgl. Kirner et al. (2010), S.5
101. ↑ Vgl. Tönnis (2010), S.111ff
102. ↑ Vgl. Kirner et al. (2010), S.6
103. ↑ Vgl. Tönnis (2010), S.111ff
104. ↑ Vgl. Boring (2010), S.15 und Vgl. Liarokapis (2006), S.513
105. ↑ Vgl. Parrot (2010b)
106. ↑ Vgl. Parrot (2010a)
107. ↑ Vgl. 24-7 Press Release (2010)
108. ↑ Eine Händlerliste gibt Auskunft über die Geschäfte, in denen der Quadcopter bezogen werden kann, und findet sich auf folgender URL: http://www.parrot.com/catalog/pos/parrot/ar-drone/DE/stores
109. ↑ Vgl. Parrot (2010i)
110. ↑ Exaro (2010) und Davies (2010)
111. ↑ Alternativ findet sich in der Literatur auch der Begriff "Quadrocopter" oder "Quadricopter".
112. ↑ Vgl. Parrot (2010a)
113. ↑ Vgl. Parrot (2010d), S.5
114. ↑ Vgl. Parrot (2010a) und Vgl. Oestreich (2010)
115. ↑ Vgl. Benthin (2010)
116. ↑ Vgl. Ebd.
117. ↑ Vgl. Parrot (2010c)
118. ↑ Vgl. Parrot (2010a)
119. ↑ Vgl. Exaro (2010) und Vgl. Parrot (2010e)
120. ↑ Vgl. Benthin (2010) und Vgl. Knapp (2010)
121. ↑ Vgl. Parrot (2010a)
122. ↑ Vgl. Parrot (2010g)
123. ↑ Vgl. Exaro (2010)
124. ↑ Vgl. Ebd.
125. ↑ Vgl. Ebd.
126. ↑ Vgl. Parrot (2010h)
127. ↑ Vgl. Exaro (2010)
128. ↑ Vgl. Parrot (2010a)
129. ↑ Vgl. Knapp (2010)
130. ↑ Vgl. Exaro (2010)
131. ↑ Vgl. Bäumle (2010) und Vgl. Arnold (2010)
132. ↑ Vgl. Exaro (2010) und Vgl. Knapp (2010)
133. ↑ Vgl. Parrot (2010g)
134. ↑ Vgl. Exaro (2010) und Vgl. Knapp (2010)
135. ↑ Laptop-DRV (2010)
136. ↑ Vgl. Parrot (2010f)
137. ↑ Vgl. Parrot (2010e)
138. ↑ Vgl. Parrot (2010a) und Vgl. Knapp (2010)
139. ↑ Vgl. Exaro (2010)
140. ↑ Vgl. A.R.T. (2010a)
141. ↑ Vgl. BIU (2010)
142. ↑ Vgl. Ogmento (2010)
143. ↑ Vgl. Fischer (2009)
144. ↑ Vgl. Fleischmann (2010)
145. ↑ Vgl. Exaro (2010)
146. ↑ Vgl. Steinke (2010)

8 Abkürzungsverzeichnis

Abkürzung	Bedeutung
3D	Dreidimensional
3DOF	3 Degrees Of Freedom
6DOF	6 Degrees Of Freedom
AR	Augmented Reality
AR.Drone	Augmented Reality Drone
ARG	Augmented Reality Games
ARGS	Augmented Reality Gaming System
ARS	Augmented Reality System
AV	Augmented Virtuality
BIU	Bundesverband Interaktive Unterhaltungssoftware
CES	Consumer Electronics Show
CMOS	Complementary Metal Oxide Semiconductor
CPU	Central Processing Unit
D-GPS	Differential Global Positioning System
DDR	Double Data Rate
FPS	Frames per Second
GPS	Global Positioning System
GSM	Global System for Mobile Communications
HMD	Head-Mounted Display
HUD	Head-Up Display
LED	Leuchtdioden
MARS	Mobile Augmented Reality System
MEMS	Micro-Electro-Mechanical System
MR	Mixed Reality
PC	Personal Computer
PDA	Personal Digital Assistant
PG	Pervasive Gaming
QCIF	Quarter Common Intermediate Format
SDK	Software Development Kit
TUI	Tangible User Interfaces
UMTS	Universal Mobile Telecommunications System
USB	Universal Serial Bus
VGA	Video Graphics Array
VR	Virtual Reality
VRD	Virtual-Retinal Display
WLAN	Wireless Local Area Network

9 Abbildungsverzeichnis

Abb.-Nr.	Abbildung
2.2-1	Das Virtuality-Continuum
2.3-1	Das erste HMD von Ivan Sutherland
3.2-1	Zweidimensionale Marker-Varianten in Flare*Tracker von Imagination
3.2-2	Funktionsweise von einem Optical See-Through und Video See-Through HMD
3.2-3	Das RID von Brother als Beispiel für ein VRD
3.2-4	The Reactable - Beispiel für ein Tangible User Interface
4.1-1	Parrot AR.Drone mit Outdoor- und Indoor-Schutzhülle
4.4-1	AR.Pursuit - Screenshot aus der Sicht eines iPhone Gamers

10 Literatur- und Quellenverzeichnis

24-7 Press Release (2010)	24-7 Press Release Distribution Newswire (Hrsg.): Parrot AR Drone Helicopters Now Available For Preorder. 2010. http://www.24-7pressrelease.com/press-release/parrot-ar-drone-helicopters-now-available-for-preorder-169459.php (Zugriff: 05.12.2010, 17:02)
A.R.T. (2010a)	A.R.T. GmbH (Hrsg.): Tracking. 2010. http://www.ar-tracking.de/Tracking.35.0.html (Zugriff: 26.10.2010, 12:26)
A.R.T. (2010b)	A.R.T. GmbH (Hrsg.): Markers: Marker Comparison. 2010. http://www.ar-tracking.de/Marker-comparison.145.0.html (Zugriff: 26.10.2010, 15:46)
Animazoo (2010)	Animazoo UK, Ltd. (Hrsg.): Gypsy 7. 2010. http://www.animazoo.com/index.php/gypsy-7 (Zugriff: 06.11.2010, 15:30)
Apple (2010)	Apple, Inc. (Hrsg.): Technische Daten des iPhone 4. 2010. http://www.apple.com/de/iphone/specs.html (Zugriff: 11.12.2010, 20:59)
Arnold (2010)	Adam Arnold (Hrsg.): AR Drone – Flight record – available in the App Store. 2010. http://ceo.smartergroup.biz/ar-drone-flight-record-available-in-the-app-store/ (Zugriff: 07.12.2010, 15:52)
ARToolworks (2010)	ARToolworks, Inc.(Hrsg.): ARToolKit. 2010. http://www.hitl.washington.edu/artoolkit/ (Zugriff: 26.10.2010, 14:58)
Ascension (2010)	Ascension, Technology Corp. (Hrsg.): Ascension Technology Corporation. Tracking 3D Worlds. 2010. http://www.ascension-tech.com/index.php (Zugriff: 27.10.2010, 16:36)
Bäumle (2010)	Max Bäumle (Hrsg.): Blog. 2010. http://powerflightapp.com/ (Zugriff: 07.12.2010, 15:51)
Benthin (2010)	Falko Benthin (Hrsg.): Ar.Drone: Linux-basierte Drohne für Hobbypiloten. 2010. http://www.pro-linux.de/news/1/16147/ardrone-linux-basierte-drohne-fuer-hobbypiloten.html (Zugriff: 05.12.2010, 20:00)
Bimber et al. (2005)	Oliver Bimber, Ramesh Raskar: Spatial Augmented Reality. Merging Real and Virtual Worlds. 2005. A K Peters. MA. Wellesley.
BIU (2010)	Bundesverband Interaktive Unterhaltungssoftware e.V. (Hrsg.): Marktzahlen. 2010. http://www.biu-online.de/fakten/marktzahlen/ (Zugriff: 11.12.2010, 16:07)
Bliem (2006)	Daniela Bliem: Wearable Computing. Benutzerschnittstellen zum Anziehen. Bachelor-Thesis. 1.Auflage. 2006. GRIN Verlag. Norderstedt.
Boring (2010)	Sebastian Boring: Augmented and Virtual Reality for Mobile Devices. Universität München. 2010. http://www.hcilab.org/events/mobileinteraction/reports/12_AugmentedAndVirtualReality_SebastianBoring.pdf (Zugriff: 23.12.2010, 14:30)
Brother (2010)	Brother Industries, Ltd. (Hrsg.): Brother Develops Spectacle-type Wearable Retinal Imaging Display. 2010. http://www.brother.com/en/news/2008/rid/ (Zugriff: 13.11.2010, 16:55)
Cawood et al. (2008)	Stephen Cawood, Mark Fiala: Augmented Reality. A practical Guide. 2008. The Pragmatic Bookshelf. Raleigh. North Carolina. Dallas. Texas.
Davies (2010)	Chris Davies (Hrsg.): Parrot AR.Drone WiFi helicopter gets augmented reality iPhone control. 2010. http://www.slashgear.com/parrot-ar-drone-wifi-helicopter-gets-augmented-reality-iphone-control-0567744/ (Zugriff: 10.12.2010, 13:45)
Edegger (2008)	Francika Edegger: Pervasive Gaming als ein neuer Weg zur Beeinflussung von Denken und Handeln. Dissertation. 1.Auflage. 2008. Gabler Verlag. Wiesbaden.
Exaro (2010)	Exaro - Vermarktungsgesellschaft bR (Hrsg.): Parrot AR.Drone: Im Anflug... 2010. http://www.rc-modellscout.de/parrot-ardrone-im-anflug%E2%80%A6-7805.html (Zugriff: 05.12.2010, 21:43)
Fischer (2006)	Jan T. Fischer: Rendering Methods for Augmented Reality. Dissertation. Universität Tübingen. 2006.
Fischer (2009)	Uwe Fischer (Hrsg.): Augmented Reality Games: Die reale Welt ist Bühne. 2009. http://diepresse.com/home/techscience/hightech/konsolen/518298/Augmented-Reality-Games_Die-reale-Welt-ist-Buehne (Zugriff: 14.12.2010, 14:08)
Fleischmann (2010)	Marc Fleischmann (Hrsg.): iPhone-Hubschrauber im Test. BILD.de lässt die AR.Drone steigen. 2010. http://www.bild.de/BILD/digital/handy-und-telefon/2010/09/07/modell-flugzeug-per-iphone-ipod-touch-gesteuert/bild-laesst-die-ar-drone-fliegen.html (Zugriff: 05.12.2010, 21:09)
FogScreen (2010)	FogScreen, Inc. (Hrsg.): Welcome. 2010. http://fogscreen.fi/en/home/ (Zugriff: 16.11.2010, 20:06)
Gerndt et al. (2009)	Andreas Gerndt, Marc Erich Latoschik (Hrsg.): Virtuelle und Erweiterte Realität. 6. Workshop der GI-Fachgruppe VR/AR. 2009. Shaker Verlag. Aachen.
Grigore et al. (2003)	Burdea C. Grigore, Philippe Coiffet: Virtual Reality Technologies. Second Edition. 2003. John Wiley & Sons. Hoboken. New Jersey.
Haller et al. (2007)	Michael Haller, Mark Billinghurst, Bruce H. Thomas: Emerging Technologies of Augmented Reality. Interfaces and Design. 2007. Idea Group Publishing. PA. Hershey.
Hofmann (2009)	Tim Hofmann (Hrsg.): Geometrische Kamerakalibrierung. Medieninformatik. FH-Wiesbaden. 2009. http://www.mi.hs-rm.de/~schwan/Projects/CG/CarreraCV/doku/intrinsisch/intrinsisch.htm#4 (Zugriff: 06.11.2010, 15:55)
Imagination (2010)	Imagination Computer Services GesmbH (Hrsg.): Augmented Reality für Flash. 2010. http://www.imagination.at/?Produkte:Augmented_Reality_f%FCr_Flash:flare%2Atracker (Zugriff: 26.10.2010, 12:32)
Intersense (2010)	Intersense, Inc. (Hrsg.): Intersense. Sening every move. 2010. http://www.intersense.com/ (Zugriff: 27.10.2010, 15:21)
Johannsen (2009)	Jan Johannsen (Hrsg.): iPoint 3D: 3D-Steuerung ohne Brille oder Datenhandschuh. 2009. http://www.netzwelt.de/news/79509-ipoint-3d-3d-steuerung-ohne-brille-datenhandschuh.html (Zugriff: 04.12.2010, 12:49)
Khronos (2010)	Khronos Group (Hrsg): OpenGL ES - The Standard for Embedded Accelerated 3D Graphics. 2010. http://www.khronos.org/opengles/2_X/ (Zugriff: 20.12.2010, 13:51)
Kim (2010)	Ryan Kim (Hrsg.): Augmented reality games show potential. 2010. http://articles.sfgate.com/2010-03-12/business/18386570_1_shooter-games-reality-iphone (Zugriff: 11.12.2010, 14:33)
Kirner et al. (2010)	Claudio Kirner, Rafael Santin (Hrsg.): Interaction, Collaboration and Authoring. 2010. http://www.ckirner.com/download/artigos/Interaction-SVR2009.pdf (Zugriff: 20.12.2010, 14:47)
Klingbeil (2006)	Lasse Klingbeil: Entwicklung eines modularen und skalierbaren Sensorsystems zur Erfassung von Position und Orientierung bewegter Objekte. Dissertation. Universität Bonn. 2006.
Knapp (2010)	Johannes Knapp (Hrsg.): Mehr zur Parrot AR.Drone. 2010. http://www.newgadgets.de/17296/mehr-zur-parrot-ar-drone/ (Zugriff: 06.12.2010, 23:53)
Köhne et al. (2010)	Dr. Anja Köhne, Dr. Michael Wößner (Hrsg.): GPS-System. 2010. http://www.kowoma.de/gps/ (Zugriff: 29.10.2010, 14:33)
Krapichler (1999)	Christian Krapichler: Eine neue Mensch-Maschine-Schnittstelle für die Analyse medizinischer 3D-Bilddaten in einer virtuellen Umgebung. 1999. Herbert Utz Verlag. München.
Lanzerath (2009)	Christian Lanzerath (Hrsg.): Augmented Reality auf dem Handy. Wenn Welten verschmelzen. 2009. http://www.chip.de/artikel/Augmented-Reality-auf-dem-Handy_37778153.html (Zugriff: 16.11.2010, 00:26)
Laptop-DRV (2010)	Laptop-DRV (Hrsg.): Parrot AR.Drone Gets Augmented Reality iPhone Game. 2010. http://www.laptopdrv.net/2010/11/18/parrot-ar-drone-gets-augmented-reality-iphone-game-video/ (Zugriff: 09.12.2010, 13:41)
Liarokapis (2006)	Fotis Liarokapis (Hrsg.): An exploration from virtual to augmented reality gaming. 2006. http://sag.sagepub.com/content/37/4/507.full.pdf+html (Zugriff: 23.12.2010, 14:27)
Microvision (2010)	Microvision, Inc. (Hrsg.): Microvision History – Key Highlights. 2010. http://microvision.com/about_microvision/history.html (Zugriff: 13.11.2010, 18:08)
Milgram et al. (1994)	Paul Milgram, Fumio Kishino: A Taxonoy of Mixed Reality Visual Displays. IEICE Transactions on Information Systems. Vol E77-D. No.12. 1994.
Nuance (2010a)	Nuance Communications, Inc.(Hrsg.): Dragon Naturally Speaking. 2010. http://shop.nuance.de/store/nuanceeu/de_DE/Content/pbPage.landing_de/Currency.EUR (Zugriff: 25.11.2010, 23:13)
Nuance (2010b)	Nuance Communications, Inc.(Hrsg.): Dragon Dictation 2.0. 2010. http://www.dragonmobileapps.com/ (Zugriff: 25.11.2010, 23:13)
Oestreich (2010)	Nicolas Oestreich (Hrsg.): Verkaufsstart und Probeflug mit der Parrot AR Drone. 2010. http://www.ifun.de/2010/08/17/verkaufsstart-und-probeflug-mit-der-parrot-ar-drone/ (Zugriff: 07.12.2010, 16:43)
Ogmento (2010)	Ogmento, Inc. (Hrsg.): Ogmento. Reality reinvented. 2010. http://www.ogmento.com/ (Zugriff: 14.12.2010, 13:50)
Parrot (2010a)	Parrot SA. (Hrsg.): Parrot AR.Drone: Ein Technologieführer. 2010. http://ardrone.parrot.com/parrot-ar-drone/de/technologies (Zugriff: 18.10.2010, 16:37)
Parrot (2010b)	Parrot SA. (Hrsg.): Über Parrot. 2010. http://www.parrot.com/de/gesellschaft/uber-parrot (Zugriff: 05.12.2010, 17:04)
Parrot (2010c)	Parrot SA. (Hrsg.): Official Store for the Parrot AR.Drone & AR.Drone spare parts. 2010. http://ardrone.parrotshopping.com/de/p_ardrone_main.aspx (Zugriff: 05.12.2010, 19:34)
Parrot (2010d)	Parrot SA. (Hrsg.): Bedienungsanleitung. 2010. http://www.parrot.com/fr/support/guidesutilisateur/ar.drone_user-guide_de.pdf (Zugriff: 20.12.2010, 15:08)
Parrot (2010e)	Parrot SA. (Hrsg.): Parrot AR.Drone: Wie es funktioniert? Erster Quadrocopter mit Flugsteuerung per iPod Touch®/iPhone®. 2010. http://ardrone.parrot.com/parrot-ar-drone/de/wie-es-funktioniert (Zugriff: 05.12.2010, 22:09)
Parrot (2010f)	Parrot SA. (Hrsg.): AR.Drone Games. Von Parrot entwickelte Anwendungen. 2010. http://ardrone.parrot.com/parrot-ar-drone/de/ar.games (Zugriff: 08.12.2010, 22:48)
Parrot (2010g)	Parrot SA. (Hrsg.): AR.Drone Answer and Questions. 2010. http://ardrone.parrot.com/parrot-ar-drone/uk/support/questions-answers (Zugriff: 09.12.2010, 21:23)
Parrot (2010h)	Parrot SA. (Hrsg.): Games with AR.Drone. 2010. https://projects.ardrone.org/attachments/20/Games_with_ARDrone_ENGLISH_v1.0.pdf (Zugriff: 09.12.2010, 22:32)
Parrot (2010i)	Parrot SA. (Hrsg.): Parrot AR.Drone project, when video games become reality. 2010. http://www.parrotcorp.com/en/pressrelease/parrotar.droneprojectwhenvideogamesbecomereality8230 (Zugriff: 20.12.2010, 14:57)
Reactable (2010)	Reactable Systems (Hrsg.): The Reactable. 2010. http://www.reactable.com/products/reactable_experience/reactable/ (Zugriff: 25.11.2010, 21:16)
Reifinger (2008)	Stefan Reifinger: Multimodale Interaktion in Augmented Reality Umgebungen am Beispiel der Spieledomäne. Dissertation. Universität München. 2008.
Schlattmann et al. (2010)	Markus Schlattmann, Ferenc Kahlesz, Dr. Reinhard Klein (Hrsg.): Markerless Vision-Based Hand-Tracking for Interaction. Institut für Informatik II. Universität Bonn. 2010. http://cg.cs.uni-bonn.de/de/projekte/markerless-vision-based-hand-tracking-for-interaction/ (Zugriff: 25.11.2010, 22:18)
Schwan (2009)	Ben Schwan (Hrsg.): Technology Review. Bilder auf die Netzhaut. 2009. http://www.heise.de/tr/artikel/Bilder-auf-die-Netzhaut-849391.html (Zugriff: 13.11.2010, 16:55)
Sherman et al. (2003)	Williams R. Sherman, Alan B. Craig: Understanding Virtual Reality. Interface, Application, and Design. 2003. Morgan Kaufmann Publishers. Elsevier Science. CA. San Francisco.
Spitzweg (2009)	Michael Spitzweg: Methode und Konzept für den Einsatz eines physikalischen Modells in der Entwicklung von Produktionsanlagen. 2009. Herbert Utz Verlag. München.
Steinke (2010)	Micha Steinke (Hrsg.): Die erste Community rumd um den Quadcopter. Forum: Eure Erfahrung. 2010. http://www.air-drone.de/forumdisplay.php?26-Eure-Erfahrung (Zugriff: 14.12.2010, 21:28)
Sturm (2008)	Markus Sturm: Einsatz von Virtual Reality (VR) in der Produktentwicklung (Band 1). Anforderungen an eine Nutzenanalyse für den Einsatz von Virtual Reality in der Produktentwicklung. Studienarbeit. 1.Auflage. 2008. Grin Verlag. Norderstedt.
Tantius (2010)	Richard Tantius (Hrsg.): Augmented Reality auf mobilen Endgeräten. Universität Bonn. 2010. http://sewiki.iai.uni-bonn.de/_media/teaching/seminars/ss08/mobilechi/augmentedreality_2.0.pdf (Zugriff: 19.12.2010, 21:00)
Thinking Fluidly (2010)	Thinking Fluidly (Hrsg.): Augmented Reality Glasses. 2010. http://www.thinkingfluidly.com/2009/05/04/augmented-reality-glasses/ (Zugriff: 22.10.2010, 13:08)
Tönnis (2010)	Marcus Tönnis: Augmented Reality. Einblicke in die erweiterte Realität. 2010. Springer-Verlag. Heidelberg.
Tsai (2010)	Roger Tsai (Hrsg.): Tsai Camera Calibration Software. 2010. http://www.cs.cmu.edu/~rgw/TsaiCode.html (Zugriff: 06.11.2010, 15:43)
Wagner (2010)	Daniel Wagner (Hrsg.): History of Mobile Augmented Reality. Institute for Computer Graphics and Vision. Technische Universität Graz. 2010. https://www.icg.tugraz.at/~daniel/HistoryOfMobileAR/ (Zugriff: 21.10.2010, 18:35)
Wang et al. (2009)	Robert Y. Wang, Jovan Popović (Hrsg.): Real-Time Hand-Tracking with a Color Glove. 2009. http://people.csail.mit.edu/rywang/handtracking/ (Zugriff: 25.11.2010, 22:10)
Webster (1988)	Merriam-Webster: Merriam-Webster's Collegiate Thesaurus. Zero in on the right word. 1988. Merriam-Webster.