Seminarinhalt

Android Entwicklung mit Unity

• Die Entwicklung für Android ist eine der komplexeren Problemstellungen in der Verwendung mit Unity um AR Applikationen zu produzieren. Fehlende Treiber und SDKs sind eine verbreitete Problematik für viele neue Entwickler die versuchen, im Android Ökosystem Fuß zu fassen. Wie man an das Setup der benötigten Treiber und Schnittstellen, Entwicklungsumgebungen und Unity-Module herantritt, lernen wir in diesem Kapitel. Unity wird als eine Basis für korrekten Szenenaufbau benutzt und es wird eine komplette Pipeline vom Editor bis aufs Abspielgerät erklärt.

AssetStore Voraussetzungen und ARCore Plugins

• Unity selbst ist nur eines der Schlüsselelemente für die Entwicklung mit ARCore. Ein Teil der Magie passiert innerhalb interner Bibliotheken auf der Android/Java Seite, die zuerst in Unity verfügbar sein müssen. Wir erklären die Verwendung des AssetStores und des Plugin Managers um ein korrektes ARCore Integrationsplugin einzubinden und benutzen dieses Wissen um unsere ersten ARCore Verbindungen aufzubauen.

Voraussetzungen für ein gutes AR Erlebnis

• Videoeinbindung bringt ihre eigene Klasse von Problemen und Limitationen mit sich. Beleuchtungsszenarios für die Erkennung von Details, Datengenauigkeit der ausgelesenen Umgebung und verschiedene andere Voraussetzungen müssen verstanden sein, um ein gut funktionierendes AR Erlebnis aufsetzen zu können. Wir diskutieren über die verschiedenen Wege, AR in reale Situationen einzubauen und zeigen Problemstellungen, die beachtet werden müssen in der Entwicklung.

Umgebungserkennung und ARCore Hintergründe

• Wie erkennt ARCore die Umgebung und ermöglicht es uns, 3D Grafiken in die Videobilder einzusetzen? Wir schauen uns die unterliegenden Prinzipien der visuell-bewegten Odometrie sowie die daraus resultierenden Fähigkeiten der Erkennungsalgorithmen an, um unsere Hierarchien in den angezeigten Hintergrund zu transferieren. Koordinatensysteme sind ein Schlüsselelement für die Kombination der ausgelesenen 3D Punktewolke von ARCore mit den Objekten unserer Szene.

Trefferpunkterkennung und dynamische Objekte

• Da nun ein Verständnis für unsere Umgebung vorliegt, ist es von Nöten, einen Punkt in der Umgebung zu identifizieren, so dass wir ein dynamisches Objekt an dessen Position erstellen können. Instanziierung ist der Weg um diese Problematik zu lösen und zusammen mit Prefabs sprechen wir über ein Cloning-Setup, mit dem wir Inhalte in unserem 3D-Raum platzieren können. Dies ermöglicht uns, „Dinge“ in der Welt des Videobilds zu platzieren.

Ebenenerkennung und Verankerung

• ARCore liefert uns verschiedene komplexe Informationen, die wir für Positionierungszwecke auswerten können. Ebenen ermöglichen uns, Orientierungen auf Inhalte anzuwenden, bezogen auf Oberflächen wie Tische, Wände, etc. Dynamische Verankerung bewegt die Inhalte dann im Bezug auf die Hintergrundszene. Wie dies aufzusetzen ist, so dass eine Verbindung ist mit den verschiedenen Spielobjekten besteht, stellt einen kritischen Schritt dar, um Dinge fest in Szene zu setzen.

Lichteinschätzung und Verdeckung

• Für eine nahtlose Einbindung der platzierten Inhalte ist eine Einschätzung der angezeigten Lichtsituation im Videobild notwendig. Glücklicherweise liefert ARCore einige Daten der umgebenden Lichtsituation. Wir erörtern ambiente Lichteinflüsse auf den Szeneninhalt in Unity und integrieren die ARCore Resultate. Verdeckung ist ein weiteres Thema das notwendig ist, für den glaubwürdigen Einbau der Prefabs, da Objekte sich „verstecken“ müssen, sobald Wände oder Sichtbarrieren auftauchen. Die Fähigkeiten des ARCore für diese Problemstellung wird im Detail erörtert.

Debugging und Visualisierung der Umgebung

• Oft ist es einfacher, ein Verständnis für das Umgebungsszenario aufzubauen, wenn es grafisch visualisiert wird. Durch die Anzeige, was ARCore wirklich tut, gewinnen wir ein klareres Bild bei falschem Verhalten in der Platzierung und Orientierung unserer Objekte. Dies geschieht durch die Visualisierung spezieller Eigenschaften der unterliegenden Punktewolke und die Nutzung dieser Informationen in der angezeigten Umgebung.

Performanzeinschränkungen von Mobilgeräten

• Mobile Entwicklung konfrontiert uns mit speziellen Hürden in der Performanz, da innerhalb von AR Applikationen viele Informationen auf einem kleinen Gerät verarbeitet und angezeigt werden müssen. Korrekte 3D Geometrie und Performanzeinschränkungen der Logik und der Inhalte sind sehr wichtige Punkte, um eine fehlerfreie Ausführung mit hohen Bildraten auf dem Gerät zu garantieren. Wir sprechen über typische Performanzproblematiken und wie sie umgangen werden können.

Weitere Informationen

Zielgruppe

User Interface-Entwickler, Unity Entwickler, 3D-Entwickler

Voraussetzungen

Teilnehmer benötigen Erfahrung in der C# Entwicklung mit Unity und ein Verständnis für die Erstellung von Unity Szenen für die Publizierung. Theoretischer Hintergrund über 3D Koordinatensysteme und Augmented Reality Theorie im Allgemeinen ist notwendig; Verständnis für 3D Geometrie und Shader stellt ein Plus dar.

Organisatorisches