Seminarinhalt

iOS Entwicklung mit Unity

• Die Entwicklung mit iOS ist eine der komplexeren Problemstellungen in der Verwendung mit Unity um AR Applikationen herzustellen. Code-signing und lange Entwicklungszyklen sind eine verbreitete Problematik für viele neue Entwickler die versuchen, im Apple Ökosystem Fuß zu fassen. Wie man an Dinge wie Geräteregistrierung, XCode Einstellungen, Apple Developer Profile, Zertifikatserstellung und TestFlight Publizierung heran tritt, lernen wir in diesem Kapital. Unity wird als eine Basis für korrekten Szenenaufbau benutzt und es wird eine komplette Pipeline vom Editor bis aufs Abspielgerät erklärt.

AssetStore Voraussetzungen und ARKit Plugins

• Unity selbst ist nur eines der Schlüsselelemente für die Entwicklung mit ARKit. Ein Teil der Magie passiert innerhalb interner Bibliotheken auf der Apple iOS Seite, die zuerst in Unity verfügbar sein müssen. Wir erklären die Verwendung des AssetStores um ein korrektes ARKit Integrationsplugin einzubinden und benutzen dieses Wissen um unsere ersten ARKit Verbindungen aufzubauen.

Voraussetzungen für ein gutes AR Erlebnis

• Videoeinbindung bringt ihre eigene Klasse von Problemen und Limitationen mit sich. Beleuchtungsszenarios für die Erkennung von Details, Datengenauigkeit der ausgelesenen Umgebung und verschiedene andere Voraussetzungen müssen verstanden sein, um ein gut funktionierendes AR Erlebnis aufsetzen zu können. Wir diskutieren über die verschiedenen Wege, AR in reale Situationen einzubauen und zeigen Problemstellungen, die beachtet werden müssen in der Entwicklung.

Umgebungserkennung und ARKit Hintergründe

• Wie erkennt der ARKit die Umgebung und ermöglicht es uns, 3D Grafiken in die Videobilder einzusetzen? Wir schauen uns die unterliegenden Prinzipien der visuell-bewegten Odometrie sowie die daraus resultierenden Fähigkeiten der Erkennungsalgorithmen an, um unsere Hierarchien in den angezeigten Hintergrund zu transferieren. Koordinatensysteme sind ein Schlüsselelement für die Kombination der ausgelesenen 3D Punktewolke des ARKits mit den Objekten unserer Szene.

Trefferpunkterkennung und dynamische Objekte

• Da nun ein Verständnis für unsere Umgebung vorliegt, ist es von Nöten, einen Punkt in der Umgebung zu identifizieren, so dass wir ein dynamisches Objekt an dessen Position erstellen können. Instanziierung ist der Weg um diese Problematik zu lösen und zusammen mit Prefabs sprechen wir über ein Cloning-Setup, mit dem wir Inhalte in unserem 3D-Raum platzieren können. Dies ermöglicht uns, „Dinge“ in der Welt des Videobilds zu platzieren.

Ebenenerkennung und Verankerung

• Der ARKit liefert uns verschiedene komplexe Informationen, die wir für Positionierungszwecke auswerten können. Ebenen ermöglichen uns, Orientierungen auf Inhalte anzuwenden, bezogen auf Oberflächen wie Tische, Wände, etc. Dynamische Verankerung bewegt die Inhalte dann im Bezug auf die Hintergrundszene. Wie dies aufzusetzen ist, so dass eine Verbindung ist mit den verschiedenen Spielobjekten besteht, stellt einen kritischen Schritt dar, um Dinge fest in Szene zu setzen.

Lichteinschätzung und Verdeckung

• Für eine nahtlose Einbindung der platzierten Inhalte ist eine Einschätzung der angezeigten Lichtsituation im Videobild notwendig. Glücklicherweise liefert ARKit einige Daten der umgebenden Lichtsituation. Wir erörtern ambiente Lichteinflüsse auf den Szeneninhalt in Unity und integrieren die ARKit Resultate. Verdeckung ist ein weiteres Thema das notwendig ist, für den glaubwürdigen Einbau der Prefabs, da Objekte sich „verstecken“ müssen, sobald Wände oder Sichtbarrieren auftauchen. Die Fähigkeiten des ARKits für diese Problemstellung wird im Detail erörtert.

Debugging und Visualisierung der Umgebung

• Oft ist es einfacher, ein Verständnis für das Umgebungsszenario aufzubauen, wenn es grafisch visualisiert wird. Durch die Anzeige, was ARKit wirklich tut, gewinnen wir ein klareres Bild bei falschem Verhalten in der Platzierung und Orientierung unserer Objekte. Dies geschieht durch die Visualisierung spezieller Eigenschaften der unterliegenden Punktewolke und die Nutzung dieser Informationen in der angezeigten Umgebung.

Performanzeinschränkungen von Mobilgeräten

• Mobile Entwicklung konfrontiert uns mit speziellen Hürden in der Performanz, da innerhalb von AR Applikationen viele Informationen auf einem kleinen Gerät verarbeitet und angezeigt werden müssen. Korrekte 3D Geometrie und Performanzeinschränkungen der Logik und der Inhalte sind sehr wichtige Punkte, um eine fehlerfreie Ausführung mit hohen Bildraten auf dem Gerät zu garantieren. Wir sprechen über typische Performanzproblematiken und wie sie umgangen werden können.

Weitere Informationen

Zielgruppe

User Interface-Entwickler, Unity Entwickler, 3D-Entwickler

Voraussetzungen

Teilnehmer benötigen Erfahrung in der C# Entwicklung mit Unity und ein Verständnis für die Erstellung von Unity Szenen für die Publizierung. Theoretischer Hintergrund über 3D Koordinatensysteme und Augmented Reality Theorie im Allgemeinen ist notwendig; Verständnis für 3D Geometrie und Shader stellt ein Plus dar. Vorhandene iOS Entwicklungserfahrung ist von Vorteil.

Organisatorisches