Converge

Projektbeschreibung:

Converge ist eine interaktive Arbeit des Ars Electronica Futurelab für den Deep Space 8K – basierend auf SHARESPACE, einem großen europäischen Forschungs- und Entwicklungsprojekt zur Nutzung von Avataren in sozialen Situationen. Converge nutzt Tracking von bis zu zehn Teilnehmer*innen vor Ort und einen Motion-Capture-Anzug für eine externe Person. Alle müssen zusammenarbeiten, um voranzukommen, und können mit der remote zugespielten Person nur über Bewegung und Körpersprache kommunizieren.

SHARESPACE ist ein europäisches Forschungs- und Entwicklungskonsortium, das sich auf die ethisch fundierte zukünftige Nutzung digitaler Avatare für soziale Interaktionen konzentriert. Es geht dabei um Mixed Reality Szenarien, in denen KI-gesteuerte Avatare mit Avataren menschlicher Teilnehmer*innen interagieren können. Das Projekt mit 14 Partnerinstitutionen aus acht Ländern läuft von Januar 2023 bis Dezember 2025. Das Futurelab ist hauptsächlich für die Entwicklung von Kunstszenarien verantwortlich, die experimentelle, kreative Ansätze ermöglichen, die sich von den eher anwendungsorientierten Gesundheits- und Sportszenarien anderer Partner*innen unterscheiden.

Im Mittelpunkt der Kunstszenarien steht der Deep Space 8K im Ars Electronica Center, ein immersiver Erlebnisraum mit stereoskopischen Projektionen im Format 16×9 Meter auf Wänden und Böden – errichtet und weiterentwickelt vom Futurelab. Das pharus-Lasertracking-System, eine weitere Futurelab-Technologie, ermöglicht interaktive Erlebnisse, indem es die Position von Personen und Objekten auf dem Boden erkennt und so die Interaktion mit digitalen Kunstwerken verbessert.

Converge verbindet Deep-Space- und SHARESPACE-Technologie zu einer neuen Art von Erfahrung, bei der Teilnehmer*innen vor Ort mit einer bzw. einem externen Mitspieler*in verbunden werden, um gemeinsam Szenarien zu erkunden, deren Lösungen nur durch subtile visuelle Hinweise angedeutet werden. Der minimalistische Stil hebt Bewegungen und Interaktionen hervor und endet damit, dass die Teilnehmer*innen Hunderte KI-Charaktere davor bewahren müssen, in immer größer werdende Löcher zu fallen.

Die Technologie

Das Projekt verwendet einige fortschrittliche Systeme, um die genannten Ideen zum Leben zu erwecken. Zunächst werden die Bewegungen der Person, die remote spielt, in Echtzeit erfasst. Dies geschieht mithilfe eines optischen Tracking-Systems namens Optitrack und eines Motion-Capture-Systems namens Noitom. Die Remote-Person trägt optische Marker an Kopf, Rücken, Ellbogen, Händen, Knien und Füßen. Diese Positionsdaten der einzelnen Marker werden von Noitom zu einem Skelett zusammengesetzt. Diese Skelettdaten werden dann in Form eines BVH-Streams (Biovision Hierarchy) über das Netzwerk an die PCs im Deep Space 8K (Wand-PC und Boden-PC) und im Studio gesendet. Auf den PCs läuft jeweils eine Instanz unserer eigenen Anwendung, die mit der Unreal Engine erstellt wurde. Diese Instanzen verwenden die Skelettdaten, um den Avatar der externen Spielerin bzw. des externen Spielers im Deep Space 8K korrekt darzustellen.

Zusätzlich trägt der bzw. die Remote-Spieler*in ein Virtual-Reality-Headset, die Meta Quest Pro, mit dem die Person die virtuelle Umgebung, einschließlich der anderen Spieler*innen und des eigenen Körpers, aus der Perspektive der von ihm oder ihr gesteuerten Figur sehen kann. Die Bilder im Headset werden über ein lokales WLAN-Netzwerk von einer separaten Instanz der Anwendung, die auf einem PC im Studio läuft, direkt auf das Headset gestreamt.

Der PC, der die Wandinhalte in Deep Space 8K rendert, ist als Server konfiguriert und repliziert Dinge wie Szenenübergänge, Lochgröße und andere globale Parameter auf die Client-PCs (Boden-PC und Studio-PC).

Die Positionen der Spieler*innen im Deep Space werden mithilfe des LIDAR-Lasertracking-Systems Pharus des Futurelab erfasst. Die Tracking-Daten der Laser im Deep Space 8K werden verwendet, um die Positionsdaten in Echtzeit auf einem separaten PC zu berechnen. Diese Positionsdaten werden von der Serverinstanz (Wand-PC) auf die Clients (Boden-PC und Studio-PC) repliziert, um die Charaktere der lokalen Spieler*innen an den richtigen Positionen darzustellen.

Die Animation der lokalen Spieler*innen wird auf den Rendering-PCs gehandhabt. Die Figuren folgen einfach der realen Position der Spieler*innen mithilfe eines Algorithmus zur Wegfindung. Sie verwenden vordefinierte Animationen für Stillstand, Gehen und Laufen und einen Blendspace, der zwischen diesen Animationen auf Basis der Geschwindigkeit der einzelnen Charactere interpoliert.

Credits

Ars Electronica Futurelab: Patrick Berger, Daniel Rammer, Raphael Schaumburg-Lippe, Cyntha Wieringa, Arno Deutschbauer

PARTNER: SHARESPACE Consortium

© Ars Electronica Futurelab