Perception design

Hoppe, Matthias (2024): Perception design: designing multimodal experiences to transform perception in Virtual Reality. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Current research and development of Virtual Reality (VR) focuses on improving the appearance of the virtual world and replicating the real world as well as possible. The advancements in technology and experiences try to replicate our reality in a virtual space in the finest detail, thereby creating a doppelgänger for reality. VR is a new medium that needs to evolve beyond the mere replication of reality. Previous research has shown that simplified virtual environments and avatars are effective in bringing a person to remote worlds or enhancing one’s self-perception in a way that is impossible in the real world. This focus on the replication of reality is heavily focused on the field of haptic feedback, as shown by our literature review. Therefore, there is a need for research in Human-Computer Interaction (HCI) for novel approaches to designing VR that go beyond reality. In this thesis, I discuss the design constraints and considerations involved in working with VR as a new medium that allows creating experiences that go beyond reality. I demonstrate how multimodal experiences transform the perception of the user through the use of simple elements such as haptics. To that end, I divide the perception of the user in relation to oneself, other characters or people and the embodiment of multiple bodies in the form of out-of-body experiences. Through iterative design, building systems, and conducting user studies, I show how changing one's step sound impacts gait; a computer-controlled character appears more human with a touch on one's shoulder; and changing the perspective lets the users embody in multiple bodies simultaneously. Further, I demonstrate a framework and application of a drone-based feedback system that facilitates haptic encounters. I also contribute to the technical design of a system that provides inertial feedback in VR through air resistance. The work in this thesis builds a base for inquiries into VR systems that offer sensory experiences beyond what is possible in real life. I offer a theoretical framework to classify haptic experiences in VR as well as numerous design solutions for building illusions that expand the scope of perception in virtual worlds. Thus, I provide researchers and designers with the thinking tools and design solutions needed to build a new wave of VR research.

Abstract

Die derzeitige Forschung und Entwicklung im Bereich der virtuellen Realität (VR) konzentriert sich darauf, das Erscheinungsbild der virtuellen Welt zu verbessern und die reale Welt so gut wie möglich nachzubilden. Mit den Fortschritten in der Technologie und den Erfahrungen wird versucht, unsere Realität in einem virtuellen Raum bis ins kleinste Detail nachzubilden und so einen Doppelgänger der Realität zu schaffen. VR ist ein neues Medium, das sich über die bloße Nachbildung der Realität hinaus weiterentwickeln muss. Frühere Forschungen haben gezeigt, dass vereinfachte virtuelle Umgebungen und Avatare entscheidend dazu beitragen, eine Person in ferne Welten zu versetzen oder ihre Selbstwahrnehmung auf eine Weise zu verbessern, die in der realen Welt unmöglich ist. Dieser Fokus auf die Nachbildung der Realität konzentriert sich stark auf den Bereich des haptischen Feedbacks, wie unsere Literaturübersicht zeigt. Daher besteht in der Forschung im Bereich der Mensch-Computer-Interaktion (HCI) ein Bedarf an neuen Ansätzen für die Gestaltung von VR, die über die Realität hinausgehen. In dieser Arbeit erörtere ich die gestalterischen Limitationen und Überlegungen, die bei der Arbeit mit VR als neuem Medium, das die Schaffung von Erfahrungen jenseits der Realität ermöglicht, eine Rolle spielen. Ich zeige, wie multimodale Erfahrungen die Wahrnehmung des Benutzers durch den Einsatz einfacher Elemente wie Haptik verändern. Zu diesem Zweck unterscheide ich die Wahrnehmung des Benutzers in Bezug auf sich selbst, andere Figuren oder Menschen und die Verkörperung mehrerer Körper in Form von außerkörperlichen Erfahrungen. Durch iteratives Design, den Aufbau von Systemen und durchgeführten Nutzerstudien zeige ich, wie sich die Änderung des Schrittgeräuschs auf den Gang auswirkt, wie eine computergesteuerte Figur durch eine Berührung an der Schulter menschlicher erscheint und wie eine Änderung der Perspektive den Nutzer in mehrere Körper gleichzeitig schlüpfen lässt. Darüber hinaus demonstriere ich einen Rahmen und die Anwendung eines dronenbasierten Feedbacksystems, das haptische Begegnungen erleichtert. Ich trage auch zum technischen Design eines Systems bei, das durch den Luftwiderstand ein Trägheitsfeedback in VR ermöglicht. Die Arbeit in dieser Dissertation bildet eine Grundlage für die Erforschung von VR-Systemen, die sensorische Erfahrungen bieten, die über das hinausgehen, was im realen Leben möglich ist. Ich biete einen theoretischen Rahmen zur Klassifizierung haptischer Erfahrungen in der VR sowie zahlreiche Designlösungen für den Aufbau von Illusionen, die den Umfang der Wahrnehmung in virtuellen Welten erweitern. Auf diese Weise gebe ich Forschern und Designern die Denkwerkzeuge und Designlösungen an die Hand, die sie benötigen, um eine neue Phase der VR-Forschung einzuleiten.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 13. März 2024
• 1. Bericht­erstatter:in: Schmidt, Albrecht