Konzepte und Guidelines für Applikationen in Cinematic Virtual Reality

Rothe, Sylvia (2020): Konzepte und Guidelines für Applikationen in Cinematic Virtual Reality. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Die meisten Menschen, die zum ersten Mal einen omnidirektionalen Film über ein Head-Mounted Display (HMD) sehen, sind fasziniert von der neuen Erlebniswelt. Das Gefühl, an einem anderen Ort zu sein, weit weg von der Realität, beeindruckt und lässt sie in eine andere Welt eintauchen. Die über Jahrzehnte entwickelte Filmsprache lässt sich nicht ohne Weiteres auf dieses neue Medium - Cinematic Virtual Reality (CVR) - übertragen. Der Betrachter kann die Blickrichtung und damit den sichtbaren Ausschnitt des Bildes frei wählen, und es ist deshalb nicht immer möglich, dem Zuschauer zu zeigen, was für die Geschichte wichtig ist. Herkömmliche Methoden für die Lenkung der Aufmerksamkeit - wie Nahaufnahmen oder Zooms - sind nicht ohne Weiteres verwendbar, andere – wie Bewegung und Farben – benötigen eine Evaluation und Anpassung. Um neue Konzepte und Methoden für CVR zu finden, sind neben den Forschungsergebnissen aus dem Filmbereich auch die anderer Forschungsgebiete, wie Virtual und Augmented Reality (VR und AR), relevant. Um geeignete Techniken der Aufmerksamkeitslenkung in CVR zu ergründen, werden in dieser Arbeit bekannte Methoden aus Film, VR und AR analysiert und eine einheitliche Taxonomie präsentiert. Dadurch ist es möglich, die verschiedenen Aspekte detaillierter zu untersuchen. Auch die Positionierung der Kamera kann nicht ohne Weiteres vom traditionellen Film auf CVR übertragen werden. Der Zuschauer nimmt bei der Betrachtung einer CVR-Anwendung in der virtuellen Welt die Position der Kamera ein. Dies kann zu Problemen führen, wenn die Kamerahöhe nicht seiner eigenen Körpergröße entspricht. Außerdem ist eine Auflösung einer Szene durch verschiedene Einstellungsgrößen nicht ohne Weiteres möglich, da dies für den Zuschauer ein Umherspringen in der virtuellen Welt bedeuten würde. In dieser Arbeit werden die Auswirkungen verschiedener Kamerapositionen auf den Zuschauer untersucht und Guidelines zur Kamerapositionierung vorgestellt. Die dazugewonnene Raumkomponente bietet neue Möglichkeiten. Schnitte müssen nicht unbedingt von der verstrichenen Zeit abhängen, sondern können auch auf der Blickrichtung des Betrachters basieren. In Übereinstimmung mit dem Begriff Timeline führen wir das Konzept der Spaceline für diese Methode der Story-Konstruktion ein. Während die Schnitte auf der Timeline vom Filmemacher festgelegt werden, bestimmt der Betrachter die Spaceline - innerhalb eines vom Filmemacher festgelegten Konstrukts. Durch diese individuelle Zuschauerführung ist es möglich, dass jeder seine eigene Geschichte in seinem eigenen Tempo und mit seinen eigenen Prioritäten entdeckt. Das Spaceline-Konzept bietet neue Interaktionsmöglichkeiten, die durch verschiedene Selektionstechniken umgesetzt werden können. Um Techniken zu finden, die für CVR geeignet sind, werden in dieser Arbeit blick- und kopfbasierte Ansätze untersucht. Auch wenn deren Wirksamkeit stark von den gewählten Parametern und physiologischen Faktoren abhängen, konnten wertvolle Erkenntnisse gewonnen werden, die in einen Design-Space für CVR-Konstrukte einfließen. Dieser Design-Space ermöglicht es beim Entwerfen einer CVR-Anwendung, die Attribute zu finden, die für die Anwendung am besten geeignet sind. Aber nicht nur die Entwicklung von CVR-Anwendungen stellt neue Herausforderungen. Durch das HMD ist ein Zuschauer von der restlichen Welt isoliert, und es bedarf neuer Methoden, um CVR als soziale Erfahrung erlebbar zu machen. Einige davon werden in dieser Arbeit vorgestellt und analysiert. Aus den gewonnenen Erfahrungen werden Empfehlungen für einen CVR-Movie-Player abgeleitet. Um die vorgestellten Konzepte und Guidelines zu entwickeln, wurden eine Reihe von Nutzerstudien durchgeführt, zum Teil mit Aufzeichnung der Kopf- und Blickrichtungen. Um diese Daten analysieren zu können, wurde ein Tool entwickelt, welches die Visualisierung der Daten auf dem Film ermöglicht. In dieser Arbeit werden Konzepte und Guidelines für verschiedene Felder in Cinematic Virtual Reality vorgestellt: Aufmerksamkeitslenkung, Kamerapositionierung, Montage, Zuschauererlebnis und Datenanalyse. Auf jedem dieser Gebiete konnten Erkenntnisse gewonnen werden, die auch für die andere Bereiche von Interesse sind. Oft hängen die Ergebnisse der einzelnen Fachgebiete zusammen und ergänzen sich gegenseitig. Ziel der Arbeit ist es, die verschiedenen Aspekte als Ganzes zu präsentieren.

Abstract

Most people who watch an omnidirectional film for the first time on a head-mounted display (HMD) are fascinated by the new world of experience. The feeling of being in a different place, right in the middle of the action, far from reality, impresses and gives the opportunity to immerse in another world. The film language developed over decades cannot simply be transferred to this new media, Cinematic Virtual Reality (CVR). The viewer can freely choose the direction of view and thus the visible section of the picture and it is therefore not always possible to show the viewer what is important for the story. Traditional methods for directing attention - such as close-ups or zooms - are not easy to use, others - such as movement and colors - needs to be assessed and adjusted. For finding new concepts and methods for CVR, in addition to the research results from the film area, other areas in the field of virtual and augmented reality (VR and AR) are relevant. In order to find suitable methods to draw attention in CVR, known methods from film, VR, and AR are analyzed in this work and a uniform taxonomy is presented. This makes it possible to investigate the various aspects of the methods in more detail. The positioning of the camera cannot simply be transferred from traditional film to CVR. When viewing a CVR application in the virtual world, the viewer takes the place of the camera in the real world. This can lead to problems if the camera height does not match the viewer’s height. In addition, a resolution of a scene due different setting sizes is not possible as this would mean that the viewer would jump around in the virtual world. In this work, the effects of different camera positions on the viewer are examined and guidelines for camera positioning are presented. The additional space component offers new possibilities. Cuts do not necessarily have to depend on the elapsed time, but can also be based on the viewer's gaze. In accordance with the term timeline, we introduce the concept of the spaceline for this method of story plot construction. While the cuts on the timeline are determined by the filmmaker, the viewer determines the spaceline - within a construct determined by the filmmaker. Through this individual guided tour, everyone can discover their own story at their own pace and with their own priorities. The spaceline concept offers new interaction options that can be implemented using various selection techniques. In order to find methods that are suitable for CVR, this work examines eye and head-based techniques. Even if the effectiveness of them strongly depends on the chosen parameters and physiological factors, valuable insights are gained, which are included in a design space for spaceline constructs. This design space allows one to find the attributes that best suits for the application when designing a CVR application. But not only the creation of CVR applications presents new challenges. The HMD isolates a viewer from the rest of the world and requires new techniques to experience CVR in a social way. Some of these are presented and analyzed in this work. Recommendations for a CVR movie player are derived from the experience gained. Several user studies were conducted to develop the concepts and guidelines, some of them by recording of the head and gaze directions. To be able to analyze this data, a tool was developed which enables us to visualize the data on the film. In this work, concepts and guidelines for various fields in Cinematic Virtual Reality are presented: attention guiding, camera positioning, montage, audience experience, and data analysis. In each of these areas, knowledge was gained that is also of interest to the other fields. The findings of the individual fields are often related and complement each other. This work aims to present the various aspects as a whole.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Cinematic Virtual Reality, 360°-Film, omnidirektionaler Film, Interaktion, Aufmerksamkeitslenkung, Spaceline
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Deutsch
• Datum der mündlichen Prüfung: 5. August 2020
• 1. Bericht­erstatter:in: Hußmann, Heinrich