Design choices for interactive digital testimonies to preserve conversations with contemporary witnesses

Kolb, Daniel (2025): Design choices for interactive digital testimonies to preserve conversations with contemporary witnesses. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Contemporary witnesses are individuals who observed and lived through historical events. Interviews and conversations in which they share their personal experiences and individual knowledge can be particularly valuable for younger generations. Examples of this are encounters with Holocaust survivors in schools and museums. Such encounters with contemporary witnesses serve to supplement the education of attendees, to pass on oral history, and to perpetuate intangible cultural heritage. As their availability is limited by the physical condition as well as the lifespan of the witness, there have been many approaches towards preserving such conversations for future generations. Unlike interactions with a conversational partner, linear applications of recorded media, like transcriptions and interview footage, provide limited engagement, emotion, and immersion. In contrast, interactive digital testimonies (IDTs) combine digital archives of purpose-made recordings, conversational agents, and immersive display technologies to preserve and provide conversations with contemporary witnesses in a lifelike manner. Creating IDTs is a complex, costly, and technologically demanding process involving important design decisions that may be difficult to reverse at a later point. At the same time, the effects of many design decisions and the properties of IDTs have not been investigated and are not well-understood. In this thesis, we present a model of key components and attributes for the creation of IDTs, with testimonies of Holocaust survivors serving as a use case. To this end, we first conduct a comprehensive scientific analysis identifying the requirements of IDTs. This includes a qualitative investigation of the needs and experiences of stakeholders: educators, creators of hitherto existing IDTs, and contemporary witnesses themselves. We identified that current IDT implementations can be a more accessible alternative to conversations with human contemporary witnesses, but that the accessibility of IDTs is also limited in many ways. In addition, users encounter various difficulties when interacting with IDTs, for which assistance by human facilitators is a pragmatic but incomplete solution. We compile our findings into eight requirements and construct a conceptual model for IDTs capable of addressing the identified requirements. After describing an example implementation of the model, we present two distinct mixed-methods empirical user studies of implemented IDTs in general and on the impact of the chosen levels of the visual output in particular. We found that audio-visual 2D (i.e., monoscopic) IDTs provide users with a more immersive, authentic, and enjoyable experience than audio-only representations. Additionally, audio-visual stereoscopic 3D IDTs are perceived as even more authentic and engaging. However, advantages over experiences with audio-visual 2D IDTs are undermined by the discomfort caused by 3D glasses. Our work serves as a guide for the creation of future IDTs, including IDTs of contemporary witnesses to other historical events or the incorporation of prospective input or output devices. Our findings also support further research on immersive displays of lifelike embodied conversational agents in various contexts, such as digital oral history, post-mortem sharing of memories, and commercial applications.

Abstract

Zeitzeug:innen sind Personen, die historische Ereignisse selber beobachtet und erlebt haben. Interviews und Gespräche, in denen sie ihre persönlichen Erfahrungen und ihr individuelles Wissen weitergeben, können für jüngere Generationen besonders wertvoll sein. Ein Beispiel dafür sind Begegnungen mit Holocaust-Überlebenden in Schulen und Museen. Diese Begegnungen mit Zeitzeug:innen dienen zur Ergänzung der Bildung, der Weitergabe von mündlichen Überlieferungen und der Bewahrung von immateriellem Kulturerbe. Da diese Gelegenheiten sowohl durch die gesundheitliche Verfassung als auch auf die Lebenszeit der Zeitzeug:innen begrenzt ist, werden unterschiedliche Ansätze verfolgt, um solche Gespräche für zukünftige Generationen zu bewahren. Lineare Anwendungen von Aufzeichnungen, wie Transkriptionen und Interview-Mitschnitte, ermöglichen nur selten das Interesse, die Gefühle und das Eintauchen wie Unterhaltungen mit Gesprächspartnern. Interaktive digitale Zeugnisse (IDT, engl. ``interactive digital testimonies'') kombinieren speziell angefertigte Aufnahmen in digitalen Archiven, Gesprächsagenten und Technologien für immersive Darstellungen, um Gespräche mit Zeitzeug:innen auf lebensechte Weise zu bewahren und auch in Zukunft anzubieten. Die Erstellung von IDTs ist ein komplexer, kostspieliger und technologisch anspruchsvoller Prozess, bei dem entscheidende Abwägungen und Design-Entscheidungen getroffen werden, die mitunter später nur schwer rückgängig gemacht werden können. Gleichzeitig sind die Auswirkungen vieler Design-Entscheidungen und der sich daraus ergebenden Eigenschaften von IDTs noch nicht erforscht oder bekannt. In dieser Arbeit wird ein Modell mit Schlüsselkomponenten und -merkmalen für die Erstellung von IDTs vorgestellt, wobei Zeugnisse von Holocaust-Überlebenden als Anwendungsfall dienen. Dafür führen wir zunächst eine umfassende wissenschaftliche Analyse durch, um die Anforderungen an IDTs zu ermitteln. Dazu gehört eine qualitative Untersuchung der Bedürfnisse und Erfahrungen der Beteiligten: Pädagog:innen, Ersteller:innen bisheriger IDTs sowie die Zeitzeug:innen selbst. Bisherige Implementierungen von IDTs stellen zwar eine leichter zugängliche Alternative zu Gesprächen mit menschlichen Zeitzeugen dar, jedoch weisen sie ihrerseits dennoch eigene Einschränkungen der Zugänglichkeit auf. Darüber hinaus stoßen die Nutzer bei der Interaktion mit IDTs auf verschiedene Schwierigkeiten, für die eine Begleitung durch menschliche Moderatoren eine pragmatische, aber unvollständige Lösung darstellt. Wir fassen unsere Erkenntnisse in acht Anforderungen zusammen und konstruieren ein konzeptionelles Modell für IDTs, welches den identifizierten Anforderungen gerecht wird. Im Anschluss an die Darlegung einer Beispielimplementierung dieses Modells erforschen wir die Implementierung anhand zweier empirischer Nutzerstudien, die sowohl qualitative als auch quantitative Methoden verwenden. Zusätzlich zu einer allgemeinen Untersuchung der Wirkung der implementierten IDTs auf Nutzer:innen, fokussieren sich die Studien auf die Auswirkungen der unterschiedlichen Formen der visuellen Ausgabe. Audiovisuelle 2D-IDTs bieten Nutzern ein intensiveres, authentischeres und angenehmeres Erlebnis als rein auditive Varianten von IDTs. Audiovisuelle 3D-IDTs werden darüber hinaus als noch authentischer und fesselnder wahrgenommen, allerdings werden die Vorteile gegenüber den Erfahrungen mit audiovisuellen 2D-IDTs durch die Unannahmlichkeiten, die die 3D-Brille verursacht, untergraben. Diese Arbeit dient als Leitfaden für die Erstellung zukünftiger IDTs, einschließlich IDTs von Zeitzeugen anderer historischer Ereignisse sowie der Einbeziehung neuer Eingabe- oder Ausgabegeräte. Die Ergebnisse dieser Arbeit unterstützen weitere Forschungen zu immersiven Darstellungen von lebensechten verkörperten Gesprächsagenten in verschiedenen Situtationen. Diese erstrecken sich sowohl auf digitale Formen von mündlichen Überlieferungen und den Austausch von Erzählungen von Verstorbenen als auch kommerzielle Anwendungen.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 4. Februar 2025
• 1. Bericht­erstatter:in: Kranzlmüller, Dieter