Designing intelligent support for learning from and in everyday contexts

Draxler, Fiona (2023): Designing intelligent support for learning from and in everyday contexts. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Motivation and engagement in learning benefit from a good match of learning settings and materials to individual learner contexts. This includes intrinsic context factors such as prior knowledge and personal interests but also extrinsic factors such as the current environment. Recent developments in adaptive and intelligent technology enable the personalisation of context-aware learning. For example, computer vision algorithms, machine translation, and Augmented Reality make it possible to support the creation of meaningful connections between learners and their context. However, for successful adoption in everyday life, these technologies also need to consider the learner experience. This thesis investigates the design of personalised context-aware learning experiences through the lens of ubiquitous and self-directed language learning as a multi-faceted learning domain. Specifically, it presents and discusses the design, implementation, and evaluation of technology support for learning in and from learners’ everyday contexts with a strong focus on the learner perspective and user experience. The work is guided by four different roles that technology can take on in context-aware ubiquitous learning: For enhancing learning situations, it can (1) sense and (2) trigger in learners’ everyday contexts. For enhancing learning contents, it can (3) augment activities and (4) generate learning material from learner everyday contexts. With regards to the sensing role, the thesis investigates how learners typically use mobile learning apps in everyday contexts. Activity and context logging, combined with experience sampling, confirm that mobile learning sessions spread across the day and occur in different settings. However, they are typically short and frequently interrupted. This indicates that learners may benefit from better integrating learning into everyday contexts, e.g. by supporting task resumption. Subsequently, we explore how this integration could be supported with intelligent triggers linked to opportune moments for learning. We conceptualise and evaluate different trigger types based on interaction patterns and context detection. Our findings show that simple interactions (e.g. plugging in headphones) are promising for capturing both availability and willingness to engage in a learning activity. We discuss how similar interaction triggers could be adapted to match individual habits. In the area of enhancing learning contents, we first investigate how enjoyable everyday activities could be augmented for learning without disrupting these activities. Specifically, we assess the learner experience with interactive grammar support in e-readers and adapted captions for audio-visual media. Participants in our studies felt that the learning augmentations successfully supported their learning process. The information load of the learning support should match the learners’ current needs to maintain the activity flow. Learners may need encouragement to opt for novel concepts optimised for learning (e.g. time-synchronised captions) rather than sticking to habits (e.g. standard captions). Next, the thesis explores learner needs and preferences in generating their own personalised learning material from their context. We design and evaluate automated content generation methods that generate learning opportunities from objects in the learner’s environment. The connection to the learner’s context is established with state-of-the-art technology, such as object detection and Augmented Reality. Through several user studies, we show that learning performance and engagement with auto-generated personalised learning material is comparable to predefined and manually generated content. Findings further indicate that the success of personalisation depends on the effort required to generate content and whether the generation results match the learner’s expectations. Through the different perspectives examined in this thesis, we provide new insights into challenges and opportunities that we synthesise in a framework for context-aware ubiquitous learning technology. The findings also have more general implications for the interaction design of personalised and context-aware intelligent systems. Notably, for the auto-generation of personalised content, it is essential to consider not only correctness from a technological perspective but also how users may perceive the results.

Abstract

Lernmotivation und Engagement profitieren davon, wenn Lernumgebungen und Lernmaterialien auf den individuellen Kontext der Lernenden abgestimmt sind. Dieser umfasst sowohl intrinsische Faktoren wie Vorkenntnisse und persönliche Interessen, aber auch extrinsische Faktoren wie die aktuelle Umgebung. Aktuelle Weiterentwicklungen im Bereich adaptiver und intelligenter Technologien ermöglichen es, Lernen kontextbewusst zu personalisieren. So können mithilfe von Computer-Vision-Algorithmen, maschineller Übersetzung und Augmented Reality sinnvolle Verknüpfungen zwischen Lernenden und ihrem Kontext geschaffen werden. Allerdings müssen diese Technologien für einen erfolgreichen Einsatz im Alltag auch die Lernerfahrung mit einbeziehen. Diese Arbeit untersucht die Gestaltung personalisierter kontextbewusster Lernerfahrungen aus der Perspektive des ubiquitären und self-directed Learning im Sprachenlernen, einem vielseitigen Lernbereich. Insbesondere wird die Konzeption, Implementierung und Evaluierung von Technologieunterstützung für das Sprachenlernen in und aus dem Alltagskontext der Lernenden vorgestellt und diskutiert, wobei der Schwerpunkt auf der Perspektive der Lernenden und der Nutzererfahrung liegt. Die Arbeit orientiert sich an vier verschiedenen Rollen, die Technologie im kontextbewussten Lernen einnehmen kann. Um Lernsituationen anzureichern, kann Technologie im Alltagskontext von Lernenden (1) erfassen und (2) auslösen. Um Lerninhalte anzureichern, kann Technologie aus dem Alltagskontext (3) Aktivitäten augmentieren und (4) Inhalte generieren. Im Hinblick auf die erfassende Rolle von Technologie wird in dieser Arbeit untersucht, wie die Lernenden mobile Lern-Apps in alltäglichen Kontexten nutzen. Die Aufzeichnung von Aktivitäten und Kontexten in Kombination mit Experience Sampling bestätigt, dass Lerneinheiten im mobilen Lernen über den Tag verteilt sind und in verschiedenen Umgebungen stattfinden. Allerdings sind sie in der Regel kurz und werden häufig unterbrochen. Dies deutet darauf hin, dass die Lernenden von einer besseren Integration des Lernens in ihren Alltagskontext profitieren könnten, z. B. durch Unterstützung des Wiedereinstiegs nach einer Unterbrechung. Anschließend untersuchen wir, wie diese Integration durch intelligente Trigger unterstützt werden könnte, die mit passenden Lernzeitpunkten verknüpft sind. Wir konzipieren und evaluieren verschiedene Arten von Triggern auf Basis von Interaktionsmustern und Kontexterkennung. Unsere Ergebnisse zeigen, dass einfache Interaktionen (z. B. das Einstecken von Kopfhörern) vielversprechend dafür sind, sowohl die Verfügbarkeit als auch die Bereitschaft für eine Lernaktivität zu erfassen. Wir diskutieren, wie ähnliche Interaktionstrigger an individuelle Gewohnheiten angepasst werden können. Im Bereich der Augmentierung von Lerninhalten untersuchen wir zunächst, wie unterhaltsame Alltagsaktivitäten für das Lernen aufbereitet werden können, ohne diese Aktivitäten zu beeinträchtigen. Konkret bewerten wir die Lernerfahrung mit interaktiver Grammatikunterstützung in E-Readern und angepassten Untertiteln für audiovisuelle Medien. Die Teilnehmer:innen unserer Studien fanden, dass die Lernunterstützung ihren Lernprozess erfolgreich förderte. Die Informationslast im Lernsystem sollte auf die aktuellen Bedürfnisse der Lernenden angepasst werden, damit das Flow-Erlebnis nicht beeinträchtigt wird. Die Lernenden brauchen möglicherweise Ermutigung dafür, sich für neuartige, lernoptimierte Konzepte zu entscheiden (z. B. zeitsynchrone Untertitel), anstatt an Gewohnheiten festzuhalten (z. B. Standarduntertitel). Als Nächstes werden in dieser Arbeit die Bedürfnisse und Präferenzen der Lernenden bei der Erstellung ihres eigenen personalisierten Lernmaterials aus ihrem Kontext untersucht. Insbesondere werden Methoden zur automatischen Generierung von Inhalten entwickelt und evaluiert, die Lernmöglichkeiten aus Objekten in der Umgebung des Lernenden generieren. Die Verbindung zum Kontext des Lernenden wird durch aktuelle Technologien wie Objekterkennung und Augmented Reality hergestellt. Wir zeigen anhand mehrerer Nutzerstudien, dass die Lernleistung und das Engagement bei automatisch personalisiertem Lernmaterial mit vordefinierten und manuell erstellten Inhalten vergleichbar sind. Die Ergebnisse zeigen außerdem, dass der Erfolg der Personalisierung vom Aufwand abhängt, der für die Erstellung der Inhalte erforderlich ist, und davon, ob die generierten Materialien den Erwartungen der Lernenden entsprechen. Die verschiedenen Perspektiven, die in dieser Arbeit untersucht werden, bieten neue Einblicke in Herausforderungen und Möglichkeiten, die wir in einem Framework für kontextbewusste ubiquitäre Lerntechnologie zusammenfassen. Die Ergebnisse haben auch allgemeinere Auswirkungen auf die Gestaltung der Interaktion mit personalisierten und kontextbewussten intelligenten Systemen. Beispielsweise ist es bei der automatischen Generierung personalisierter Inhalte wichtig, nicht nur die Korrektheit aus technologischer Sicht zu berücksichtigen, sondern auch, wie die Nutzer die Ergebnisse wahrnehmen.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 16. Oktober 2023
• 1. Bericht­erstatter:in: Schmidt, Albrecht