Supporting users in understanding intelligent everyday systems

Eiband, Malin (2019): Supporting users in understanding intelligent everyday systems. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Intelligent systems have permeated many areas of daily life like communication, search, decision-making, and navigation, and thus present an important meeting point of people and artificial intelligence in practice. These intelligent everyday systems are in focus of this thesis. Intelligent everyday systems exhibit the characteristics of so-called complex systems as defined in cognitive science: They serve ill-defined user goals, change dynamically over time, and comprise a large number of interrelated variables whose dependencies are not transparent to users. Due to this complexity, intelligent everyday systems can violate established usability guidelines of user interface design like transparency, controllability and easy error correction. This may introduce uncertainty to interaction that users have to overcome in order to reach a goal. I introduce a perspective from cognitive science, where users do so through knowledge. The work presented in this thesis aims at assisting users in gaining this knowledge, or supporting users in understanding intelligent everyday systems, for example, through explanation, control, correction or feedback. To this end, the work included in this thesis makes three main contributions: First, I present a method for eliciting user need for support and informing adequate solutions through practical user problems with intelligent everyday systems in daily interaction. In a first phase, the presented method uses passive data collection to extract user problems with intelligent everyday systems through a combination of automated and manual analyses. In the second phase, these problems are then enriched and validated through active data collection to derive solutions for support. In addition, I report on the application of this method to uncover user problems with four popular commercial intelligent everyday systems (Facebook, Netflix, Google Maps and Google Assistant). Second, I introduce a conceptual framework for categorising and differentiating prevailing notionsin the field of how users should be supported in understanding intelligent systems related to what users seek to know, how they acquire knowledge, and what kind of knowledge they acquire. The presented framework can be used to make these notions explicit and thus introduces an overarching structure that abstracts from the field’s fractured terminological landscape. It aims at helping other researchers become aware of existing approaches and locate and reflect on their own work. Third, I present a number of case studies and arguments as an exploration of how users can be supported in the face of real-world challenges and trade-offs. My research reflects two possible perspectives to approach this question, a normative and a pragmatic one. As part of a critical reflection on the normative perspective, the work shows that explanations without information can similarly foster user trust in a system compared to real explanations, and discusses how user support can be exploited to deceive users. From the pragmatic perspective emerges a stage-based participatory design process that incorporates different stakeholder needs and a study assessing how support can be interwoven with users’ primary tasks. In summary, this thesis adopts a perspective on interaction with intelligent everyday systems, where understanding is a fundamental process towards reaching a user-set goal. On this basis, I introduce a research agenda for future work that incorporates the presented contributions and also includes challenges beyond the scope of this work, such as considering user empowerment. I hope that this agenda, along with the presented method, framework and design exploration, will help future work to shape interaction with intelligent everyday systems in a way that allows people to use them better, and to better ends and outcomes.

Abstract

Intelligente Systeme haben Einzug in viele Bereiche des täglichen Lebens wie Kommunikation, Informationssuche, Entscheidungsfindung, und Navigation erhalten und stellen damit einen wichtigen Berührungspunkt von Menschen und künstlicher Intelligenz in der Praxis dar. Solche intelligenten Alltagssysteme stehen im Fokus dieser Arbeit. Intelligente Alltagssysteme weisen die Charakteristika von sogenannten komplexen Systemen aus der Kognitionsforschung auf: Sie dienen unscharfen Nutzerzielen, verändern sich dynamisch über die Zeit, und beinhalten eine große Anzahl an miteinander verknüpften Variablen, deren Wechselbeziehungen für Nutzer nicht erkennbar sind. Auf Grund dieser Komplexität können intelligente Alltagssysteme bewährte Richtlinien zur Gestaltung von nutzerfreundlichen Benutzeroberflächen verletzen, beispielsweise Transparenz, Kontrollierbarkeit, und einfache Fehlerbehebung. Dies kann bei der Interaktion zu Unsicherheit führen, die Nutzer auf dem Weg zu einem Ziel überwinden müssen. Ich führe eine Perspektive aus der Kognitionsforschung ein, nach welcher Nutzer dies durch Wissen tun. Die hier präsentierten Arbeiten haben zum Ziel, Nutzern beim Erlangen dieses Wissens zu helfen, oder Nutzerverständnis von intelligenten Alltagssystemen zu unterstützen, beispielsweise durch Erklärung, Kontrolle, Korrektur oder Rückmeldung an das System. Hierzu leisten die vorgestellten Arbeiten hauptsächlich drei Beiträge: Ich präsentiere zunächst eine Methode, um das Nutzerbedürnis nach Unterstützung zu ermitteln und entsprechende Lösungen zu informieren. Die Methode identifiziert dazu praktische Nutzerprobleme mit intelligenten Alltagssystemen im täglichen Gebrauch. In einer ersten Phase werden diese Probleme auf Grund von passiver Datenerhebung unter Verwendung automatisierter und manueller Analysemethoden extrahiert. In der zweiten Phase werden die ermittelten Problemedurch aktive Datenerhebung angereichert und validiert, um Lösungen zur Unterstützung abzuleiten. Daneben berichte ich von der Anwendung dieser Methode, um Nutzerprobleme in vier verbreiteten kommerziellen intelligenten Alltagssystemen (Facebook, Netflix, Google Maps und Google Assistant) aufzudecken. Danach führe ich ein konzeptuelles Framework ein, mit dem im Feld vorherrschende Annahmen, wie Nutzerverständnis von intelligenten Alltagssystemen unterstützt werden sollte, klassifiziert und differenziert werden können. Diese Annahmen beziehen sich darauf, welches Wissen Nutzer erlangen wollen, wie sie dieses Wissen erlangen, und um welche Art von Wissen es sich handelt. Durch das Framework können die jeweiligen Annahmen explizit gemacht werden. Es schafft so eine übergreifende Struktur, die von der Fülle und Diversität der im Feld verwendeten Begrifflichkeiten abstrahiert. Das Framework kann anderen Forschern dabei helfen, sich über bestehende Ansätze bewusst zu werden, und ihre eigene Arbeit zu verorten und zu reflektieren. Zum Dritten bringe ich eine Reihe von Fallbeispielen und Argumenten an, die explorieren, wie Nutzer angesichts von Einschränkungen und Abwägungen in der Praxis unterstützt werden können. Meine Forschung spiegelt dabei zwei mögliche Sichtweisen auf diese Frage wider, eine normative und eine pragmatische. Im Zuge einer kritischen Betrachtung der normativen Sichtweise zeigt diese Arbeit, dass Erklärungen ohne Informationsgehalt in ähnlicher Weise Vertrauen in ein System hervorrufen können wie richtige Erklärungen. In diesem Zusammenhang wird weiterhin diskutiert, wie Unterstützung gezielt zur Täuschung von Nutzern missbraucht werden kann. Aus der pragmatischen Sichtweise geht in dieser Arbeit ein stufenförmiger partizipatorischer Designprozess hervor, der die verschiedenen Interessen in der Praxis Beteiligter berücksichtigt. Zudem wird in einer Studie untersucht, wie Unterstützung von Verständnis mit der Primäraufgabe von Nutzern verknüpft werden kann. Zusammenfassend nimmt diese Arbeit eine Perspektive auf Interaktion mit intelligenten Alltagssystemen ein, die Verstehen als grundlegenden Prozess auf dem Weg zu einem Nutzerziel begreift. Basierend darauf stelle ich eine Forschungsagenda vor, die die präsentierten Publikationen einschließt und zudem Herausforderungen über den Rahmen dieser Arbeit hinaus beinhaltet, wie beispielsweise die Einbeziehung von“Nutzer-Empowerment”. Ich hoffe, dass diese Agenda, die vorgestellte Methode, das Framework und die Erkenntnisse aus der Exploration möglicher Designansätze zukünftiger Forschung hilft, Interaktion mit intelligenten Systemen im Alltag zu gestalten – so, dass Nutzer sie besser und zu besseren Zwecken verwenden können.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: intelligent systems, complex systems, user support, everyday applications, HCI
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 31. Oktober 2019
• 1. Bericht­erstatter:in: Hußmann, Heinrich