Using imperfect AI to support high-stakes decisions

Zhang, Zelun Tony (2025): Using imperfect AI to support high-stakes decisions. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Given the impressive technological advances of recent years, artificial intelligence (AI) is anticipated to enhance human decision-making across various fields, including challenging, high-stakes ones like healthcare, finance, or aviation. However, recent research shows that supporting human decision makers with AI is far from straight-forward. Often, AI decision support is designed to be recommendation-centric, i.e., the AI gives a closed, end-to-end decision recommendation. Since the human is not involved in generating the recommendation, they often cannot work effectively with it, particularly when the AI is wrong. Incorrect recommendations can severely disrupt the human decision maker's workflow or, if unnoticed, lead them to adopt the wrong recommendation (overreliance), which is especially problematic for high-stakes decisions. A common approach to address this is to explain the AI recommendation, but results have been mixed so far. This thesis advances the understanding of how AI–despite its imperfection–can effectively support human decision-making in high-stakes domains, by addressing two major issues: 1) Through experiments on simple, controllable decision tasks with lay users, the thesis contributes a better understanding of the limitations of recommendation-centric support for high-stakes decisions. The experiment results reveal that humans are particularly prone to overrely on AI recommendations in challenging decisions and after repeated interactions with the AI. Common feature-based explanations could not effectively mitigate overreliance. 2) Through more qualitative studies with domain experts, the thesis explores alternative approaches to AI decision support to overcome the identified limitations. As explored for the use case of diversions in aviation, one promising approach is to design AI to support the process leading up to the final decision, rather than jumping straight to the end of the process with an end-to-end recommendation. The AI support must be granular and flexible enough for the decision maker to use it according to their own momentary intention. Instead of "opening the black box", explanations should help users understand how the AI output fits their intention. Finally, recommendations can be beneficial, but should be introduced toward the end of the decision-making process. Overall, this thesis contributes to a more holistic view of the design space of AI-driven decision support that goes beyond recommendations and explanations. Discovering these alternative design opportunities requires a thorough understanding of users’ decision-making processes and workflows, highlighting that the classic endeavor of human-centered design to start from human needs remains crucial also in the age of advanced AI technology.

Abstract

Angesichts der beeindruckenden technologischen Fortschritte der letzten Jahre wird davon ausgegangen, dass künstliche Intelligenz (KI) die menschliche Entscheidungsfindung in den unterschiedlichsten Bereichen verbessern wird, darunter auch in anspruchsvollen und riskanten Bereichen wie dem Gesundheitswesen, dem Finanzwesen oder der Luftfahrt. Jüngste Untersuchungen zeigen jedoch, dass die Unterstützung menschlicher Entscheidungsträger durch KI alles andere als einfach ist. Häufig ist KI-Entscheidungsunterstützung empfehlungsorientiert, d. h., die KI gibt eine geschlossene Entscheidungsempfehlung ab. Da der Mensch nicht an der Erarbeitung der Empfehlung beteiligt ist, kann er oft nicht effektiv damit arbeiten, insbesondere wenn die KI falsch liegt. Fehlerhafte Empfehlungen können die Arbeit des menschlichen Entscheidungsträgers empfindlich stören oder, wenn sie unbemerkt bleiben, dazu führen, dass er die falsche Empfehlung annimmt (Overreliance), was besonders bei risikoreichen Entscheidungen problematisch ist. Ein gängiger Lösungsansatz besteht darin, die KI-Empfehlung zu erklären, doch die Ergebnisse sind bisher durchwachsen. Diese Dissertation erweitert das Verständnis dafür, wie KI trotz ihrer Unvollkommenheit die menschliche Entscheidungsfindung in risikoreichen Domänen effektiv unterstützen kann, indem sie zwei Hauptthemen behandelt: 1) Durch Experimente an simplen, kontrollierbaren Entscheidungsaufgaben mit Laien trägt die Dissertation zu einem besseren Verständnis der Limitierungen von empfehlungszentrierter Unterstützung für risikoreiche Entscheidungen bei. Die Ergebnisse zeigen, dass Menschen besonders bei schwierigen Entscheidungen und nach wiederholten Interaktionen mit der KI dazu neigen, sich übermäßig auf KI-Empfehlungen zu verlassen. Übliche merkmalbasierte KI-Erklärungen konnten das übermäßige Verlassen nicht wirksam eindämmen. 2) Durch qualitative Studien mit Domänenexperten werden in der Dissertation alternative Ansätze zur KI-Entscheidungsunterstützung untersucht, um die identifizierten Einschränkungen zu überwinden. Wie für den Anwendungsfall der Flugumleitungen in der Luftfahrt untersucht, besteht ein vielversprechender Ansatz darin, mit KI den Prozess bis zur endgültigen Entscheidung zu unterstützen, anstatt direkt ans Ende des Prozesses zu springen und eine abgeschlossene Empfehlung abzugeben. Die KI-Unterstützung muss so granular und flexibel sein, dass der Entscheidungsträger sie je nach seiner momentanen Absicht einsetzen kann. Anstatt die "Blackbox zu öffnen", sollten KI-Erklärungen den Nutzern helfen zu verstehen, wie die KI-Ausgabe zu ihren Absichten passt. Zudem können Empfehlungen zwar nützlich sein, sollten aber erst am Ende des Entscheidungsprozesses eingeführt werden. Insgesamt trägt diese Dissertation zu einer ganzheitlicheren Sicht auf den Gestaltungsraum für KI-Entscheidungsunterstützung bei, die über KI-Empfehlungen und -Erklärungen hinausgeht. Um diese alternativen Gestaltungsmöglichkeiten zu identifizieren, ist ein gründliches Verständnis der Entscheidungsprozesse und Arbeitsabläufe der Nutzer erforderlich. Dies zeigt, dass das klassische Bestreben der menschenzentrierten Gestaltung, von den menschlichen Bedürfnissen auszugehen, auch im Zeitalter fortschrittlicher KI-Technologie entscheidend bleibt.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: AI-assisted decision-making, human-AI decision-making, human-AI interaction, human-centered AI
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 24. Januar 2025
• 1. Bericht­erstatter:in: Butz, Andreas