Leveraging process data for assessing and supporting collaborative problem-solving

Brandl, Laura (2025): Leveraging process data for assessing and supporting collaborative problem-solving: collaborative diagnostic reasoning in agent-based simulations. Dissertation, LMU München: Fakultät für Psychologie und Pädagogik

Abstract

Collaborative problem-solving has emerged as a critical skill in the 21st century, as it is essential for addressing complex and multifaceted challenges inherent in modern work environments (Graesser et al., 2018). In this thesis collaborative problem-solving skills are defined as the capacity of an individual to effectively engage in a process, where two or more agents with different knowledge bases attempt to solve complex tasks. The process of col-laborative problem-solving involves active interaction with the problem, decision-making under uncertainty, and the integration of knowledge and skills to create a shared problem representation needed to reach a solution. Medicine is domain where it is of critical importance to reduce diagnostic errors and thus ensure high quality patient care. Collaborative diagnostic reasoning, a form of collaborative problem-solving in knowledge-rich domains like medical diagnosing, describes the critical role of collaboration when solving diagnostic problems in order to achieve accurate, well-reasoned and efficient diagnoses. Building upon research on collaborative problem-solving and diagnostic reasoning the collaborative diagnostic reasoning model (CDR-M; Radkowitsch et al., 2022) proposes a joint perspective in solving diagnostic problems in a collaborative effort. While this thesis focuses primarily on medical contexts, the insights and methods developed are expected to be applicable across disciplines. To support the development of expertise in collaborative problem-solving and collabora-tive diagnostic reasoning, it is important to provide authentic situations allowing for knowledge application and schema acquisition. Through repeated exposure to diagnostic problems and experience with cases, knowledge gets encapsulated and a data-base of already seen cases is created or updated. This leads to prototypical abstract case representations ena-bling greater accuracy and efficiency when solving diagnostic problems (Boshuizen et al., 2020). The educational implications are straightforward: For the restructuring and reorgani-zation of biomedical knowledge, the early exposure to patient cases is considered essential. However, the opportunity to engage in real-life problem-solving is limited and relevant sit-uation to learn may arise less often or are too critical to be approached by novices. One way to overcome this issue and also facilitate the assessment of collaborative prob-lem-solving skills, is the use of technology-based assessments and simulation-based learning environments. Simulation-based learning environments offer authentic situations for learners to practice collaborative diagnostic reasoning without the risks associated with real patient cases (Chernikova et al., 2020). The use of computerized agents as collaboration partners allows to create a standardized and controlled setting that is hard to establish in collabora-tions among humans. However, Although the use of simulation-based learning environments and the integration of technology-based assessments presents opportunities it also entails challenges in assessing and supporting collaborative problem-solving skills. The develop-ment of technology-based interactive tasks and simulation-based learning using computer-ized tasks enables a closer approximation of real-world scenarios. These tasks allow for mon-itoring the process through observable problem-solving behaviors, which are stored as com-puter-generated log-file data and can be accessed to provide valuable additional insights. Hence, process data can not only be used to examine what has been achieved, but also how it was achieved, and to make inferences about the cognitive processes involved in collabora-tive problem-solving. These inferences are implications for assessing performance differ-ences, developing predictive models, and providing personalized support (Ulitzsch et al., 2023). However, there are also a number of challenges associated with its use: Starting with ethical considerations before and during data collection, through to the complexities of ana-lyzing the data and the need for theory in interpreting the results. The goal of this thesis is to improve the use of process data for assessing and supporting collaborative problem-solving, specifically in the context of collaborative diagnostic reason-ing in medical education. To do so, this thesis compromises three papers having different foci on the usage of process data. The first paper takes a meta-perspective and elaborates recent developments in leveraging process data through technology-based assessments for creating new knowledge, improving learning and instruction, and providing actionable ad-vice to policy stakeholders. Building on these considerations, two empirical studies illustrate how process data can be used for theoretical advancements and to improve instruction. The second paper and first empirical study validates the CDR-M using process data. The third paper and second empirical study then demonstrates how the combination of process data and theory can be used to predict outcomes that can inform instruction in simulation-based learning of collaborative diagnostic reasoning. The first paper, a theoretical paper, analyzes the impact of process data from interactive tasks in large-scale assessments. The paper highlights necessary changes that need to be un-dertaken at the scientific level in how we analyze process data to foster sustainable changes at the practical and policy levels. Firstly, linking process data to educational theory is crucial for enhancing the generalizability of our findings and hence facilitate theoretical advance-ments. Secondly, the design of assessment should be aligned with instructional design to in-form learning and instruction. Paper 2 employs process data to empirically test and refine the CDR-M and thus demon-strates how process data can be harnessed to generate new insights and advance theoretical frameworks in education. By analyzing data from three studies in a simulation-based envi-ronment the aim of the study was to better understand the collaborative diagnostic reasoning and the processes involved using a structural equation model including indirect effects. Results identified various stable relations between individual characteristics and collaborative diagnostic activities, and between collaborative diagnostic activities and diagnostic outcome, highlighting the multidimensional nature of collaborative diagnostic reasoning. In summary, the second paper found that for successful collaborative problem-solving in knowledge-rich domains, knowledge about the domain of the collaboration partner and collaborative diag-nostic activities play a crucial role in addition to content knowledge, which is traditionally in the focus of expertise research. The third paper focuses on enhancing simulation-based learning by predicting diagnostic accuracy in collaborative diagnostic reasoning using process data. This study developed a random forest classification model based on theoretically derived process indicators to pre-dict success in a simulated learning environment. Results showed a satisfactory prediction rate for collaborative diagnostic reasoning performance, indicated by diagnostic accuracy. The model predicted accurate and inaccurate diagnoses and was therefore suitable for making statements about the performance by only using process data of collaborative diagnostic reasoning. Hence, Paper 3 showed that using prediction models enables researchers to provide practical solutions such as identifying learners at risk to show inadequate performance in need of adaptive instructional support. In a nutshell, in terms of theoretical advancements, the papers presented indicate support for four assumptions proposed in the CDR-M, as well as adding two new assumptions to the CDR-M. Firstly, unique contribution of collaborative diagnostic activities to collaborative diagnostic reasoning and secondly, the need to investigate complex non-linear interactions between collaborative diagnostic activities. With respect to supporting the development of collaborative diagnostic reasoning skills, practical implications are to focus on collaboration knowledge and collaborative diagnostic activities and turn the measurement of processes like collaborative diagnostic activities into a design factor. In addition, a strategy for providing adaptive instructional support is proposed. Lastly, the findings in this thesis also reveal several insights into how the usage of process data analyses can be enhanced when assessing and supporting collaborative problem-solving skills. Most importantly, by leveraging theory-based frameworks to describe collaborative problem-solving processes, we can create a common ground for assessing and enhancing collaborative problem-solving skills across dif-ferent domains and thus further improve the use of process data analyses. Overall, findings of the three papers illustrate how process data can be used to advance theoretical models, as shown by the CDR-M, to support learning of collaborative diagnostic reasoning skills and, thus, ultimately enhance the usage of process data of collaborative problem solving. In conclusion, this thesis highlights the need of leveraging theory-based frameworks to describe collaborative problem-solving processes. This will lead to more pro-ficient collaborators in the future, not only in the medical domain.

Abstract

Kollaboratives Problemlösen hat sich im 21. Jahrhundert als eine entscheidende Fähigkeit für die Bewältigung von komplexen und vielschichtigen Herausforderungen in modernen Arbeitsumgebungen herausgestellt (Graesser et al., 2018). In der vorliegenden Arbeit werden kollaborative Problemlösefähigkeit als die Fähigkeit einer Person definiert, sich effektiv an einem Prozess zu beteiligen, bei dem zwei oder mehr Agenten mit unterschiedlichen Wis-sensständen versuchen, komplexe Aufgaben zu lösen. Der Prozess des kollaborativen Problemlösens beinhaltet die aktive Interaktion mit dem Problem, Entscheidungsfindung unter Unsicherheit und die Integration von Wissen und Fähigkeiten, um eine geteilte Problemre-präsentation zu schaffen, die wiederum für die Lösung erforderlich ist. Ein Bereich, in dem es von entscheidender Bedeutung ist, diagnostische Fehler zu redu-zieren und somit eine hochwertige Patientenversorgung zu gewährleisten, ist die Medizin. Kollaboratives diagnostisches Denken ist eine Form des kollaborativen Problemlösens im Kontext von Aufgaben, die einen hohen Wissensstand erfordern, wie es der Fall bei der me-dizinischen Diagnose ist. Es beschreibt die kritische Rolle der Zusammenarbeit beim Lösen diagnostischer Probleme, um genaue, gut begründete und effiziente Diagnosen zu erreichen. Aufbauend auf der Forschung zu kollaborativem Problemlösen und diagnostischen Denken, schlägt das Modell zum kollaborativen diagnostischen Denken (CDR-M; Radkowitsch et al., 2022) eine gemeinsame Perspektive beim Lösen diagnostischer Probleme in kollaborativer Zusammenarbeit vor. Obwohl sich diese Arbeit primär auf medizinische Kontexte kon-zentriert, wird davon ausgegangen, dass die gewonnenen Erkenntnisse und Methoden disziplinübergreifend gültig sind. Um die Entwicklung von Expertise in kollaborativem Problemlösen und kollaborativem diagnostischen Denken zu unterstützen, ist es wichtig, authentische Situationen bereitzustel-len, die Wissensanwendung und den Schemata-Erwerb ermöglichen. Durch wiederholte Auseinandersetzung mit diagnostischen Problemen und Erfahrung mit Fällen wird Wissen verkapselt und eine Datenbank bereits gesehener Fälle erstellt oder aktualisiert. Dies führt zu prototypischen abstrakten Fallrepräsentationen, die eine größere Genauigkeit und Effizienz beim Lösen diagnostischer Probleme ermöglichen (Boshuizen et al., 2020). Die pädagogi-schen Implikationen, die man daraus ziehen kann, sind eindeutig: Für die Restrukturierung und Reorganisation von biomedizinischem Wissen ist es essentiell früh mit Patientenfällen konfrontiert zu sein. Allerdings sind Gelegenheiten, bei denen man, sich an realen Patienten-fällen beteiligen kann, begrenzt und relevante Lernsituationen sind oft zu kritisch, dass es unverantwortlich wäre, Anfänger damit zu betrauen. Eine Möglichkeit, diesem Problem zu begegnen und zudem die Bewertung von kollabora-tiven Problemlösefähigkeiten zu erleichtern, bietet die Nutzung von technologiegestützten Assessments und simulationsbasierten Lernumgebungen. Simulationsbasierte Lernumgebun-gen bieten Lernenden authentische Situationen, um kollaboratives diagnostisches Denken zu üben, ohne die mit realen Patientenfällen verbundenen Risiken zu fürchten (Chernikova et al., 2020). Der Einsatz von computergestützten Agenten als Kollaborationspartner:innen ermöglicht es, ein standardisiertes und kontrolliertes Setting zu schaffen, das in der menschlichen Zusammenarbeit schwer umzusetzen ist. Allerdings bringt die Nutzung von simulati-onsbasierten Lernumgebungen und die Integration von technologiegestützten Assessments nicht nur Chancen mit sich, sondern auch Herausforderungen bei der Bewertung und Unter-stützung von kollaborativen Problemlösefähigkeiten. Die Entwicklung von technologiegestützten interaktiven Aufgaben und simulationsbasier-ten Lernumgebungen unter Verwendung computergestützter Aufgaben ermöglicht eine zu-nehmende Annäherung an reale Szenarien. Diese computergestützten Aufgaben ermöglichen die Beobachtung des Problemlöseprozesses, repräsentiert durch beobachtbares Problemlöseverhalten. Diese Daten werden als computergenerierte Logfiles gespeichert und können so zusätzliche wertvolle Einblicke liefern. Prozessdaten können daher nicht nur verwendet wer-den, um zu untersuchen, welches Ergebnis erreicht wurde, sondern auch, wie dieses Ergebnis erreicht wurde. Dies erlaubt Rückschlüsse auf die kognitiven Prozesse, die beim kollaborativen Problemlösen ablaufen. Diese Rückschlüsse haben Implikationen für die Bewertung von Leistungsunterschieden, die Entwicklung von prädiktiven Modellen und die Bereitstellung personalisierter Unterstützung (Ulitzsch et al., 2023). Allerdings gibt es auch eine Reihe von Herausforderungen bei der Verwendung von Prozessdaten: Beginnend mit ethischen Überle-gungen vor und während der Datenerhebung, bis hin zu den Komplexitäten bei der Analyse der Daten und der Notwendigkeit von Theorien bei der Interpretation der Ergebnisse. Ziel dieser Arbeit ist es, die Nutzung von Prozessdaten zur Bewertung und Unterstützung des kollaborativen Problemlösens zu verbessern, insbesondere im Kontext des kollaborativen diagnostischen Denkens in der medizinischen Ausbildung. Dazu umfasst diese Arbeit drei Artikel mit unterschiedlichen Schwerpunkten auf der Nutzung von Prozessdaten. Der erste Artikel nimmt eine Meta-Perspektive ein und erläutert jüngste Entwicklungen bei der Nut-zung von Prozessdaten durch technologiegestützte Assessments zur Schaffung neuen Wis-sens, zur Verbesserung von Lehren und Lernen und zur Bereitstellung umsetzbarer Ratschlä-ge für politische Entscheidungsträger. Aufbauend auf diesen Überlegungen illustrieren zwei empirische Studien, wie Prozessdaten für theoretische Fortschritte und zu verbesserter Instruktion genutzt werden können. Im zweiten Artikel wird eine empirische Studie zur Vali-dierung des CDR-M vorgestellt. Der dritte Artikel und die dort berichtete zweite empirische Studie zeigen dann, wie die Kombination von Prozessdaten und Theorie genutzt werden kann, um Lernenden-Ergebnisse vorherzusagen, welche genutzt werden können um in simu-lationsbasierten Lernumgebungen des kollaborativen diagnostischen Denken instruktionale Anpassungen vorzunehmen. Im ersten theoretischen Artikel wird die Nutzung von Prozessdaten aus interaktiven Auf-gaben in large-scale Assessments analysiert. Der Artikel hebt hervor, welche Änderungen hinsichtlich der Art und Weise, wie Prozessdaten analysiert werden auf der wissenschaftli-chen Ebene unternommen werden müssen, um nachhaltige Veränderungen auf praktischer und politischer Ebene zu fördern. Zum einen ist die Verknüpfung von Prozessdaten und Bil-dungstheorien entscheidend, um die Generalisierbarkeit unserer Ergebnisse zu verbessern und somit theoretische Fortschritte zu erleichtern. Zum anderen sollte die Gestaltung von Assessments mit der instruktionalen Gestaltung abgestimmt sein, um Lehren und Lernen zu verbessern. Der zweite Artikel testet und verfeinert das CDR-M empirisch mithilfe von Prozessdaten und zeigt somit, wie Prozessdaten genutzt werden können, um neue Erkenntnisse zu generie-ren und theoretische Modelle weiter zu entwickeln. Ziel der Studie war es die Daten aus drei simulationsbasierten Studien zu analysieren um das kollaborative diagnostische Denken und die beteiligten Prozesse besser zu verstehen, indem ein Strukturgleichungsmodell mit indi-rekten Effekten verwendet wurde. Die Ergebnisse identifizierten verschiedene stabile Bezie-hungen zwischen individuellen Merkmalen und kollaborativen diagnostischen Aktivitäten sowie zwischen kollaborativen diagnostischen Aktivitäten und diagnostischen Ergebnissen, was die multidimensionale Natur des kollaborativen diagnostischen Denkens hervorhebt. Zusammenfassend zeigte der zweite Artikel, dass für erfolgreiches kollaboratives Problemlö-sen in wissensreichen Aufgaben neben dem Fachwissen, das traditionell im Fokus der Exper-tiseforschung steht, Wissen über den Bereich der Kollaborationspartner:innen und kollabora-tive diagnostische Aktivitäten eine entscheidende Rolle spielen. Der dritte Artikel konzentriert sich auf die Verbesserung des simulationsbasierten Lernens durch die Vorhersage der diagnostischen Genauigkeit im kollaborativen diagnostischen Den-ken unter Verwendung von Prozessdaten. Diese Studie entwickelte ein Random-Forest-Klassifikationsmodell basierend auf theoretisch abgeleiteten Prozessindikatoren, um den Erfolg in einer simulierten Lernumgebung vorherzusagen. Die Ergebnisse zeigten, dass diag-nostische Genauigkeit, als Indikator für Erfolg im kollaborativen diagnostischen Denken, zufriedenstellend mithilfe von Prozessdaten vorhergesagt werden kann. Das Modell sagte sowohl genaue als auch ungenaue Diagnosen vorher und war daher dafür geeignet, Aussagen über die Leistung ausschließlich unter Verwendung von Prozessdaten des kollaborativen di-agnostischen Denken zu treffen. Daher zeigte der dritte Artikel, dass die Verwendung von Vorhersagemodellen es ermöglicht, praktische Lösungen bereitzustellen, wie z. B. die Identi-fizierung von Lernenden, die wahrscheinlich unzureichende Leistungen zeigen werden und daher instruktionale Unterstützung benötigen. Zusammenfassend lässt sich sagen, dass die vorgestellten Artikel in Bezug auf den theoretischen Fortschritt Hinweise auf die Gültigkeit von vier im CDR-M vorgeschlagenen Annahmen sowie von zwei neuen Annahmen für das CDR-M liefern. Als neue Annahmen sollte erstens der einzigartige Beitrag kollaborativer diagnostischer Aktivitäten zum kollaborativen diagnostischen Denken und zweitens die Notwendigkeit, komplexe nicht-lineare Interaktionen zwischen kollaborativen diagnostischen Aktivitäten zu untersuchen berücksichtig wer-den. Hinsichtlich der Unterstützung der Entwicklung von Fähigkeiten im kollaborativen di-agnostischen Denken bestehen praktische Implikationen darin, sich auf Kooperationswissen und kollaborative diagnostische Aktivitäten zu konzentrieren und die Messung von Prozessen wie kollaborativen diagnostischen Aktivitäten in einen Gestaltungsfaktor zu verwandeln. Darüber hinaus wird eine Strategie zur Bereitstellung adaptiver instruktionaler Unterstützung vorgeschlagen. Schließlich geben die Ergebnisse dieser Arbeit auch Einblicke in wie die Nutzung von Prozessdatenanalysen bei der Bewertung und Unterstützung von kollaborativen Problemlösefähigkeiten verbessert werden kann. Am relevantesten ist jedoch, dass wir durch die Verwendung theoriegeleiteter Modelle zur Beschreibung von kollaborativen Problemlöseprozessen eine gemeinsame Sprache für die Bewertung und Verbesserung von kollaborativen Problemlösefähigkeiten in verschiedenen Bereichen schaffen und somit die Nutzung von Prozessdatenanalysen weiter verbessern können. Insgesamt veranschaulichen die Ergebnisse der drei Artikel, wie Prozessdaten verwendet werden können, um theoretische Modelle, wie das CDR-M voranzutreiben und somit das Lernen von Fähigkeiten im kollaborativen diagnostischen Denken zu unterstützen und somit letztendlich die Nutzung von Prozessdaten des kollaborativen Problemlösens zu verbessern. Abschließend ist anzumerken, dass diese Arbeit die Notwendigkeit der Nutzung eines theo-riegestützten Modells zur Beschreibung kollaborativer Problemlöseprozesse hervorhebt. Dies wird nicht nur im medizinischen Bereich in Zukunft zu einer besseren Zusammenarbeit führen.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: collaborative problem solving, collaborative diagnostic reasoning, process data, agent-based simulations
• Themengebiete: 100 Philosophie und Psychologie ; 100 Philosophie und Psychologie > 150 Psychologie
• Fakultäten: Fakultät für Psychologie und Pädagogik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 12. Februar 2025
• 1. Bericht­erstatter:in: Fischer, Frank