Quality of peer feedback after observing the performance of a digital rectal examination on a standardised patient

Tusak, Melanie (2016): Quality of peer feedback after observing the performance of a digital rectal examination on a standardised patient. Dissertation, LMU München: Medizinische Fakultät

Abstract

In the last twenty years medical education became more competency-based, including the demonstration of clinical skills in the medical curriculum. [28] By observing students dealing with patients and providing feedback afterwards, attributes such as professionalism, clinical skills, physical examination skills and communication skills were taught. [28] Simulated/standardised patients, or SPs, who portray patients during student teaching and testing [24], were often used in clinical education. This study was intended to explore the quality of feedback provided by medical undergraduate students (participants) after observing peer performance of the digital rectal examination on a standardised patient. The sequence (examine before->observe or observe before->examine), the use of an observation script (with or without) and the use of a feedback script (with or without) functioned as experimental factors. The hypotheses assumed an enhancing effect of the feedback script, the observation script and the interaction thereof on the number of feedback items mentioned, the depth of feedback and the quality of feedback. The effect of the order on the number of feedback items mentioned, the depth of feedback and the quality of feedback was explored as well. A retrospective study design was chosen and 160 existing data recordings of participants performing the digital rectal examination, and 80 existing feedback video recordings for comparison were used. The observation script contained a list of 55 items to be observed and then later included in the feedback. The feedback-script contained guidelines for structured feedback provision. All students of LMU Munich who attended the simulation week in the winter term 2008/2009, which took place in module 3 (surgical term), were randomly assigned to one of these conditions. All participants had to play the role of the examiner and the role of the observer. The influence of the scripts and the interaction thereof was analyzed by using an analysis of variance. For the analysis of the influence of the sequence on the quality of feedback, an independent samples t-test was used. We found significant effects of the observation script on the number of items mentioned, of the feedback script on the number of items mentioned, of the feedback script on the depth of feedback and of both scripts and the interaction thereof on the depth of feedback. The sequence had no influence on any of the three assigned quality criteria. It was concluded that the observation script had an effect on the number of items mentioned because the observation script, being an observation tool, includes a list of 55 observable items with a dichotomous checklist for more structured observation and feedback provision. [28] The lack of the effect of the observation script on the depth of feedback might be caused by the participants focussing on the observed items from the 55 criteria checklist and not using the extra space (and their attention) for notes. A significant influence of the observation script, the feedback script and the interaction thereof was expected on the number of items mentioned and the depth of feedback. This was because the observation script, being an observation tool and offering a checklist with 55 items to be considered, increased the number of mentioned items, and the feedback script, offering structured questions to answer, resulted in more detailed feedback provision. Within research on the literature, no studies and no information on the influence of the sequence on the quality of feedback or s similar could be found. The analysis of data in this study showed no influence of the sequence on the assigned quality criteria. A reason therefore could be that the participants had already learned on what items to focus by answering the questions of the knowledge test on the digital rectal examination at the beginning of the simulation week.

Abstract

In den letzten zwanzig Jahren hat sich das Studium der Medizin verändert und baut vermehrt auf einer kompetenzbasierten Struktur auf, wodurch auch die Demonstration von praktischen Tätigkeiten zum Erwerb klinischer Fertigkeiten immer weiter in den Vordergrund gerückt ist. [28] Durch die Beobachtung von Studenten während des Umgangs mit Patienten und anschließendem Feedback wurden Professionalität, klinische Fertigkeiten und kommunikative Fähigkeiten gefördert. [28] Immer häufiger wurden standardisierte Patienten (SPs), die vor allem Feedback über kommunikative und interpersonelle Fähigkeiten geben, oder auch Studenten zum Beobachten und für das Geben von Feedback herangezogen. [39] Der Fokus dieser Studie war es die Qualität des Feedbacks von Student für Student nach der Beobachtung der Simulation “digital-rektale Untersuchung am standardisierten Patienten“ zu ermitteln. Die Reihenfolge des Ablaufs (Zuerst Untersucher-> dann Beobachter, zuerst Beobachter-> dann Untersucher), die Verwendung eines Beobachtungsbogens (mit/ohne) und die Verwendung eines Feedbackbogens (mit/ohne) wurden als experimentelle Faktoren eingesetzt. Der Beobachtungsbogen enthielt eine Liste mit 55 Punkten, die bei der Simulation vom Untersucher durchgeführt und vom Beobachter beobachtet, dokumentiert und anschließend zum Feedback herangezogen werden sollten. Der Feedbackbogen enthielt Richtlinien für strukturiertes Feedback. Alle Studenten der LMU München, die im Wintersemester 2008/2009 an der Simulationswoche teilnahmen wurden randomisiert zu den verschieden Konditionen und zu Zweiergruppen zugeteilt und mussten einmal die Rolle des Untersuchers und einmal die Rolle des Beobachters spielen. Die Anzahl der genannten Feedbackitems aus der Liste des Beobachtungsbogens, die Anzahl der richtig genannten Items und die Feedbacktiefe, die sich durch die Anzahl der genannten elaborierten Items auszeichnet, wurden als Qualitätskriterien verwendet. Hypothesen, die einen positiven Effekt des Beobachtungsbogens, des Feedbackbogens und der Interaktion der beiden Bögen auf die Qualität des Feedbacks vermuteten, wurden untersucht. Zudem sollte der Effekt der Reihenfolge (Zuerst Untersucher-> dann Beobachter, zuerst Beobachter-> dann Untersucher) ermittelt werden. Es wurde ein retrospektives Studiendesign gewählt und 160 Videoaufzeichnungen von der Simulation sowie 80 Feedbackvideovergleiche wurden zur Datenauswertung herangezogen. Um den Einfluss der beiden Bögen und deren Interaktion auf die Qualität des Feedbacks zu ermitteln wurde eine univariate Varianzanalyse durchgeführt. Zur Analyse des Einflusses der Reihenfolge auf die Qualität des Feedbacks wurde ein T-Test herangezogen. Es zeigte sich ein signifikanter Einfluss des Beobachtungsbogens auf die Anzahl der genannten Items, ebenso bestand ein signifikanter Einfluss des Feedbackbogens auf die Anzahl der genannten Items, ein signifikanter Einfluss des Feedbackbogens auf die Tiefe des Feedbacks und ein signifikanter Einfluss beider Bögen und deren Interaktion auf die Tiefe und somit auf die Anzahl der genannten elaborierten Feedbackitems. Die Reihenfolge hatte keinen Effekt auf die Qualität des Feedbacks. Es wurde angenommen, dass der Effekt des Beobachtungsbogens auf die Anzahl der genannten Items auf die darin enthaltene Liste mit 55 während der Simulation zu beobachtenden Items und die dichotome Checkliste (Ja/Nein) für strukturierteres Feedback zurückzuführen ist. Der Beobachtungsbogen hatte keinen Einfluss auf die Tiefe des Feedbacks, vermutlich weil die Studenten zu sehr auf die Fertigstellung der Checkliste fokussiert waren und keine Zeit fanden sich weitere Informationen zu notieren. Der signifikante Effekt beider Bögen und deren Interaktion auf die Anzahl der genannten Items und die Tiefe des Feedbacks erklärt sich durch die im Beobachtungsbogen enthaltene Checkliste bezogen auf die Anzahl der genannten Items und die Anleitung für strukturiertes, detaillierteres Feedback aus dem Feedbackbogens bezogen auf die Feedbacktiefe. In der Literatur konnten keine Studien bezüglich eines zu vermutenden Effekts auf die Reihenfolge gefunden werden. Auch die Analyse der für die Studie verwendeten Daten erbrachte keinen positiven Effekt dieser auf die genannten Qualitätskriterien. Eine Ursache dafür könnte sein, dass die Studenten bereits beim Ausfüllen des Wissenstests über die digital-rektale Untersuchung zu Beginn der Simulationswoche gelernt haben, worauf bei der Simulation zu achten ist.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: peer feedback, standardised patients, digital rectal examnination
• Themengebiete: 600 Technik, Medizin, angewandte Wissenschaften ; 600 Technik, Medizin, angewandte Wissenschaften > 610 Medizin und Gesundheit
• Fakultäten: Medizinische Fakultät
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 12. Mai 2016
• 1. Bericht­erstatter:in: Siebeck, Matthias