Systematic reviews and evidence synthesis of complex interventions: Traditional methods and potential future directions

Burns, Jacob (2022): Systematic reviews and evidence synthesis of complex interventions: Traditional methods and potential future directions. Dissertation, LMU München: Medizinische Fakultät

Abstract

For decades, the systematic review has represented an invaluable tool for informing decisions on health-related interventions. A priori-defined, systematic methods for searching, identifying, appraising and synthesizing all evidence related to a specific intervention ensure that users of the evidence, such as decision-makers and practitioners, have the best-available evidence at hand to inform decisions. Within systematic reviews, the randomized controlled trial has traditionally been the main study design of interest, due to its ability to minimize the risk of bias and confounding and thus deliver an unbiased estimate of intervention effectiveness. Researchers beyond the bounds of clinical medicine, in fields such as public health, have increasingly asked questions of effectiveness. In such fields, interventions and the system in which they are implemented become more complex; as a result, discussions arose as to whether traditional systematic review methods extend to such fields. The starting point for this thesis was that the traditional methods for systematic reviews of complex interventions, as well as the underlying primary studies, could be improved. Thus, to address several of the relevant gaps and move towards improved methods for evaluating complex interventions, this thesis aimed to i) conduct a systematic review of a complex intervention, and explore the extent to which traditional methods are suitable; ii) demonstrate a method for making the results of systematic reviews of complex interventions more informative for users; and iii) conduct an exemplary good-practice quasi-experimental study, thus illustrating and promoting the improved primary evaluation of complex interventions. Publication I, a Cochrane systematic review assessing the effectiveness of interventions to reduce ambient air pollution, provided a concrete application of current best-practice systematic review methods for evaluating the effectiveness of a complex public health intervention. This application allowed for the assessment of the suitability of these methods, and of where alternative or additional methods could help improve such systematic reviews. Publication I also allowed for the critical appraisal of the primary study base for a complex public health intervention, and consequently the identification and description of shortcomings and opportunities for improvement. Publication II built upon the knowledge and experiences of Publication I. Embedded in a systematic review of the effectiveness of home-based palliative care interventions, we demonstrated the use of additional methods – a gap analysis and expert consultations – with the aim of making the results from such reviews more relevant to users. Publication III dealt with the limitations of the primary evidence base for a complex public health intervention. Specifically, in line with the scope of the systematic review of Publication I, we assessed how the COVID-19 mitigation measures implemented abruptly in early spring 2020 impacted air pollution in Munich. We applied several of the recommendations for improving research made in Publication I, and thus illustrated how routine data and quasi-experimental methods can be utilized to conduct rigorous evaluations of complex interventions. These publications not only highlighted several gaps in the status quo of systematic reviews and primary evaluations, but also described potential steps forward towards improved methods. Due to the nature of complex interventions, there is no one-size-fits-all set of methods for evaluating their effectiveness. Nevertheless, the knowledge generated through these publications provides a valuable and useful contribution to a larger methodological toolbox for evaluating complex interventions. This knowledge can be used both by researchers and practitioners seeking appropriate methods for evaluation, and in the development and further refinement of methods.

Abstract

Seit mehreren Jahrzehnten stellt die systematische Übersichtsarbeit ein wertvolles Instrument für Entscheidungen zu gesundheitsbezogenen Interventionen dar. A priori definierte, Methoden zur systematischen Suche, Identifizierung, Bewertung und Synthese aller Evidenz zu einer bestimmten Intervention bereiten die beste verfügbare Evidenz für eine Nutzung durch Entscheidungsträger, Praktiker und andere Stakeholder auf. Für systematische Übersichtsarbeiten zu Interventionen ist die randomisierte kontrollierte Studie traditionell das wichtigste Studiendesign, da sie das Risiko von Bias und Confounding minimiert und somit einen unverzerrten Schätzer zur Wirksamkeit einer Intervention liefert. Zunehmend stellen Forscher außerhalb der klinischen Medizin, in Bereichen wie Public Health, Fragen zur Wirksamkeit. Public Health Interventionen und das System, in dem sie umgesetzt werden, sind komplexer. So wird diskutiert, ob die traditionellen Methoden der systematischen Übersichtsarbeit auch auf komplexe Interventionen in Public Health und anderen Bereichen anwendbar sind. Der Ausgangspunkt für diese Arbeit war, dass traditionelle Methoden für systematische Übersichtsarbeiten zu komplexen Interventionen sowie die zugrundeliegenden Primärstudien verbessert werden könnten. Um mehrere der relevanten Lücken zu schließen und verbesserte Methoden für die Evaluation komplexer Interventionen zu erzielen, waren die Ziele dieser Arbeit, i) eine systematische Übersichtsarbeit zu einer komplexen Intervention durchzuführen und zu untersuchen, inwieweit traditionelle Methoden zur Bewertung ihrer Wirksamkeit geeignet sind; ii) eine Methode zu entwickeln und beispielhaft umzusetzen, mithilfe derer die Ergebnisse systematischer Übersichtsarbeiten zu komplexen Interventionen für Entscheidungsträger und Praktiker relevanter und informativer gemacht werden können; und iii) eine qualitativ hochwertige („Good-Practice“) quasi-experimentelle Studie durchzuführen und so exemplarisch eine verbesserte Evaluation komplexer Interventionen darzustellen. Publikation I, eine Cochrane systematische Übersichtsarbeit zur Wirksamkeit von Maßnahmen zur Verringerung der Luftverschmutzung, stellt eine konkrete Anwendung aktueller Best-Practice Methoden zur Evaluation der Wirksamkeit einer komplexen Public Health Intervention dar. Im Rahmen dieser Anwendung wurde die Eignung der Methodik geprüft und eruiert , wo alternative oder zusätzliche Methoden den Nutzen systematischer Übersichtsarbeiten unterstützen könnten. Publikation I ermöglichte auch die kritische Bewertung der zugrundeliegenden Primärstudien für eine komplexe Public Health Intervention und damit die Identifizierung und Beschreibung von Schwachstellen und Verbesserungsmöglichkeiten. Publikation II baute auf den Erkenntnissen und Erfahrungen von Publikation I auf. Eingebettet in eine systematische Übersichtsarbeit zur Wirksamkeit häuslicher Palliativversorgung wurde die Anwendung zusätzlicher Methoden – eine Gap-Analyse und Expertenkonsultationen – demonstriert. Diese hatte das Ziel, die Ergebnisse solcher Übersichtsarbeiten für die Nutzer relevanter und aussagekräfiger zu machen. Publikation III befasste sich mit den Limitationen von Primärstudien zur Evaluation einer komplexen Public Health Intervention. Entsprechend dem Umfang der systematischen Übersichtsarbeit von Publikation I wurde untersucht, wie sich die COVID-19-Beschränkungen, die im Frühjahr 2020 abrupt umgesetzt wurden, auf die Luftverschmutzung in München auswirkten. So wurden mehrere der Empfehlungen aus Publikation I zur Verbesserung der Evaluationsforschung angewandt. Insbesondere wurde beispielhaft gezeigt, wie Routinedaten und quasi-experimentelle Methoden genutzt werden können, um rigorose Evaluationen von komplexen Interventionen durchzuführen. Diese Publikationen haben nicht nur einige Lücken im Status quo der systematischen Übersichtsarbeiten und zugrundeliegenden Primärstudien zur Evaluation komplexer Interventionen gezeigt; sie haben auch beschrieben wie die Methodik noch weiter verbessert werden könnte. Aufgrund der Komplexität einer Interventionen und des Systems, in dem sie umgesetzt wird, gibt es kein einheitliches, immer gültiges Set von Methoden für die Evaluation ihrer Wirksamkeit. Nichtsdestotrotz liefert das Wissen, das durch diese Publikationen generiert wurde, einen wertvollen und nützlichen Beitrag zu einem größeren methodischen Werkzeugkasten für die Evaluation komplexer Interventionen. Dieses Wissen kann sowohl von Forschern und Praktikern genutzt werden, die nach geeigneten Methoden für die Evaluation ihrer Maßnahmen suchen, als auch bei der Entwicklung und weiteren Verfeinerung von Methoden unterstützen.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Themengebiete: 600 Technik, Medizin, angewandte Wissenschaften ; 600 Technik, Medizin, angewandte Wissenschaften > 610 Medizin und Gesundheit
• Fakultäten: Medizinische Fakultät
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 2. August 2022
• 1. Bericht­erstatter:in: Rehfuess, Eva