Using machine learning to predict individual severity estimates of alcohol withdrawal syndrome in patients with alcohol dependence

Burkhardt, Gerrit (2021): Using machine learning to predict individual severity estimates of alcohol withdrawal syndrome in patients with alcohol dependence. Dissertation, LMU München: Medizinische Fakultät

Abstract

Despite its high prevalence in diverse clinical settings, treatment of alcohol withdrawal syndrome (AWS) is mainly based on subjective clinical opinion. Without reliable predictors of potential harmful AWS outcomes at the individual patient’s level, decisions like provision of pharmacotherapy rely on resource-intensive in-patient monitoring. By contrast, an accurate risk prognosis would enable timely preemptive treatment, open up possibilities for safe out-patient care and lead to a more efficient use of health care resources. The aim of this project was to develop such tools using clinical and patient-reported information easily attainable at patient’s admission. To this end, a machine learning framework incorporating nested cross-validation, ensemble learning, and external validation was developed to retrieve accurate, generalizable prediction models for three meaningful AWS outcomes: (1) Separating mild and more severe AWS as defined by the established AWS scale, and directly identifying patients at risk of (2) delirium tremens as well as (3) withdrawal seizures. Based on 121 sociodemographic, clinical and laboratory-based variables, that were retrieved retrospectively from the patients’ charts, this classification paradigm was used to build predictive models in two cohorts of AWS patients at major detoxification wards in Munich (Ludwig-Maximilian-Universität München, n=389; Technische Universität München, n=805). Moderate to severe AWS cases were predicted with significant balanced accuracy (BAC) in both cohorts (LMU, BAC = 69.4%; TU, BAC = 55.9%). A post-hoc association between the models’ poor outcome predictions and higher clomethiazole doses further added to their clinical validity. While delirium tremens cases were accurately identified in the TU cohort (BAC = 75%), the framework yielded no significant model for withdrawal seizures. Variable importance analyses revealed that predictive patterns highly varied between both treatment sites and withdrawal outcomes. Besides several previously described variables (most notably, low platelet count and cerebral brain lesions), several new predictors were identified (history of blood pressure abnormalities, positive urine-based benzodiazepine screening and years of schooling), emphasizing the utility of data-driven, hypothesis-free prediction approaches. Due to limitations of the datasets as well as site-specific patient characteristics, the models did not generalize across treatment sites, highlighting the need to conduct strict validation procedures before implementing prediction tools in clinical care. In conclusion, this dissertation provides evidence on the utility of machine learning methods to enable personalized risk predictions for AWS severity. More specifically, nested-cross validation and ensemble learning could be used to ensure generalizable, clinically applicable predictions in future prospective research based on multi-center collaboration.

Abstract

Die prädiktive Einschätzung der Ausprägung von Entzugssymptomen bei Patient*innen mit Alkoholabhängigkeit beruht trotz jahrzehntelanger wissenschaftlicher Bemühungen weiterhin auf subjektiver klinischer Einschätzung. Entgiftungsbehandlungen werden daher weltweit vorwiegend im stationären Rahmen durchgeführt, um eine engmaschige klinische Überwachung zu gewährleisten. Da über 90 % der Entzugssyndrome mit lediglich milder vegetativer Symptomatik verlaufen, bindet dieses Vorgehen wertvolle Ressourcen. Datenbasierte Prädiktionstools könnten einen wichtigen Beitrag in Richtung einer individualisierten, akkuraten und verlässlichen Verlaufsbeurteilung leisten. Diese würde sichere ambulante Behandlungskonzepte, prophylaktische medikamentöse Behandlungen von Risikopatient*innen, sowie innovative Behandlungsforschung basierend auf stratifizierten Risikogruppen ermöglichen. Das Ziel dieser Arbeit war die Entwicklung solcher prädiktiven Tools für Patient*innen mit Alkoholentzugssyndrom (AES). Hierfür wurde ein innovatives Machine Learning Paradigma unter Verwendung von strikten Validierungsmethoden (Nested Cross-Validation und Out-of-Sample External Validation) verwendet, um generalisierbare, akkurate Prädiktionsmodelle für drei bedeutsame klinische Endpunkte des AES zu entwickeln: (1) die Klassifikation von milden in Abgrenzung zu moderat bis schwer ausgeprägten AES Verläufen, definiert nach einer hierfür etablierten klinischen Skala (AES Skala), sowie die direkte Identifikation der Komplikationen (2) Delirium tremens (DT) sowie von (3) zerebralen Entzugsanfällen (WS). Dieses Paradigma wurde unter Verwendung von 121 retrospektiv erfassten klinischen, laborbasierten, sowie soziodemographischen Variablen auf 1194 Patient*innen mit Alkoholabhängigkeit an zwei großen Entgiftungsstationen in München angewandt (Ludwig-Maximilian-Universität München, n=389; Technische Universität München, n=805). Moderate bis schwere AES Verläufe konnten an beiden Behandlungszentren mit einer signifikanten Genauigkeit (balanced accuracy [BAC]) prädiziert werden (LMU, BAC = 69.4%; TU, BAC = 55.9%). In einer post-hoc Analyse war die Prädiktion moderater bis schwerer Verläufe zudem mit höheren kumulativen Clomethiazol-Dosen assoziiert, was für die klinische Validität der Modelle spricht. Während DT in der TU Kohorte mit einer hohen Genauigkeit (BAC = 75%) identifiziert werden konnte, war die Prädiktion von Entzugsanfällen nicht erfolgreich. Eine explorative Analyse konnte zeigen, dass die prädiktive Bedeutsamkeit einzelner Variable sowohl zwischen den Behandlungszentren als auch den einzelnen Endpunkten deutlich variierte. Neben mehreren bereits in früheren wissenschaftlichen Arbeiten beschriebenen prädiktiv wertvollen Variablen (insbesondere einer durchschnittlich niedrigeren Thrombozytenzahl im Blut sowie von strukturellen zerebralen Läsionen) konnten hierbei mehrere neue Prädiktoren identifiziert werden (Blutdruckauffälligkeiten in der Vorgeschichte; positives Urinscreening auf Benzodiazepine; Anzahl der Schuljahre). Diese Ergebnisse unterstreichen den Wert von datenbasierten, hypothesen-freien Prädiktionsansätzen. Aufgrund von Limitationen des retrospektiven Datensatzes, wie der fehlenden zentrumsübergreifenden Verfügbarkeit einiger Variablen, sowie klinischen Besonderheiten der beiden Kohorten, ließen sich die Modelle am jeweils anderen Behandlungszentrum nicht validieren. Dieses Ergebnis unterstreicht die Notwendigkeit, die Generalisierbarkeit von Prädiktionsergebnissen adäquat zu testen, bevor hierauf basierende Tools für die klinische Praxis empfohlen werden. Solche Methoden wurden im Rahmen dieser Arbeit erstmalig in einem Forschungsprojekt zum AES verwendet. Zusammenfassend, zeigen die Ergebnisse dieser Dissertation erstmalig einen Nutzen von Machine Learning Ansätzen zur individualisierten Risikoprädiktion schwerer AES Verläufe an. Das hierbei verwendete cross-validierte Machine Learning Paradigma wäre ein mögliches Analyseverfahren, um in künftigen prospektiven Multi-Center-Studien verlässliche Prädikationsergebnisse mit hohem klinischen Anwendungspotential zu erreichen.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: alcohol withdrawal syndrome, machine learning, alcohol dependence, delirium tremens, withdrawal seizures
• Themengebiete: 600 Technik, Medizin, angewandte Wissenschaften ; 600 Technik, Medizin, angewandte Wissenschaften > 610 Medizin und Gesundheit
• Fakultäten: Medizinische Fakultät
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 8. Juli 2021
• 1. Bericht­erstatter:in: Pogarell, Oliver