Evaluationsmethoden für mobile Anwendungen in der gesundheitlichen Versorgung

Holl, Felix (2023): Evaluationsmethoden für mobile Anwendungen in der gesundheitlichen Versorgung. Dissertation, LMU München: Medizinische Fakultät

Abstract

Mobile Anwendungen spielen in der gesundheitlichen Versorgung zunehmend eine größere Rolle und haben das Potential, die Versorgung zu verbessern bei gleichzeitig möglicher Kosteneinsprung. In der Literatur ist die Abkürzung mHealth für den englischsprachigen Begriff mobile health gebräuchlich. mHealth-Anwendungen sind eine Unterkategorie von electronic health (eHealth)-Anwendungen. eHealth bezeichnet Anwendungen, bei denen Informations- und Kommunikationstechnologien (IKT) zur Behandlung und Betreuung von Patientinnen und Patienten genutzt werden. mHealth-Anwendungen verwenden dabei mobile IKTs. Der Begriff mHealth-Anwendungen beinhaltet sowohl die ausschließlich für den Endnutzer-Markt konzipierten Anwendungen als auch Applikationen für den Einsatz im professionellen Bereich. Für die zunehmende Verbreitung von mHealth-Anwendungen sind mehrere Faktoren verantwortlich. Zum einen haben Rechenleistung und Kapazität mobiler Endgeräte in den vergangenen Jahren stark zugenommen. Zusätzlich steht durch den kontinuierlichen Netzausbau in vielen Gebieten eine stabile breitbandige Mobilfunkverbindung zur Verfügung. Nachdem mHealth-Anwendungen anfänglich fast ausschließlich von Patienten selbst bezahlt werden mussten, entstehen nun erste Finanzierungsmöglichkeiten durch die öffentlichen Kostenträger. Durch das 2019 eingeführte Digitale-Versorgung-Gesetz (DVG) haben gesetzlich Krankenversicherte in Deutschland einen verbrieften Anspruch auf digitale Gesundheitsanwendungen (DiGAs). Ziel der Dissertation ist es, eine kritische Übersicht über die Bewertungsmethoden für mHealth-Anwendungen zu geben und Empfehlungen für weitere Entwicklungen zu geben. In einem Herausgeberwerk mit dem Titel „mHealth-Anwendungen für chronisch Kranke“ wurden Beiträge über verschiedene Anwendungsgebiete für mHealth-Anwendungen zusammengestellt, um die Breite der Anwendungsbereiche aufzuzeigen. Beispiele sind die Versorgung und Prävention von chronischen Rückenschmerzen, KI-gestütztes Wundmanagement und die Versorgung von Patienten mit Herzinsuffizienz. Und es wurde ein Systematic Review zu mHealth-Anwendungen für chronische Schmerzpatienten durchgeführt. Die Ergebnisse legen nahe, dass insbesondere bei der Schmerzlinderung eine Behandlung über mHealth-Anwendungen langfristig hilfreich sein kann. Während erste Bewertungssysteme speziell für mHealth-Anwendungen entwickelt wurden, werden vorwiegend die Bewertungssysteme für eletronic Health (eHealth)-Anwendungen bei der Bewertung von mHealth-Anwendungen verwendet. Diese müssen jedoch angepasst werden. In vielen nationalen und internationalen Fachgesellschaften der Medizininformatik gibt es Arbeitsgruppen für Evaluationen und Health Technology Assessment (HTA). Zusätzlich zu den oben genannten Bewertungssystemen für eHealth gibt es für mHealth-Anwendungen auch etablierte akademische Bewertungssysteme. Ein anerkanntes und validiertes wissenschaftliches Bewertungssystem ist die Mobile App Rating Scale (MARS). Die deutschsprachige Version der MARS, die G-MARS wurde verwendet, um die in Deutschland verfügbaren Apps für COVID-19 zu bewerten. Alle Anwendungen erhielten durchweg hohe Bewertungsscores (mit der niedrigsten Bewertung in der Kategorie „Engagement“). Die von Experten kritisierten Datenschutzprobleme einer App hatten keinen Einfluss auf die Bewertung. Eine erste Scoping Review zu den in der publizierten Literatur über mHealth-Anwendungen verwendeten Bewertungsmethoden zeigt, dass häufig singuläre Messungen zu krankheitsbezogenen, klinischen Parametern und im Hinblick auf die Nutzerperspektive durchgeführt werden. Ökonomische Bewertungen sind selten, Interoperabilität wurde in keiner Studie betrachtet. Bei einem systematischen Review zu den verwendeten Bewertungsmethoden für mHealth-Anwendungen für KHK wurden 38 Studien analysiert. Am häufigsten wurden Kriterien wie Usability, Motivation und Benutzererfahrung anhand von standardisierten Fragebögen und Nutzungsprotokollen evaluiert. Klinische Resultate wurden durch Labordiagnostik und standardisierte Fragebögen zur Lebensqualität bewertet. Weiterhin erfolgten ökonomische Bewertungen im Rahmen von Kosten-Wirksamkeits-Analysen. Eine im ländlichen Kamerun durchgeführte Machbarkeitsstudie einer mHealth-Anwendung für Diabetes-Patienten zeigte das große Potential zur Verbesserung des Zugangs zu medizinischer Versorgung. Allerdings zeigte sich auch die Wichtigkeit der Auswahl der richtigen Zielvariablen, da viele Studienteilnehmer nicht das mHealth-System, sondern nur die Verfügbarkeit der Blutzuckermessgeräte bewerteten. Ein Online-Panel mit anschließender Experten-Diskussion zu Bewertungsmethoden mit Beispielen aus verschiedenen Bereichen der medizinischen Informatik zeigte, dass alle derzeit verwendeten Bewertungsmethoden nur Einzelaspekte berücksichtigen und wichtige Faktoren vernachlässigen. Die Wahl des richtigen Studiendesigns wurde diskutiert. Durch eine mehrstufige Experten-Befragung mittels einer Delphi-Survey wurde eine Liste von essenziellen Bewertungsindikatoren für mHealth-Anwendungen erstellt. Die Liste umfasst 81 Indikatoren, gruppiert in die drei Kategorien des Qualitätsmodells von Donabedian (Struktur, Proess und Ergebnis). Die Strukturqualität hatte die meisten Elemente, während die Ergebnisqualität die wenigsten aufweist. Auch die Anzahl der Elemente bei der Prozessqualität ist beachtlich. Im letzten Teil des Dissertationsprojekts wurde das Bewertungssystem für die Erstattungsfähigkeit im Rahmen des DVG für DiGAs analysiert. Das für die Entscheidung zur Erstattung von DiGAs entwickelte Fast-Track-Verfahren hat Schwächen. Ethische und soziale Aspekte fehlen. Eine generelle Einschränkung der DiGAs ist, dass nur Medizinprodukte der Risikoklassen I und II darunterfallen. mHealth-Anwendungen, die ausschließlich zu Prävention dienen, sind kein Medizinprodukt und sind deswegen auch nicht als DiGA erstattungsfähig. In der publizierten Literatur werden nur selten bis keine holistischen Bewertungen durchgeführt, sondern oft nur singuläre Aspekte bewertet. Dadurch ist die Vergleichbarkeit verschiedener Anwendungen untereinander sehr schwierig. Die größte Herausforderung ist die Balance zwischen der Bewertung von neuen Anwendungen, die durch schnelle technische Fortschritte immer öfter zur Verfügung stehen und der Detailtiefe der Bewertung. Wird eine Bewertung mit sehr hoher Qualität durchgeführt, kann die Anwendung bereits vor Ende der Evaluation veraltet sein. Die Betrachtung von ethischen Aspekten spielt eine wichtige Rolle, wird aber bei aktuellen Verfahren öfter vernachlässigt. Aktuell werden im Rahmen von Bewertungen zu wenig Daten zu den wirtschaftlichen Gesamtkosten von mHealth-Anwendungen erhoben. Es ist daher bei der zukünftigen Weiterentwicklung von Bewertungssystemen für mHealth-Anwendungen darauf zu achten, dass neben krankheitsgerechter klinischer Outcome-Bewertungen auch die sozioökonomische Komponente in Form eines Kostenvergleichs der Intervention mit dem Versorgungsstandard erfasst wird. Diese Informationen sollten in die Kosten-Nutzen-Bewertung eingebaut werden. Weitere Herausforderungen sind die Eingruppierung von Apps innerhalb der europäischen Medical Device Regulation. Zur Bewertung von Aspekten der künstlichen Intelligenz als Teil einer App gibt es noch kaum Veröffentlichungen, vor allem bezogen auf die Risikoabschätzung solcher Komponenten. Da die Entwicklungen in diesem Bereich aber sehr schnell voranschreiten, besteht hier einiger Nachholbedarf.

Abstract

Mobile applications are playing an increasingly important role in health care and have the potential to improve care while potentially reducing costs. In the literature, the abbreviation mHealth is commonly used for the term mobile health. mHealth applications are a subcategory of electronic health (eHealth) applications. eHealth refers to applications in which information and communication technologies (ICTs) are used to treat and care for patients. mHealth applications use mobile ICTs. The term mHealth includes applications designed exclusively for the end-user market and applications for use in the professional sector. Several factors are responsible for the increasing spread of mHealth applications. Mobile devices' computing power and capacity have increased significantly in recent years. In addition, a stable broadband mobile connection is available in many areas due to the continuous expansion of the network. While mHealth applications initially had to be paid for almost exclusively by patients, the first financing opportunities are now emerging from public payers. As a result of the Digital Health Care Act (DVG), introduced in 2019, people with statutory health insurance in Germany have a securitized entitlement to digital health applications (DiGAs). The dissertation aims to provide a critical overview of the evaluation methods for mHealth applications and to make recommendations for further developments. In an edited series entitled "mHealth applications for the chronically ill," contributions on various areas of application for mHealth applications were compiled to show the breadth of application areas. Examples include chronic back pain care and prevention, AI-assisted wound management, and heart failure patient care. And a systematic review was conducted on mHealth applications for chronic pain patients. The results suggest that treatment via mHealth applications can be helpful in the long term, particularly for pain relief. While initial evaluation systems were developed specifically for mHealth applications, the evaluation systems for eHealth applications are predominantly used in the evaluation of mHealth applications. However, these need to be adapted. Many national and international medical informatics societies have working groups for evaluations and Health Technology Assessment (HTA). In addition to the evaluation systems for eHealth mentioned above, there are also established academic evaluation systems for mHealth applications. The Mobile App Rating Scale (MARS) is a recognized and validated academic rating system. The German version of the MARS, the G-MARS, was used to rate the apps available in Germany for COVID-19. All apps received consistently high scores (with the lowest in the "engagement" category). The privacy issues of one app, criticized by experts, did not influence the rating. An initial scoping review of the evaluation methods used in the published literature on mHealth applications shows that singular measurements on disease-related, clinical parameters and concerning the user perspective are frequently performed. Economic evaluations are rare, and interoperability has not been considered in any study. In a systematic review on the evaluation methods used for mHealth applications for coronary heart disease, 38 studies were analyzed. Criteria such as usability, motivation, and user experience were most commonly evaluated using standardized questionnaires and usage protocols. Clinical outcomes were evaluated by laboratory diagnostics and standardized quality of life questionnaires. Furthermore, economic evaluations were conducted in the context of cost-effectiveness analyses. A feasibility study conducted in rural Cameroon for a mHealth application for diabetes patients showed the great potential to improve access to care. However, it also revealed the importance of selecting the right outcome variable, as many study participants did not rate the mHealth system but only the availability of blood glucose meters. An online panel followed by an expert discussion on evaluation methods with examples from different areas of medical informatics showed that all currently used evaluation methods only consider single aspects and neglect important factors. The choice of the proper study design was discussed. A multi-stage expert survey using a Delphi survey created a list of essential evaluation indicators for mHealth applications. The list includes 81 indicators grouped into the three categories of Donabedian's quality model (structure, process, and outcome). Structure quality had the most elements, while outcome quality had the fewest. The number of factors in process quality is also considerable. The final part of the dissertation project analyzed the evaluation system for reimbursement eligibility under the DVG for DiGAs. The fast-track process developed for the decision to reimburse DiGAs has weaknesses. Ethical and social aspects are missing. A general limitation of DiGA is that only risk classes I and II medical devices are covered. mHealth applications solely for preventive purposes are not medical devices and therefore not reimbursable as DiGA. In the published literature, holistic evaluations are rarely performed, but only singular aspects are often evaluated, making it very difficult to compare different applications. The main challenge is to balance the assessment of new applications, which are increasingly available due to rapid technical advances, with the level of detail of the assessment. If an evaluation is performed with very high quality, the application may be obsolete before the end of the evaluation. The consideration of ethical aspects plays an important role but is more often neglected in current procedures. Currently, too little data is collected on the total economic costs of mHealth applications as part of evaluations. Therefore, in the future de-velopment of evaluation systems for mHealth applications, care should be taken to ensure that, in addition to disease-specific clinical outcome evaluations, the socioeconomic component is also recorded in the form of cost comparison of the intervention with the standard of care. This information should be built into the cost-benefit assessment. Other challenges include the categorization of apps within the European Medical Device Regulation. There are still hardly any publications on the evaluation of artificial intelligence aspects as part of an app, especially related to the risk assessment of such components. However, as developments in this area progress rapidly, these aspects must be included in evaluations.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Themengebiete: 600 Technik, Medizin, angewandte Wissenschaften ; 600 Technik, Medizin, angewandte Wissenschaften > 610 Medizin und Gesundheit
• Fakultäten: Medizinische Fakultät
• Sprache der Hochschulschrift: Deutsch
• Datum der mündlichen Prüfung: 18. Juli 2023
• 1. Bericht­erstatter:in: Mansmann, Ulrich