External validation of decision-analytic models based on claims data of health insurance funds

Brandes, Alina Christa Annemarie (2016): External validation of decision-analytic models based on claims data of health insurance funds. Dissertation, LMU München: Medizinische Fakultät

Abstract

Background: Decision-analytic models are used in the context of economic evaluation to bring together the best available evidence and to support the decision on the adoption of a health technology. A decision model’s credibility is, however, diminished by uncertainty which, to large part, stems from parameter uncertainty. Especially when novel technologies are evaluated, high quality evidence may not be available at the point of coverage decision making. A decision model incorporating uncertain parameter values eventually simulates uncertain effectiveness and cost outcomes. To enhance credibility of decision models, external validation of uncertain parameter values is vital. Data sources for external validation should be able to reflect the model’s study design and patient cohort, and estimate real-world effectiveness and costs. Objective: This study assesses whether claims data of health insurance funds are suitable to externally validate decision-analytic models. Methods: To answer the research question, a validation approach is developed which highlights critical steps in the validation of decision models based on claims data. The validation steps are: 1) selection of the validation level, 2) selection of the claims dataset, study design, and patient cohort, 3) selection of disease-relevant health technologies and costs, 4) statistical analysis of claims data, 5) changes to the decision model, 6) comparison between model and claims data, and 7) sensitivity analyses. The validation approach is exemplarily applied in the validation of a Markov model comparing treatment of localized prostate cancer (active surveillance and radical prostatectomy) in a German health care context, based on claims data of the German AOK statutory health insurance fund. An external validation of resource use, probability of utilization, and cost parameters is chosen, because these parameters are afflicted by a high degree of uncertainty in the decision model. Two different approaches to the analysis of relevant health technologies for prostate cancer treatment are presented in claims data analysis: an excess approach and a disease-related approach. Results: The decision model assumes that resource use and unit costs are identical in the two treatment groups; this is, however, not observed in claims data analysis. Excess cost analysis and disease-related cost analysis of AOK claims data as well as model analysis show that, overall, active surveillance is the less costly strategy compared to radical prostatectomy, with total incremental costs of €-6,611, €-6,260, and €-7,486 respectively. When testing differences between model and outcomes of claims data analysis, p-values of 0.61 (excess approach) and 0.18 (disease-related approach) indicate an agreement that is sufficient to assume that the decision model simulates real-world costs validly. Discussion: This study reveals general strengths and limitations of claims data based model validation. Claims data are able to provide evidence on real-world resource utilization and, with limitations regarding clinical information, effectiveness of a wide range of indications and treatments for a large patient cohort. Validation based on claims data is especially suitable when the decision maker, interested in the validity of the model in question, is the insurance fund providing access to the claims data. Suitability of claims data based validation is, however, limited concerning the replication of decision models’ structure and patient cohort. For one, the identification of distinct health states is limited, because clinical information is not included in sufficient detail. Secondly, due to non-randomization and a restricted number of variables available to adjust for confounding, comparability of treatment groups is limited in claims data analysis. Thirdly, distinct identification of health technology utilization and corresponding costs is not possible if the technology of interest is not specifically coded. Finally, claims data are, generally, collected for billing purposes; diagnoses and technology utilization are only coded if they are relevant for reimbursement by the insurance fund, which biases outcomes of model validation in cases where treatment is not covered by the insurance fund. Conclusion: The presented validation approach indicates critical aspects of the validation based on claims data, which may support researchers and decision makers in their decision on the suitability of claims data for model validation. The suitability of claims data for the external validation of a decision model ultimately depends on the ability of the claims data source to reflect the model’s patient cohort and outcome measures.

Abstract

Hintergrund: Entscheidungsanalytische Modelle kommen im Rahmen der gesundheitsökonomischen Evaluation von Gesundheitstechnologien zum Einsatz, um die beste verfügbare Evidenz zusammenzuführen und damit die Erstattungsentscheidung zu unterstützen. Bei der Evaluation von innovativen Technologien ist allerdings häufig zum Zeitpunkt der Erstattungsentscheidung keine hochwertige Evidenz, etwas aus klinischen Studien, verfügbar. Diese Parameterunsicherheit spiegelt sich letztlich in der im Entscheidungsmodell simulierten Kosteneffektivität der jeweiligen innovativen Technologien wieder. Für den Entscheidungsträger ist somit die Glaubwürdigkeit von Entscheidungsmodellen eingeschränkt. Um die Glaubwürdigkeit eines Entscheidungsmodells zu erhöhen, ist eine externe Validierung der unsicheren Parameterwerte von entscheidender Bedeutung. Datenquellen für eine externe Validierung sollten in der Lage sein, das Studiendesign und die Kohorte des Entscheidungsmodells zu reflektieren sowie reale Effekte und Kosten der evaluierten Technologie zu schätzen. Fragestellung: Im Rahmen dieser Studie wird untersucht, in wie weit sich Abrechnungsdaten von Krankenkassen für die externe Validierung von entscheidungsanalytischen Modellen eignen. Methoden: Um die Forschungsfrage zu beantworten, wurde ein Validierungsansatz entwickelt, welcher entscheidende Schritte bei der Validierung von Entscheidungsmodellen auf der Basis von Abrechnungsdaten beschreibt. Die einzelnen Validierungsschritte sind: 1) Auswahl der Validierungsebene, 2) Auswahl des externen Datensatzes, des Studiendesigns und der Patientenkohorte, 3) Definition von krankheitsrelevanten Gesundheitstechnologien und Kosten, 4) Auswahl der statistischen Methoden zur Analyse der Abrechnungsdaten, 5) Anpassung des Entscheidungsmodells, 6) Auswahl von Methoden zum Vergleich zwischen Modell und Abrechnungsdaten, und 7) Sensitivitätsanalysen. Der Validierungsansatz wird beispielhaft für die Validierung eines Markov-Modells angewendet, welches Behandlungsmethoden des lokalisierten Prostatakarzinoms (Active Surveillance und radikale Prostatektomie) in einem deutschen Versorgungskontext vergleicht. Zur Validierung werden Abrechnungsdaten einer deutschen gesetzlichen Krankenkasse, der AOK Baden-Württemberg, herangezogen. Es werden Parameterwerte des Entscheidungsmodells zum Ressourcenverbrauch, zur Inanspruchnahmewahrscheinlichkeit und zu Kosten validiert, da diese Parameter die größte Unsicherheit aufweisen. Dabei werden zwei verschiedene Vorgehensweisen zur Analyse der Abrechnungsdaten der AOK herangezogen: ein Excesskosten-Ansatz und ein Krankheitskosten-Ansatz. Ergebnisse: Im Entscheidungsmodell wird davon ausgegangen, dass Ressourcenverbrauch und Stückkosten in beiden Behandlungsgruppen identisch sind; in den Abrechnungsdaten der AOK ist diese Annahme allerdings nicht wiederzufinden. Sowohl die Excesskosten-Analyse und die krankheitskostenbezogene Analyse der AOK-Daten als auch die Modellanalyse zeigen, dass Active Surveillance insgesamt die kostengünstigere Strategie mit einer Ersparnis von jeweils 6.611€, 6.260€ und 7.486€ gegenüber der radikalen Prostatektomie ist. Der statistische Test der Kostendifferenz aus Modell und AOK-Daten ergibt p-Werte von 0,61 (Excesskosten-Ansatz) und 0,18 (Krankheitskosten-Ansatz), die auf eine signifikante Übereinstimmung der Schätzer aus Modell und AOK-Daten schließen lassen. Die Übereinstimmung der Schätzer lässt vermuten, dass das Entscheidungsmodell in der Lage ist, die Kosten der Behandlung des lokalisierten Prostatakarzinoms valide zu simulieren. Diskussion: Die beispielhafte Validierung des Markov-Modells anhand von Abrechnungsdaten der AOK Baden-Württemberg zeigt allgemeine Stärken und Schwächen der Kassendaten-basierten Modellvalidierung auf. Abrechnungsdaten sind in der Lage, Evidenz zur tatsächlichen Utilisierung von Gesundheitsleistungen und, mit Einschränkungen in Bezug auf klinische Informationen, Wirksamkeit einer Vielzahl von Behandlungsoptionen für eine große Patientenpopulation zu liefern. Die Validierung auf Basis von Abrechnungsdaten ist vor allem sinnvoll, wenn die Modellvalidierung aus der Perspektive einer Krankenkasse durchgeführt werden soll. Die Eignung von Abrechnungsdaten für die Modellvalidierung ist jedoch hinsichtlich der Nachbildung der Modellstruktur und der Patientenkohorte des Entscheidungsmodells limitiert. Erstens ist die Identifikation von Gesundheitszuständen in Kassendaten begrenzt, da klinische Informationen nicht ausreichend detailliert enthalten sind. Zweitens ist die Vergleichbarkeit der Behandlungsgruppen eingeschränkt, da eine Randomisierung nicht möglich ist und nur eine begrenzte Anzahl an Variablen zur Verfügung steht, um für Confounder zu adjustieren. Drittens ist eine eindeutige Identifizierung von Gesundheitsleistungen und deren Kosten schwierig, wenn die Leistung nicht explizit in den Abrechnungsdaten kodiert ist. Viertens werden Kassendaten zu Abrechnungszwecken gesammelt und deshalb werden auch nur solche Diagnosen und Gesundheitsleistungen kodiert, die für die Erstattung durch die Krankenkasse relevant sind. Für Gesundheitsleistungen, die nicht von der Krankenkasse vergütet werden, ist unter Umständen keine valide Schätzung zu Ressourcenverbrauch und Kosten möglich. Fazit: Der entwickelte Validierungsansatz zeigt kritische Aspekte der Modellvalidierung auf Basis von Abrechnungsdaten von Krankenkassen auf. Er soll Wissenschaftler und Entscheidungsträger bei der Entscheidung über die Eignung von Abrechnungsdaten für die externe Validierung eines Modells unterstützen. Die Eignung von Abrechnungsdaten für die externe Validierung eines Entscheidungsmodells hängt letztlich von der Fähigkeit ab, Modellstruktur, Kohorte und Zielparameter des Modells abzubilden.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: health economics, decision-analytic modeling, external validation, claims data
• Themengebiete: 600 Technik, Medizin, angewandte Wissenschaften ; 600 Technik, Medizin, angewandte Wissenschaften > 610 Medizin und Gesundheit
• Fakultäten: Medizinische Fakultät
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 16. März 2016
• 1. Bericht­erstatter:in: Rogowski, Wolf