Quantifying sources of uncertainty for convective-scale predictability

Matsunobu, Takumi (2024): Quantifying sources of uncertainty for convective-scale predictability: tracing forecast uncertainty to the origin. Dissertation, LMU München: Fakultät für Physik

Abstract

Numerical weather prediction (NWP) on convective scales has made major advancements in recent decades, enabling more precise forecasts of daily weather. However, inherent uncertainties in NWP systems, stemming from initial and boundary conditions (IBC), model formulations, and parameterisations of subgrid-scale processes, pose challenges for accurate predictions. Introducing ensemble prediction systems (EPSs), which are running multiple forecasts with slightly different IBCs in parallel, enables not only probabilistic forecasting but also an estimate of the forecast error through the ensemble variability. However, the error is often underestimated due to insufficient representation of model uncertainties. Including more uncertainty representations is essential for improving the reliability of EPSs. This thesis explores the influence of various uncertainty sources on convective-scale forecast variability using an operational EPS setting. The growth of variability introduced by model uncertainty representations in the presence of IBC perturbations is examined under varying convective forcing conditions focusing on summer convection over Germany. The study is divided into three interconnected parts: First, the relative impact of individual and combined uncertainties, specifically IBC and microphysical parameter perturbations (MPP), on daily precipitation is evaluated. It is demonstrated that IBC uncertainty predominantly influences precipitation variability, while MPP play a secondary role with a larger impact during weak convective forcing. Combining MPP with IBC perturbations extends the tail of the forecast distributions while keeping the interquartile range barely changed, suggesting redundancy of the uncertainty combination. Second, the spatial predictability of hourly precipitation and the impact of uncertainty representations are examined using a scale-dependent metric. It is found that the operational convective-scale EPS at the Deutscher Wetterdienst exhibits insufficient spatial variability, particularly in weak forcing conditions. Adding physically-based stochastic perturbations (PSP) in the planetary boundary layer reduces this spatial overconfidence. The combined impact of PSP and MPP with IBC perturbations on spatial error and spread appears additive, with PSP being the primary source of model uncertainty in weakly forced conditions. Third, a novel "variability budget" analysis method is introduced to quantify such redundancy or additivity of uncertainties by decomposing total variance into individual variances and their correlations. Applying this method to a case study with varying ensemble size for IBCs and PSP revealed that only few additional PSP members are required for convergence in the presence of IBC perturbations. This facilitates the optimisation of an ensemble design that includes multiple sources of uncertainty. In order to trace the variances from the three uncertainty sources, the method is also applied to ensemble simulations encompassing an entire summer month. It is demonstrated that both PSP and MPP introduce variability in regions of potential convective instability, but on scales smaller than those represented by IBC uncertainty. However, the total variance is not significantly altered due to negative correlations between the impacts. Since atmospheric convection is highly intermittent in nature and reacts very sensitive to all kinds of model perturbations, only slight displacements of convective cells lead to anti-phase relationships between their individual impacts, leading to an inefficient variance increase. The correlation characteristics are found to be similar in varying convective forcing, but with larger model uncertainty variances relative to that from IBC uncertainty during weak forcing. The stronger sensitivity of weak forcing conditions to model uncertainty is attributable to the larger variance rather than the correlation characteristics. All results presented in this thesis emphasise the importance of considering various uncertainty sources in NWP systems and strongly suggest their evaluation in a full EPS including IBC uncertainty. The novel variability budget analysis offers a framework for the quantitative assessment of various uncertainties. A flow-dependent evaluation is desired to highlight the variable impact of model uncertainties during varying atmospheric conditions.

Abstract

Die numerische Wettervorhersage (NWP) auf konvektiven Skalen hat in den letzten Jahrzehnten große Fortschritte gemacht und ermöglicht bessere Vorhersagen des tagtäglichen Wetters. Die inhärenten Unsicherheiten in NWP-Systemen, die sich aus den Anfangs- und Randbedingungen (IBC), den Modellformulierungen und der Parametrisierung von Prozessen auf der Subgrid-Skala ergeben, stellen jedoch eine Herausforderung für genaue Vorhersagen dar. Die Einführung von Ensemble-Vorhersagesystemen (EPS), die mehrere Vorhersagen mit leicht unterschiedlichen IBCs parallel durchführen, ermöglicht nicht nur probabilistische Vorhersagen, sondern auch eine Schätzung des Vorhersagefehlers durch die Ensemble-Variabilität. Allerdings wird der Fehler oft unterschätzt, weil die Modellunsicherheiten nicht ausreichend dargestellt werden. Die Einbeziehung von unterschiedlichen Darstellungen der Unsicherheit ist für die Verbesserung der Zuverlässigkeit von EPS unerlässlich. In dieser Arbeit wird der Einfluss verschiedener Unsicherheitsquellen auf die Vorhersagequalität und -variabilität in einem operationellen konvektionserlaubenden EPS untersucht. Hierzu werden unterschiedliche konvektive Antriebsbedingungen unterschieden. Der Schwerpunkt liegt auf sommerlicher Konvektion über Deutschland. Die Studie ist in drei miteinander verbundene Teile gegliedert: Zunächst wird der relative Einfluss einzelner und kombinierter Unsicherheiten, insbesondere derjenige von IBC und mikrophysikalischen Parameterstörungen (MPP), auf den täglichen Niederschlag bewertet. Es wird gezeigt, dass insbesondere die IBC-Unsicherheit die Niederschlagsvariabilität beeinflusst, während die MPP eine sekundäre Rolle spielen. Während schwachem konvektivem Antrieb sind MPP wichtiger als während starkem Antrieb. Die Kombination von MPP mit IBC-Störungen vergrößert die Breite der Vorhersageverteilungen, während der Bereich der Interquartile kaum verändert wird, was auf eine Redundanz der Unsicherheitskombination hindeutet. Zweitens wird die räumliche Vorhersagbarkeit des stündlichen Niederschlags und die Auswirkung der Unsicherheitsdarstellungen unter Verwendung einer skalenabhängigen Metrik und Beobachtungen untersucht. Es zeigt sich, dass die operationelle konvektiv-skalige EPS des Deutschen Wetterdienstes eine unzureichende räumliche Variabilität aufweist, insbesondere bei schwachen Antriebsbedingungen. Das Hinzufügen von physikalisch basierten stochastischen Störungen (PSP) in der planetaren Grenzschicht reduziert diese räumliche 'Overconfidence'. Die kombinierte Auswirkung von PSP und MPP in Gegenwart von IBC-Störungen auf den räumlichen Fehler und die Streuung scheint additiv zu sein, wobei PSP die Hauptquelle der Modellunsicherheit unter schwachem Antrieb für Konvektion bildet. Um die Redundanz bzw. Additivität von Unsicherheiten zu quantifizieren, wird drittens eine neuartige „Variabilitätsbudget“-Analysemethode eingeführt. Hier wird die Gesamtvarianz in einzelne Varianzen und deren Korrelationen zerlegt. Die Anwendung dieser Methode auf eine Fallstudie mit variierender Ensemblegröße für IBCs und PSP ergab, dass nur wenige zusätzliche PSP-Member für die Konvergenz der Vorhersage erforderlich sind, falls IBC-Störungen aktiviert sind. Um die Varianzen aus den drei Unsicherheitsquellen nachzuvollziehen, wird die Methode auch auf Ensemblesimulationen angewendet, die einen ganzen Sommermonat umfassen. Es wird gezeigt, dass sowohl PSP als auch MPP in Regionen mit konvektiver Instabilität Variabilität einführen, allerdings auf kleineren Skalen als die, die durch die IBC-Unsicherheit beeinflusst werden. Die Gesamtvarianz wird jedoch aufgrund negativer Korrelationen zwischen den Störungen nicht signifikant verändert. Da die atmosphärische Konvektion von Natur aus hochgradig intermittierend ist und sehr empfindlich auf alle Arten von Modellstörungen reagiert, führen schon geringe Verschiebungen konvektiver Zellen zu gegenphasigen Beziehungen zwischen einzelnen Auswirkungen, was zu einem ineffizienten Anstieg der Varianz führt. Die Korrelationscharakteristiken sind bei wechselndem konvektivem Antrieb ähnlich. Der Einfluß der Modellunsicherheit ist im Vergleich zur IBC-Unsicherheit bei schwachem Antrieb größer. Die stärkere Empfindlichkeit der Modellunsicherheit bei schwachem meteorologischem Antrieb ist eher auf die größere Varianz als auf die Korrelationseigenschaften zurückzuführen. Das „Variabilitätsbudget“ läßt sich zur Optimierung eines Ensembledesigns verwenden, um den relativen Einfluß verschiedener Unsicherheitsquellen zu quantifizieren. Alle in dieser Arbeit vorgestellten Ergebnisse unterstreichen die Notwendigkeit, verschiedener Unsicherheitsquellen in NWP-Systemen zu berücksichtigen. Die neuentwickelte „Variabilitätsbudget“-Analyse ermöglicht eine quantitative Beurteilung der verschiedenen Unsicherheiten. Darüberhinaus zeigt eine strömungsabhängige Betrachtung einen deutlich unterschiedlichen Einfluß von Modellunsicherheiten bei wechselnden atmosphärischen Bedingungen.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Numerical Weather Prediction, Meteorology, Predictability, Ensemble Forecasting, Model Uncertainty
• Themengebiete: 500 Naturwissenschaften und Mathematik ; 500 Naturwissenschaften und Mathematik > 530 Physik
• Fakultäten: Fakultät für Physik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 8. Oktober 2024
• 1. Bericht­erstatter:in: Craig, George C.