The evolution of forecast uncertainty in a large ensemble

Puh, Matjaž (2024): The evolution of forecast uncertainty in a large ensemble. Dissertation, LMU München: Fakultät für Physik

Abstract

The accurate prediction of atmospheric phenomena is hindered by the inherent chaos of the Earth's atmosphere, coupled with a multitude of uncertainties stemming from observational limitations and model imperfections. These challenges necessitate sophisticated forecasting methodologies capable of quantifying and addressing uncertainties to provide reliable meteorological predictions. Ensemble Prediction Systems (EPS) have emerged as indispensable tools in this regard, offering a probabilistic framework that accommodates the inherent variability of atmospheric processes. However, there are several limitations to ensembles too: from the inadequate representation of physical processes within the model, to sampling errors because of the limited ensemble size. Moreover, the significance of different uncertainty sources varies across weather regimes, which requires a flow-dependent assessment of the evolution of forecast uncertainty, often limited by the high computational cost of running ensemble experiments several times. This thesis addresses these challenges by performing three different convection-permitting ensemble experiments using the ICON Limited Area Model (LAM). Firstly, the Physically Based Stochastic Perturbation Scheme (PSP) is included as a representation of model error originating from the subgrid scale in the boundary layer, but affecting the smallest resolved scales. The first experiment spans a whole summer season, which allows for a systematic analysis of the impact of the scheme in different synoptic forcing conditions. This shows that PSP efficiently increases ensemble spread of precipitation in weak synoptic forcing, while producing realistic convective structures and without spoiling the forecast skill. During strong forcing, the effect of the scheme is negligible, as expected by design. The three-month period analysed in the first part offered a unique opportunity to select two representative cases for the weak and strong forcing regimes to be analysed in more detail in the second experiment: the flow-dependence of forecast distributions is studied using a 120 member Icosahedral Nonhydrostatic (ICON) LAM ensemble. The bootstrapping technique is used to investigate the convergence of sampling error for a range of surface and mid-troposphere variables. Convergence is generally observed for the mean and the standard deviation, but not for the 95th percentile, especially in strong forcing. Additionally, maps of uncertainty are introduced, which allow for a more detailed analysis of the spatial pattern of uncertainty and facilitate the interpretation of the sources and evolution of forecast uncertainty in different synoptic forcing conditions. Overall, the main result of the second part of the thesis is the strong connection between uncertainty of forecast variables and convection, with synoptic forcing being crucial in determining the spatial distribution and uncertainty evolution within 24 hours. In the last part of the thesis, the longer-lasting impact given by the memory effects of soil moisture and atmospheric stability on forecast uncertainty at the convective scale beyond the first 24 hours of the simulation is studied. Additionally, the impact of these mechanisms is compared with that of altering the initialization time, where ongoing convection is assimilated into the forecast and modifies the evolution of the forecast beyond the first day. The flow-dependent analysis shows that all the studied mechanisms have a larger impact in weak forcing conditions. Although the uncertainty on the convective scale quickly grows and the predictability left comes mostly from the larger-scale flow, there are mechanisms on the smaller scale that can still influence the forecast beyond the usual influence time. Addressing the challenges of limited ensemble size and uncertainty representation, as well as its flow-dependence, is essential for advancing the capabilities of EPS in providing reliable probabilistic forecasts crucial for mitigating weather-related risks in a changing climate.

Abstract

Eine genaue Vorhersage atmosphärischer Phänomene wird durch die chaotische Natur der Atmosphäre in Verbindung mit einer Vielzahl weiterer Unsicherheiten erschwert, die sich aus der begrenzten Anzahl an Beobachtungen als auch Näherungen in numerischen Modellen ergeben. Diese Herausforderungen erfordern hochentwickelte Vorhersagemethoden, die in der Lage sind, Unsicherheiten zu reduzieren und zu quantifizieren, um zuverlässige meteorologische Vorhersagen zu liefern. Ensemble-Vorhersagesysteme (EPS) haben sich in dieser Hinsicht als unverzichtbare Instrumente erwiesen, da sie einen probabilistischen Rahmen bieten, der der inhärenten Variabilität atmosphärischer Prozesse Rechnung trägt. Doch auch Ensembles unterliegen verschiedenen Einschränkungen: von der unzureichenden Darstellung physikalischer Prozesse innerhalb des Modells bis hin zu Stichprobenfehlern aufgrund der begrenzten Ensemblegröße. Die Ensemblegröße wird insbesondere durch die verfügbare Rechnerkapazität eingeschränkt, da die Anzahl der Ensemblemember mit den Rechenkosten skaliert. Darüber hinaus variiert die Bedeutung der verschiedenen Unsicherheitsquellen je nach Wetterlage, was eine strömungsabhängige Bewertung der Entwicklung der Vorhersageunsicherheit erfordert. In dieser Arbeit werden diese Herausforderungen durch die Durchführung von drei verschiedenen konvektionserlaubenden Ensemble-Experimenten unter Verwendung des ICON Modells angegangen. Der Modellfehler wird mit dem physikalisch basierten stochastischen Störungsschema PSP beschrieben, das die Turbulenz innerhalb der Grenzschicht stört. Das PSP Schema repräsentiert Unsicherheiten, die sich aus nicht aufgelösten Grenzschichtprozessen aufgrund endlicher Gittergröße ergeben. Das erste Experiment erstreckt sich über eine ganze Sommersaison, was eine systematische Analyse der Auswirkungen des PSP Schemas unter verschiedenen synoptischen Bedingungen ermöglicht. Dabei zeigt sich, dass PSP bei schwachem synoptischem Antrieb die Ensemblevariabilität des Niederschlags effizient erhöht und dabei realistische konvektive Strukturen erzeugt, ohne die Vorhersagefähigkeit zu beeinträchtigen. Erwartungsgemäß ist die Auswirkung des PSP Schemas bei starkem Antrieb vernachlässigbar. Der im ersten Teil analysierte Dreimonatszeitraum bietet die einmalige Gelegenheit, zwei repräsentative Fälle für das schwache und das starke Antriebsregime auszuwählen, die im zweiten Abschnitt eingehender analysiert werden. Die Strömungsabhängigkeit der Vorhersageverteilungen wird anhand eines 120 Member umfassenden ICON Ensembles untersucht. Die Bootstrapping-Technik wird verwendet, um die Konvergenz des Stichprobenfehlers sowohl für verschiedene meteorologische Variablen Nahe der Erdoberfläche als auch in der freien Troposphäre zu untersuchen. Konvergenz wird im Allgemeinen für den Mittelwert und die Standardabweichung beobachtet, jedoch nicht für das 95. Perzentil, insbesondere bei starkem Antrieb. Zusätzlich werden Karten der Unsicherheit eingeführt, die eine detailliertere Analyse des räumlichen Musters der Unsicherheit ermöglichen und die Interpretation der Quellen und der Entwicklung der Vorhersageunsicherheit bei verschiedenen synoptischen Antriebsbedingungen erleichtern. Insgesamt ist das Hauptergebnis des zweiten Teils der Arbeit der starke Zusammenhang zwischen der Unsicherheit der Vorhersagevariablen und der Konvektion, wobei der synoptische Antrieb für die Bestimmung der räumlichen Verteilung und der Entwicklung der Unsicherheit innerhalb von 24 Stunden entscheidend ist. Im letzten Teil der Arbeit werden die längerfristigen Auswirkungen der Speichereffekte von Bodenfeuchte und atmosphärischer Stabilität auf die Vorhersageunsicherheit auf der konvektiven Skala über die ersten 24 Stunden der Simulation hinaus untersucht. Außerdem werden die Auswirkungen dieser Mechanismen mit denen einer Änderung der Initialisierungszeit verglichen, bei der die laufende Konvektion in die Vorhersage aufgenommen wird und die Entwicklung der Vorhersage über den ersten Tag hinaus verändert. Die strömungsabhängige Analyse zeigt, dass alle untersuchten Mechanismen bei schwachem Konvektionsantrieb einen größeren Einfluss haben. Obwohl die Unsicherheit auf der konvektiven Skala schnell zunimmt und die verbleibende Vorhersagbarkeit hauptsächlich von der großskaligen Strömung stammt, gibt es Mechanismen auf der kleineren Skala, die die Vorhersage auch über die übliche Einflusszeit hinaus beeinflussen können. Die Erforschung der Herausforderungen, die sich aus der begrenzten Ensemblegröße und der Darstellung der Unsicherheit sowie der Abhängigkeit von der Strömung ergeben, ist von entscheidender Bedeutung für die Verbesserung der Fähigkeiten von EPS bei der Bereitstellung zuverlässiger probabilistischer Vorhersagen, die für die Minderung wetterbedingter Risiken in einem sich ändernden Klima entscheidend sind.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Themengebiete: 500 Naturwissenschaften und Mathematik ; 500 Naturwissenschaften und Mathematik > 530 Physik
• Fakultäten: Fakultät für Physik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 8. Juli 2024
• 1. Bericht­erstatter:in: Craig, George C.