Artificial intelligence for harvesting the untapped cosmological information in the Lyman-α forest

Nayak, Parth (2025): Artificial intelligence for harvesting the untapped cosmological information in the Lyman-α forest. Dissertation, LMU München: Fakultät für Physik

Abstract

Spectroscopic sky surveys such as SDSS/eBOSS and DESI have revolutionized astronomy by delivering a gargantuan amount of data. An urgent need for finding efficient analysis algorithms to complement this data inflation has arisen. Artificial intelligence (AI) techniques are becoming increasingly popular in response. The task of parameter inference in cosmology is an avenue with increasingly widespread applications of AI. This is because the traditional methods rely on analytically well-defined summary statistics that are easily interpreted but are not efficient enough to encode the information in the data. Prominent examples of those are two-point correlations or power spectra that include all Gaussian information in the data, but fail to capture their non-Gaussian aspects. AI, specifically deep learning (DL), offers powerful remedies to this growing problem. In this thesis, I have developed the first of such DL frameworks for the specific case of the Lyα forest, which is a consequence of the interaction of distant quasars’ emission continua with the intergalactic medium (IGM) in the expanding Universe. As such the Lyα forest is a unique and sensitive probe of a wide range of cosmic physics, including the IGM thermal state, which is the focus here. The Lyα transmission field has an inherently non-Gaussian nature, making it a great candidate for DL parameter inference. The power of DL heavily relies on the availability of large training datasets. I employed giant cosmological hydrodynamic simulations to source labeled mock datasets for training neural networks (NN) via supervised learning. Therefore, I first scrutinized the generation of those mocks for their fidelity, closely examining different approximations commonly made to reduce the computational cost. I then trained a ResNet convolutional architecture using those pure mocks for an optimal extraction of features from the transmission field. In this theoretical, uncontaminated case, I observed a significant improvement of posterior precision over traditional summaries by factors of a few. Following this success, I made adaptations to the framework for inference with more realistic data. Namely, I trained an updated architecture with noisy, lower resolution spectra and characterized the impact of the noise level on the posterior precision. Although the tightening of the constraints is not quite as strong as for the theoretical scenario, it is still indicative of the potential of DL to work beyond conventional two-point statistics with realistic datasets. This thesis hence motivates DL as a very efficient and highly relevant tool for information extraction and parameter inference with the Lyα forest using large datasets. Simultaneously, it also provides valuable insights into the challenges for the development of a fully functional and trustworthy DL inference pipeline for the next generation of spectroscopic surveys and potential ways to tackle them.

Abstract

Spektroskopische Himmelsdurchmusterungen wie SDSS/eBOSS und DESI haben die Astronomie durch die Bereitstellung einer gigantischen Datenmenge revolutioniert. Es besteht ein dringender Bedarf an effizienten Analysealgorithmen, um dieser Datenflut gerecht zu werden. Als Antwort darauf werden Techniken der künstlichen Intelligenz (KI) immer beliebter. Die Aufgabe der Parameterinferenz in der Kosmologie ist ein Anwendungsbereich, in dem KI zunehmend verbreitet ist. Dies liegt daran, dass die traditionellen Methoden auf analytischen zusammenfassenden Statistiken beruhen, die zwar leicht zu interpretieren sind, aber nicht effizient genug sind, um die Informationen in den Daten zu kodieren. Prominente Beispiele hierfür sind Zwei-Punkt-Korrelationen oder Leistungsspektren, die alle Gaußschen Informationen in den Daten enthalten, aber deren nicht-Gaußsche Aspekte nicht erfassen können. KI, insbesondere Deep Learning (DL), bietet leistungsstarke Lösungen für dieses wachsende Problem. In dieser Arbeit habe ich das erste solcher DL-Frameworks für den speziellen Fall des Lyα-Waldes entwickelt, welcher die Absorption der Emissionskontinua entfernter Quasare durch das intergalaktische Medium (IGM) im expandierenden Universum darstellt. Als solches ist der Lyα-Wald ein einzigartiger und empfindlicher Indikator für einen weiten Bereich der kosmischen Physik, einschließlich des thermischen Zustands des IGM, der hier im Mittelpunkt steht. Das Lyα-Transmissionsfeld hat von Natur aus eine nicht-gaußsche Verteilung, was es zu einem hervorragenden Kandidaten für die DL-Parameterinferenz macht. Die Aussagekraft von DL hängt stark von der Verfügbarkeit großer Trainingsdatensätze ab. Ich habe riesige kosmologische Hydrodynamik-Simulationen verwendet, um gelabelte Mock-Datensätze für das Training neuronaler Netze (NN) mittels Supervised Learning zu generieren. Daher habe ich zunächst die Erzeugungsverfahren dieser Mock-Datensätze auf ihre Genauigkeit hin überprüft und dabei verschiedene Näherungen, die üblicherweise zur Reduzierung des Rechenaufwands verwendet werden, genau untersucht. Anschließend habe ich eine ResNet-CNN-Architektur unter Verwendung dieser unkontaminierten Mock-Datensätze trainiert, um eine optimale Extraktion von Merkmalen aus dem Transmissionsfeld zu erreichen. In diesem theoretischen Fall habe ich eine signifikante Verbesserung der Präzision im Posterior gegenüber herkömmlichen Zusammenfassungen um einen Faktor von einigen wenigen beobachtet. Nach diesem Erfolg habe ich Anpassungen des Inferenzframeworks zur Nutzung realistischerer Daten vorgenommen. Konkret habe ich eine aktualisierte Architektur mit verrauschten Spektren niedrigerer Auflösung trainiert und den Einfluss des Rauschpegels auf die Parameterpräzision charakterisiert. Obwohl die Verbesserung der Genauigkeit nicht ganz so stark ist wie im theoretischen Szenario, zeigt sie dennoch das Potenzial von DL, mit realistischen Datensätzen über die herkömmliche Zweipunktstatistik hinaus zu arbeiten. Diese Dissertation demonstriert somit, dass DL ein sehr effizientes und hochrelevantes Werkzeug für die Informationsextraktion und Parameterinferenz mit dem Lyα-Wald unter Verwendung großer Datensätze sein kann. Gleichzeitig liefert sie wertvolle Erkenntnisse über die Herausforderungen bei der Entwicklung einer voll funktionsfähigen und vertrauenswürdigen DL-Inferenzpipeline für spektroskopische Untersuchungen der nächsten Generation und mögliche Wege zu deren Bewältigung.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: astronomy, cosmology, artificial intelligence, deep learning, spectroscopy
• Themengebiete: 500 Naturwissenschaften und Mathematik ; 500 Naturwissenschaften und Mathematik > 530 Physik
• Fakultäten: Fakultät für Physik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 19. Dezember 2025
• 1. Bericht­erstatter:in: Grün, Daniel