Tensor network methods and artificial intelligence study of the Hubbard model

Zhang, Changkai (2025): Tensor network methods and artificial intelligence study of the Hubbard model: zero- and finite-temperature simulations and optimized encoder-only transformer analysis of the Hubbard model. Dissertation, LMU München: Fakultät für Physik

Abstract

The two-dimensional (2D) Hubbard model, widely believed to capture the essential physics of high-T_c cuprate compounds, has attracted immense research interest ever since the discovery of superconductivity in these materials. Despite its superficial simplicity, the Hubbard model incubates abundant fascinating phenomena owing to the strong interactions between charge carriers, encompassing antiferromagnetism, the pseudogap, and unconventional superconductivity. Yet these very interactions induce strong correlations, rendering canonical perturbative approaches unreliable. With advances in modern computational hardware, numerical techniques — notably tensor network methods and Artificial Intelligence (AI) algorithms — have become indispensable to our expedition. Tensor networks encode the amplitude information of many-body quantum states in a network of interconnected tensors. Leveraging the entanglement area law, tensor networks provide efficient, systematic, and controllable representations of quantum states that would otherwise require an exponentially large number of parameters. Past decades have witnessed the development of various tensor network ansatzes, such as Matrix Product States/Operators (MPS/MPO) for one-dimensional systems and Projected Entangled-Pair States (PEPS) for two-dimensional systems, together with diverse algorithms for optimizing these ansatzes for both zero- and finite temperature scenarios. Over the past years, AI technologies have revolutionized the way we analyze scientific data. The transformer architecture, in particular, has demonstrated exceptional capabilities in the domain of natural language processing. Its attention mechanism excels at capturing long-range correlations in sequential data, making it a promising tool for studying strongly correlated many-body systems. The interpretable nature of the attention mechanism further offers valuable insights into the AI's perception of the underlying physics. In this thesis, we assemble an all-inclusive numerical toolchain for analyzing strongly correlated lattice systems. As a demonstration, we investigate the zero- and finite-temperature properties of the 2D Hubbard model on a square lattice via the infinite PEPS (iPEPS) and the eXponential Tensor Renormalization Group (XTRG), respectively. The native two-dimensional iPEPS tensor network faithfully embodies the entanglement area law and helps settle long-standing debates regarding superconducting order in the ground state of the Hubbard model. The XTRG algorithm efficiently constructs thermal density matrices across a broad temperature range via a highly effective exponential-cooling protocol, thereby enabling detailed probes of pairing and pseudogap phenomena. Afterwards, we generate a comprehensive snapshot dataset which furnishes subsequent training of an optimized encoder-only transformer model. Our novel AI architecture features a Markovian interpretation of the attention design and affords improved parallelism. The collective technological stack opens a brand new avenue for exploring the rich physics of strongly correlated many-body systems.

Abstract

Das zweidimensionale (2D) Hubbard-Modell, dem weithin zugeschrieben wird, die wesentliche Physik hoch-T_c-Kupratverbindungen zu erfassen, hat seit der Entdeckung der Supraleitung in diesen Materialien enormes Forschungsinteresse auf sich gezogen. Trotz seiner oberflächlichen Einfachheit beherbergt das Hubbard-Modell aufgrund der starken Wechselwirkungen zwischen Ladungsträgern eine Fülle faszinierender Phänomene, darunter Antiferromagnetismus, das Pseudogap und unkonventionelle Supraleitung. Ebendiese Wechselwirkungen führen jedoch zu starken Korrelationen und machen kanonische perturbative Ansätze unzuverlässig. Mit den Fortschritten moderner Rechenhardware sind numerische Methoden — insbesondere Tensor-Netzwerk-Verfahren und Algorithmen der Künstlichen Intelligenz (KI) — zu unverzichtbaren Werkzeugen unserer Untersuchung geworden. Tensor-Netzwerke codieren die Amplitudeninformation von Vielteilchen-Quantenzuständen in einem Netzwerk miteinander verbundener Tensoren. Unter Ausnutzung des Verschränkungs-Flächengesetzes ermöglichen Tensor-Netzwerke effiziente, systematische und kontrollierbare Repräsentationen von Quantenzuständen, die andernfalls eine exponentiell große Anzahl von Parametern erfordern würden. In den vergangenen Jahrzehnten wurden verschiedene Tensor-Netzwerk-Ansätze entwickelt, etwa Matrixproduktzustände/-operatoren (MPS/MPO) für eindimensionale Systeme und Projected Entangled-Pair States (PEPS) für zweidimensionale Systeme, zusammen mit einer Vielzahl von Algorithmen zur Optimierung dieser Ansätze bei Null- wie auch bei endlichen Temperaturen. In den vergangenen Jahren haben KI-Technologien die Art und Weise, wie wir wissenschaftliche Daten analysieren, grundlegend verändert. Insbesondere die Transformer-Architektur hat herausragende Fähigkeiten im Bereich der Verarbeitung natürlicher Sprache demonstriert. Ihr Aufmerksamkeitsmechanismus eignet sich hervorragend zur Erfassung langreichweitiger Korrelationen in sequenziellen Daten und macht sie damit zu einem vielversprechenden Werkzeug für die Untersuchung stark korrelierter Vielteilchensysteme. Die Interpretierbarkeit des Aufmerksamkeitsmechanismus bietet darüber hinaus wertvolle Einblicke in die Wahrnehmung der zugrunde liegenden Physik durch die KI. In dieser Arbeit stellen wir eine umfassende numerische Toolchain zur Analyse stark korrelierter Gittersysteme zusammen. Als Anwendungsbeispiel untersuchen wir die Eigenschaften des 2D-Hubbard-Modells auf einem quadratischen Gitter bei Null- und endlichen Temperaturen mittels des unendlichen PEPS-Ansatzes (iPEPS) bzw. der eXponential Tensor Renormalization Group (XTRG). Das native zweidimensionale iPEPS-Tensornetzwerk bildet das Verschränkungs-Flächengesetz getreu ab und trägt dazu bei, langjährige Debatten über die Existenz einer supraleitenden Ordnung im Grundzustand des Hubbard-Modells zu klären. Der XTRG-Algorithmus konstruiert thermische Dichtematrizen über einen breiten Temperatur-bereich hinweg effizient mithilfe eines hochwirksamen exponentiellen Abkühlungsprotokolls und ermöglicht so detaillierte Untersuchungen von Paarungs- und Pseudogap-Phänomenen. Anschließend erzeugen wir einen umfassenden Snapshot-Datensatz, der als Grundlage für das anschließende Training eines optimierten Encoder-only-Transformer-Modells dient. Unsere neuartige KI-Architektur zeichnet sich durch eine Markovsche Interpretation der Attention-Struktur und eine verbesserte Parallelisierbarkeit aus. Die resultierende technologische Gesamtarchitektur eröffnet einen völlig neuen Zugang zur Erforschung der reichen Physik stark korrelierter Vielteilchensysteme.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Tensor Network, Artificial Intelligence, Hubbard Model, Superconductivity
• Themengebiete: 500 Naturwissenschaften und Mathematik ; 500 Naturwissenschaften und Mathematik > 530 Physik
• Fakultäten: Fakultät für Physik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 17. Dezember 2025
• 1. Bericht­erstatter:in: Delft, Jan von