Selbstorganisation, Selbstausrichtung und Selbstanpassung in lernenden Multi-Agenten-Systemen

Ritz, Fabian (2025): Selbstorganisation, Selbstausrichtung und Selbstanpassung in lernenden Multi-Agenten-Systemen. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Die Kontrolle globaler Effekte, die aus lokalen Interaktionen entstehen, ist eine Herausforderung bei der Entwicklung von Multi-Agenten-Systemen, da Emergenz schwer vorherzusehen ist. Dennoch sollten sich autonome Agenten koordinieren, wenn Abhängigkeiten zwischen ihren Aktivitäten bestehen, und kooperieren, wenn es das globale Wohlergehen verbessert, selbst wenn sie individuelle Ziele verfolgen. Diese Arbeit untersucht, wie Agenten sich selbst organisieren, wenn ihnen diesbezüglich keine Regeln vorgeben sind, sondern ihnen die Entscheidungen überlassen werden. Die Agenten werden mittels Multi-Agent Reinforcement Learning realisiert, einer Variante des Machine Learning (ML), bei der mehrere Teile eines Systems (Agenten) durch wiederholte Interaktion mit einer Problemstellung und Beobachtung der Konsequenzen lernen. Daraus erwächst eine weitere Herausforderung: Auch wenn den Agenten bewusst ein hoher Freiheitsgrad gelassen wird, dürfen diese kein unerwünschtes oder gefährliches Verhalten entwickeln, sondern sie sollen ihr Verhalten selbstständig an bestimmten Regeln ausrichten. Wenn der gesamte Lebenszyklus solcher Agenten aus der Perspektive des Software Engineering betrachtet wird, können solche Agenten selbstanpassende Systeme realisieren, wenn ihnen entsprechende Meta-Ziele vorgegeben und in Feedbackschleifen berücksichtigt werden. Da diese Anpassung idealerweise automatisch erfolgt, ist es essentiell, den Ablauf vorab präzise definieren und zur Laufzeit kontrollieren zu können. Die zentrale These dieser Arbeit ist, dass lernende Agenten eigenständig Probleme auf lokaler und globaler Ebene lösen können. Die Arbeit besteht aus drei Abschnitten, die diese These in den folgenden Bereichen untersuchen: (i) Selbstorganisation, (ii) Selbstausrichtung und (iii) Selbstanpassung. Abschnitt (i) untersucht die zentrale These experimentell in einem unterspezifizierten Szenario, Abschnitt (ii) in einem genau spezifizierten. Abschnitt (iii) setzt die gewonnen Erkenntnisse in den Kontext eines Prozessmodells für die Entwicklung von ML-Komponenten, das deren gesamten Lebenszyklus abdeckt. Auf dieser Basis könnte künftig ein Self-Engineering konzipiert werden, bei dem lernende Agenten Teile des Entwicklungsprozesses selbst durchführen.

Abstract

Controlling global effects arising from local interactions is a challenge in engineering multi-agent systems because emergence is difficult to predict. Nevertheless, autonomous agents should always coordinate when there are dependencies between their activities, and cooperate when it improves global welfare, even if they have different goals. This thesis investigates how agents organize themselves when no according rules are imposed and the decision is left to them. The agents are realized with Multi-Agent Reinforcement Learning, a variant of Machine Learning (ML) in which multiple parts of a system agents learn by repeatedly interacting with a problem and observing the consequences. This results in another challenge: even if the agents are deliberately given a high degree of freedom, they should not develop undesirable or even dangerous behavior but align with applicable rules. Considering the entire lifecycle of such agents from a software engineering perspective, these agents can realize self-adaptive systems if additional meta-goals are defined and considered in feedback loops. Since the adaptation process should ideally be completely automated, it is essential to be able to precisely define this process in advance and control it at runtime. The central hypothesis of this thesis is that learning agents can solve problems on a local and global scale themselves. The thesis consists of three sections that investigate this hypothesis in the following areas: (i) Self-Organization, (ii) Self-Alignment and (iii) Self-Adaptation. Section (i) examines the central hypothesis experimentally in an underspecified scenario, section (ii) in a well-specified one. Section (iii) places the gained insights in the context of a process model for the development of ML components that covers their entire lifecycle. Based on our findings, a self-engineering could be designed in the future, where learning agents perform parts of the engineering process themselves.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Deutsch
• Datum der mündlichen Prüfung: 12. Februar 2025
• 1. Bericht­erstatter:in: Linnhoff-Popien, Claudia