Addressing data heterogeneity, scarcity, and training efficiency in privacy-preserving federated learning

Chen, Haokun (2025): Addressing data heterogeneity, scarcity, and training efficiency in privacy-preserving federated learning. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Over the past decade, deep learning has achieved significant breakthroughs in various domains, including computer vision and natural language processing, with applications spanning industries such as healthcare and manufacturing. However, the success of deep neural networks (DNNs) relies heavily on access to large-scale datasets, which can be difficult for individual organizations to acquire. The reasons behind are the complexities and costs for data collection and annotation at large scale. A straightforward solution is to centralize data from multiple organizations for training. However, this approach raises significant privacy concerns, as such data often contains sensitive or confidential information. Furthermore, regulations like the General Data Protection Regulation (GDPR) emphasize the importance of protecting user privacy in inter-organizational data exchanges. Moreover, transmitting large volumes of data introduces substantial computational overhead, further complicating the process. These challenges highlight the urgent need for methods that facilitate collaborative data use while ensuring privacy preservation. Federated learning (FL), which enables multiple parties to collaboratively train a DNN with the assistance of a central server, offers an effective solution to the aforementioned problem. Unlike traditional centralized learning, which requires collecting data from each party, FL eliminates the need to upload data for joint training. Instead, locally trained models are exchanged with a central server, which aggregates the knowledge from all of the uploaded models and then distributes a refined global model to each party. This approach allows each party to benefit from the collective contributions, ultimately enhancing the model performance. This thesis makes four key contributions to addressing challenges in federated learning, including data heterogeneity, data scarcity, and system convergence rate, while preserving client data privacy. For each contribution, we propose a novel method and empirically demonstrate its effectiveness within the relevant problem context. In this thesis, we address key challenges in federated learning (FL) related to data heterogeneity, foundation model adaptation, hyperparameter tuning, and communication efficiency. First, we tackle feature space heterogeneity by introducing a generative augmentation method that aligns diverse client distributions, validated on both public and real-world datasets. We then adapt parameter-efficient fine-tuning techniques for vision-language models in FL by designing a dual-stream adapter that captures both client-specific and client-agnostic knowledge. To optimize performance under limited resources and non-IID conditions, we propose an evolutionary hyperparameter tuning framework that enables efficient online optimization. Lastly, we address data scarcity and heterogeneity in One-Shot FL by personalizing pretrained latent diffusion models, enabling privacy-preserving synthetic data generation that improves performance across challenging domains such as medical and satellite imaging.

Abstract

In den letzten zehn Jahren hat das Deep Learning bedeutende Durchbrüche in verschiedenen Bereichen erzielt, darunter Computer Vision und die Verarbeitung natürlicher Sprache, mit Anwendungen in Branchen wie dem Gesundheitswesen und der Fertigung. Der Erfolg tief neuronaler Netzwerke (DNNs) beruht jedoch maßgeblich auf dem Zugang zu groß angelegten Datensätzen, die für einzelne Organisationen oft schwer zu beschaffen sind. Gründe dafür sind die Komplexität und die hohen Kosten der Datenerhebung und -annotation im großen Maßstab. Eine naheliegende Lösung besteht darin, Daten mehrerer Organisationen zentral zu sammeln und gemeinsam zu nutzen. Dieses Vorgehen wirft jedoch erhebliche Datenschutzbedenken auf, da solche Daten häufig sensible oder vertrauliche Informationen enthalten. Darüber hinaus betonen gesetzliche Regelungen wie die Datenschutz-Grundverordnung (DSGVO) die Bedeutung des Schutzes der Privatsphäre bei unternehmensübergreifendem Datenaustausch. Zusätzlich verursacht die Übertragung großer Datenmengen einen erheblichen rechnerischen Mehraufwand, was den Prozess weiter erschwert. Diese Herausforderungen verdeutlichen den dringenden Bedarf an Methoden, die eine kollaborative Datennutzung ermöglichen und gleichzeitig den Datenschutz gewährleisten. Föderiertes Lernen (Federated Learning, FL) bietet hierfür eine effektive Lösung. Es ermöglicht mehreren Parteien, mit Unterstützung eines zentralen Servers gemeinsam ein DNN zu trainieren. Im Gegensatz zum traditionellen zentralisierten Lernen, bei dem alle Daten zusammengeführt werden müssen, entfällt beim FL die Notwendigkeit, Daten zur gemeinsamen Modellbildung hochzuladen. Stattdessen werden lokal trainierte Modelle mit dem zentralen Server ausgetauscht. Dieser aggregiert das Wissen aus allen hochgeladenen Modellen und verteilt anschließend ein verfeinertes globales Modell an alle Teilnehmer. Auf diese Weise profitieren alle Beteiligten von den kollektiven Beiträgen, was letztlich die Modellleistung verbessert. Diese Arbeit leistet vier wesentliche Beiträge zur Lösung zentraler Herausforderungen im Bereich des föderierten Lernens, darunter Datenheterogenität, Datenknappheit und Konvergenzgeschwindigkeit, bei gleichzeitiger Wahrung der Datenprivatsphäre der einzelnen Teilnehmer. Für jeden dieser Beiträge schlagen wir eine neuartige Methode vor und belegen deren Wirksamkeit empirisch im jeweiligen Problemkontext. In dieser Arbeit befassen wir uns mit zentralen Herausforderungen des föderierten Lernens (FL), insbesondere im Hinblick auf Datenheterogenität, die Anpassung von Foundation Models, Hyperparameteroptimierung und Kommunikationseffizienz. Zunächst adressieren wir die Heterogenität im Merkmalsraum durch eine generative Augmentierungsmethode, die unterschiedliche Verteilungen der Clients ausgleicht und sowohl auf öffentlichen als auch auf realen Datensätzen validiert wurde. Anschließend passen wir parameter-effiziente Fine-Tuning-Techniken für Vision-Language-Modelle im FL-Kontext an, indem wir eine Dual-Stream-Adapter-Architektur entwerfen, die sowohl client-spezifisches als auch client-unabhängiges Wissen erfasst. Zur Optimierung der Modellleistung unter beschränkten Ressourcen und nicht-i.i.d. Bedingungen schlagen wir ein evolutionäres Hyperparameter-Tuning-Verfahren vor, das eine effiziente Online-Optimierung ermöglicht. Abschließend gehen wir das Problem der Datenknappheit und -heterogenität im One-Shot Federated Learning (OSFL) an, indem wir vortrainierte Latent Diffusion Models personalisieren. Dies erlaubt die datenschutzfreundliche Generierung synthetischer Daten, was die Leistung in anspruchsvollen Domänen wie der medizinischen und satellitengestützten Bildgebung deutlich verbessert.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Federated Learning
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 22. Oktober 2025
• 1. Bericht­erstatter:in: Tresp, Volker