Computational approaches to enhance the integrity of social media

Bär, Dominik (2025): Computational approaches to enhance the integrity of social media: from detection to intervention. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Social media has profoundly transformed society. However, the proliferation of harmful content - such as hate speech, misinformation, and conspiracy theories - challenges platform integrity and poses a significant threat to society. Enhancing the integrity of social media is thus of utmost importance. In this dissertation, we propose a computational approach to improve the integrity of social media along three key dimensions: (1) the detection and understanding of harmful content, (2) audits of social media platforms, and (3) interventions to counter abusive behavior. To achieve this, we combine state-of-the-art methods from computer science with insights from the social sciences and explore each dimension through distinct case studies in three parts. The first part focuses on detecting and understanding harmful content. Specifically, we employ a machine learning approach to identify QAnon conspiracy theorists on Parler and profile their characteristics compared to other users. We then statistically analyze the diffusion dynamics of online rumors to gain deeper insights into how harmful content spreads on social media. The second part shifts attention to auditing social media platforms. Here, we examine how proprietary algorithms, often beyond societal control, can perpetuate biases. As a case study, we analyze the delivery of political ads on Meta during the 2021 German Federal Election. The third part explores interventions aimed at countering harmful content and fostering civil behavior on social media. This includes results from a large-scale, pre-registered field experiment evaluating the effectiveness of AI-generated counterspeech, employing large language models, in reducing online hate speech. By combining computational methodologies with interdisciplinary perspectives, this dissertation advances the understanding of social media vulnerabilities and delivers actionable solutions for cultivating safer digital environments. Scientifically, it demonstrates the practical application of machine learning, natural language processing, and social media analytics in detecting harmful content, auditing opaque algorithms, and evaluating scalable interventions. These contributions extend computational social science literature and inform strategies for algorithmic accountability and fair content delivery. On a societal level, the results emphasize the importance of transparency in social media platforms and highlight both the potential and risks of automated interventions, such as AI-generated counterspeech, in curbing online harms. Overall, this dissertation provides a roadmap for platform providers and policymakers committed to promoting equity, inclusivity, and democratic values within social media ecosystems.

Abstract

Soziale Medien haben unsere Gesellschaft tiefgreifend verändert. Die Verbreitung schädlicher Inhalte - wie Hassrede, Fehlinformationen und Verschwörungstheorien - stellt jedoch eine große Herausforderung für die Integrität von Plattformen dar und bedroht unsere Gesellschaft. Die Verbesserung der Integrität sozialer Medien ist daher von höchster Bedeutung. In dieser Dissertation schlagen wir einen computergestützten Ansatz vor, um die Integrität sozialer Medien in drei wesentlichen Bereichen zu stärken: (1) die Erkennung und das Verständnis schädlicher Inhalte, (2) Audits von Social-Media-Plattformen und (3) Interventionen zur Bekämpfung von schädlichem Verhalten. Um dies zu erreichen, kombinieren wir modernste Methoden der Informatik mit Erkenntnissen aus den Sozialwissenschaften und untersuchen jeden dieser Bereiche in separaten Fallstudien, die in drei Teilen dargestellt werden. Der erste Teil konzentriert sich auf die Erkennung und das Verständnis schädlicher Inhalte. Konkret verwenden wir maschinelles Lernen, um QAnon-Verschwörungstheoretiker auf der Plattform Parler zu identifizieren und deren Nutzungsverhalten im Vergleich zu "normalen" Nutzern zu analysieren. Anschließend analysieren wir statistisch die Dynamik der Verbreitung von Online-Gerüchten, um tiefere Einblicke in die Verbreitung schädlicher Inhalte in sozialen Medien zu gewinnen. Der zweite Teil beschäftigt sich mit Audits von Social-Media-Plattformen. Hier untersuchen wir, wie proprietäre Algorithmen, die sich oft der gesellschaftlichen Kontrolle entziehen, Verzerrungen verstärken können. Als Fallstudie analysieren wir die Verbreitung politischer Werbung auf Meta während der deutschen Bundestagswahl 2021. Der dritte Teil befasst sich mit Interventionen, um schädlichen Inhalten entgegenzuwirken und respektvolles Verhalten in sozialen Medien zu fördern. Dazu erörtern wir die Ergebnisse eines groß angelegten, präregistrierten Feldexperiments, in dem die Wirksamkeit von KI-generierter Gegenrede (Counterspeech) unter Verwendung großer Sprachmodelle (Large Language Models) bei der Reduzierung von Online-Hassrede untersucht wird. Durch die Kombination von Methoden aus der Informatik mit interdisziplinären Ansätzen erweitert diese Dissertation unser Verständnis für Schwachstellen von sozialen Medien und präsentiert Lösungen für die Schaffung eines sichereren digitalen Umfelds. Auf wissenschaftlicher Ebene demonstriert diese Arbeit die praktische Anwendung von maschinellem Lernen, natürlicher Sprachverarbeitung (Natural Language Processing) und Social-Media-Analysen zur Erkennung schädlicher Inhalte, der Prüfung von Algorithmen und der Bewertung skalierbarer Interventionen. Diese Beiträge erweitern die Computational Social Science Literatur und liefern wertvolle Erkenntnisse zum verantwortungsvollen Umgang mit Algorithmen und fairer Verbreitung von Inhalten auf Sozialen Medien. Auf gesellschaftlicher Ebene unterstreichen die Ergebnisse die Bedeutung von Transparenz auf Social-Media-Plattformen und verdeutlichen sowohl das Potenzial als auch die Risiken automatisierter Interventionen, wie z.B. KI-generierte Gegenrede, zur Eindämmung von Online-Hassrede. Insgesamt liefert diese Dissertation damit konkrete Vorschläge für Plattformbetreiber und politische Entscheidungsträger zur Förderung von Gerechtigkeit, Inklusivität und demokratischen Werten in sozialen Medien.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 28. Juli 2025
• 1. Bericht­erstatter:in: Feuerriegel, Stefan