Detecting gender discrimination in natural language processing

Urchs, Stefanie (2025): Detecting gender discrimination in natural language processing. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Technology is an essential part of human life. It helps us be more productive and shapes the way we live. Modern technology is composed of algorithms, but modern algorithms not only benefit society, they can also harm it. By misrepresenting certain genders or reinforcing stereotypes, algorithms can contribute to discrimination. The field of natural language processing (NLP) is particularly prone to such issues. This doctoral thesis analyses gender discrimination in NLP and proposes a way to make it, specifically large language models (LLM), less gender discriminatory by improving their training data. The first part of this thesis defines what algorithmic gender fairness means. This definition is then applied to analyse the results of information retrieval methods and the results of search algorithms. This analysis reveals that the representation of different genders in algorithmic output remains insufficient, underscoring the need to improve current approaches. Building on the foundation of fairness in information retrieval and search, the focus then shifts to LLMs, a rapidly evolving technology that increasingly shapes everyday life. The model GPT-3 (Brown et al., 2020), as implemented in the system ChatGPT (OpenAI, 2022), is analysed with regard to how it responds to prompts in English and German from a female, male, or neutral perspective. The analysis of the prompt results shows that attempts to reduce gender discrimination after training can introduce new problems, for example, an over-representation of female personas in response to neutral prompts or an exaggerated emphasis on diversity in gendered prompts. These findings suggest that “downstream” mitigation, after model training, is not the right approach. Instead, mitigation should be done “upstream”, before training, by improving the quality of the training data itself. This is addressed in the third part of the thesis. The first publication of this part introduces a modular, language-agnostic pipeline designed to detect discrimination in English newspaper texts. This pipeline combines linguistic discourse analysis with computational techniques. Using information extraction methods, it identifies the actors mentioned in a text, how they are referred to (nomination), and how they are described (predication). Therefore, it is possible to analyse quantitative metrics for each gender in the text and, additionally, qualitative metrics like the sentiment towards actors of each gender. The pipeline is scaled up in a second publication to process an entire corpus of German newspaper articles. This work also publishes the most significant German newspaper corpus to date, spanning four decades and comprising 1.8 million texts. A third publication further extends the pipeline and utilises it to generate a gender-balanced corpus, drawing on the German newspaper corpus from the second publication.

Abstract

Technologie ist ein zentraler Bestandteil des modernen Lebens. Sie steigert unsere Produktivität und beeinflusst maßgeblich unsere Lebensweise. Gleichzeitig bergen algorithmische Systeme nicht nur Potenziale, sondern auch Risiken für die Gesellschaft. So können sie etwa Geschlechterrepresentationen verzerren oder bestehende Stereotype verstärken und dadurch Diskriminierung begünstigen. Besonders im Bereich der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) treten solche Problematiken verstärkt auf. Die vorliegende Dissertation befasst sich mit unterschiedlichen Teilbereichen des NLP und untersucht, wie geschlechtsspezifische Diskriminierung in diesen entstehen kann. Darüber hinaus wird ein Ansatz vorgestellt, um einen konkreten Bereich, Large Language Models (LLM), durch eine Analyse der Trainingsdaten weniger diskriminierend zu gestalten. Im ersten Teil wird das Konzept der algorithmischen Gender-Gerechtigkeit definiert. Diese Definition dient anschließend als Grundlage für die Analyse von Ergebnissen von Information-Retrieval- Systemen und Suchmaschinenergebnissen. Die Analyse zeigt, dass die algorithmische Repräsentation verschiedener Geschlechter nach wie vor unzureichend ist, was auf die Notwenigkeit der Verbesserung von gängigen Vorgehen hinweist. Auf Grundlage dieser Erkenntnisse richtet sich der Fokus im zweiten Teil der Arbeit auf LLMs, eine Technologie, die rasant in allen Lebensbereichen adaptiert wird. Konkret wird das LLM GPT- 3 (Brown et al., 2020), in seiner Implementierung im System ChatGPT (OpenAI, 2022) betrachtet. Es wird analysiert, wie sich das System bei Prompts verhält, die aus weiblicher, männlicher oder neutraler Perspektive formuliert sind, sowohl auf Deutsch als auch auf Englisch. Die Analyse zeigt, dass der Versuch, geschlechtsspezifische Diskriminierung nachträglich aus dem System zu entfernen, problematisch sein kann. Die Antworten des Systems neigten zu Überkorrekturen: Bei neutralen Prompts wurden vermehrt weibliche Personen generiert und Prompts, die eine weibliche oder männliche Sichtweise einnahmen, führten zur Überbetonung von Diversität. Diese Beobachtungen machen deutlich, dass eine Korrektur nach dem Modelltraining (“downstream”) nicht ausreicht. Stattdessen sollte bereits vor dem Training (“upstream”) angesetzt werden, durch eine gezielte Aufbereitung und Verbesserung der Trainingsdaten. Um das Problem der geschlechtsspezifischen Diskriminierung bereits vor dem Modelltraining anzugehen, befasst sich der dritte Teil der Dissertation mit sogenannten „upstream“-Mitigation- Ansätzen. In einer ersten Publikation wird eine modulare, sprach-agnostische Pipeline zur Erkennung von Diskriminierung in Zeitungstexten entwickelt. Ziel ist es, diskriminierende Muster frühzeitig in Trainingsdaten aufzudecken. Die Pipeline kombiniert Methoden der linguistischen Diskursanalyse mit informatischen Verfahren und nutzt Ansätze aus der Information Extraction, um die zentralen Akteur:innen eines Textes zu identifizieren, ihre Benennung (Nomination) sowie ihre Darstellung im Text (Prädikation) zu erfassen. Dadurch lassen sich sowohl quantitative Metriken im Bezug auf die Geschlechterverteilung im Text, als auch qualitative Aspekte wie das Sentiment gegenüber im Text genannten Geschlechtern analysieren. In einer anschließenden Publikation wird die Pipeline auf einen Korpus deutschsprachiger Zeitungstexte angewendet. Im Zuge dieser Publikation wird der bislang größte, öffentlich zugängliche, deutschsprachige Zeitungskorpus veröffentlicht. Dieser umspannt vier Jahrzehnte und besteht aus rund 1,8 Millionen Texten. Eine abschließende Publikation erweitert wiederum die Pipline der vorhergehenden Publikation und nutzt diese, um auf Grundlage des deutschprachigen Zeitungskorpuses einen Gender-ausgeglichenen Korpus zu generieren.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: gender discrimmination, NLP, discrimination detection, German newspaper data, algorithmic fairness, corpus analysis
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 8. Dezember 2025
• 1. Bericht­erstatter:in: Heumann, Christian