Machine learning driven argument mining

Fromm, Michael (2022): Machine learning driven argument mining. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

For thousands of years, humans have utilized argumentation to achieve a holistic understanding by presenting and contesting different views. Nowadays, achieving a common understanding in society becomes more challenging since disputes are often global, involve various interest groups, and the amount of relevant and often contradicting arguments grows correspondingly. On top of that, discussions no longer occur only on talk shows and at family tables but also online. As a result, relevant arguments can be found on online platforms such as social media, debate portals, or as comments on news portals. Therefore manual identification, retrieval, or even comparison of already extracted arguments becomes infeasible. This thesis focuses on solving these problems automatically by utilizing Machine Learning. The main goal is to enable methods to learn the concepts of argumentation automatically, without providing explicit rules and definitions of arguments and their relationships. We start with the problem of argument identification in heterogeneous text sources. The objective is to extract supporting and opposing arguments for highly controversial topics from various text sources, which can be found online. We identify that the relation between the topic and the arguments is crucial and investigate different possibilities to incorporate the topic information in the identification process. Furthermore, we focus on argument identification in peer reviews for scientific publications. We demonstrate that arguments in peer reviews have their peculiarities and that knowledge transfer from other domains is only possible to a limited extent. Therefore we provide the community with a newly developed peer-review dataset from multiple conferences. Our work shows that peer reviews contain a broad range of arguments, and these arguments can also be precisely and automatically identified with a suitable model. In addition, we highlight that arguments drive the peer-reviewing process in research and that these arguments are decisive for the publication decision. Next, we address the problem of argument retrieval. Even the most comprehensive collection of arguments is only helpful if the suitable arguments can be retrieved at the right time. The crucial challenge is identifying the relevant documents, covering all relevant aspects, and not repeating themselves. We demonstrate how Machine Learning methods can be helpful for this task and that the proper selection and design of the training task plays a crucial role for the performance. Lastly, we investigate the decisive argument property of strength or quality. Solid arguments help to convince others, to compromise, or provide for a better understanding. While other work often considers argument quality in isolation, we link it with further Argument Mining tasks, assess generalization across various text domains, study the impact of emotions, and evaluate the impact of assumptions made in the previous studies.

Abstract

Seit Tausenden von Jahren nutzen Menschen Argumente, um ein ganzheitliches Verständnis zu erreichen, indem unterschiedliche Ansichten dargelegt und bestritten werden. Allerdings wird es heutzutage immer schwieriger, ein gemeinsames Verständnis in der Gesellschaft zu erreichen. Debatten sind mittlerweile häufig global, involvieren verschiedene Interessengruppen und die Menge an relevanten und oft widersprüchlichen Argumenten wächst entsprechend. Hinzu kommt, dass Diskussionen nicht mehr nur in Talkshows und am Esstisch stattfinden, sondern auch online, und dass relevante Argumente auch auf Online-Plattformen wie Social Media, Debattenportalen oder als Kommentare auf Nachrichtenportalen zu finden sind. Daher ist eine manuelle Identifizierung, das Auffinden und der Vergleich bereits extrahierter Argumente nicht mehr praktikabel. Diese Arbeit konzentriert sich auf die automatische Lösung dieser Probleme mit Hilfe von maschinellem Lernen. Das Hauptziel ist, Verfahren zu entwickeln, welche die Konzepte der Argumentation automatisch erlernen, ohne explizite Regeln und Definitionen von Argumenten und deren Beziehungen zu liefern. Wir beginnen mit dem Problem der Identifizierung von Argumenten in heterogenen Textquellen. Hier sollen unterstützende und gegensätzliche Argumente für hochkontroverse Themen aus verschiedenen Textquellen extrahiert werden. Wir stellen fest, dass die Beziehung zwischen Thema und Argumenten von entscheidender Bedeutung ist. Es werden verschiedene Methoden empirisch untersucht, welche die Themeninformation in den Identifikationsprozess einbeziehen. Außerdem konzentrieren wir uns auf die Identifizierung von Argumenten in Peer-Reviews für wissenschaftliche Publikationen. Wir zeigen, dass Argumente in Peer-Reviews besondere Merkmale haben und dass ein Transfer aus anderen Domänen nur bedingt möglich ist. Deshalb entwickeln wir einen neuen Datensatz mit Peer-Reviews von mehreren Konferenzen und stellen ihn der Allgemeinheit zur Verfügung. Unsere Arbeit zeigt, dass Peer-Reviews ein breites Spektrum an Argumenten enthalten, und dass diese Argumente mit einem geeigneten Verfahren präzise und automatisch identifiziert werden können. Darüber hinaus legen wir dar, dass Argumente für den Peer-Review-Prozess und die Publikationsentscheidung essentiell sind. Schließlich gehen wir auf das Problem der Suche nach Argumenten ein. Selbst die umfangreichste Sammlung von Argumenten ist nur dann hilfreich, wenn die passenden Argumente zum richtigen Zeitpunkt abgerufen werden können. Die entscheidende Herausforderung besteht darin, die relevanten Argumente zu identifizieren, welche alle ausschlaggebenden Aspekte abdecken ohne sich dabei zu wiederholen. Wir zeigen, wie Methoden des maschinellen Lernens bei dieser Aufgabe hilfreich sein können, und dass die richtige Auswahl und Gestaltung des Trainings eine entscheidende Rolle für die Leistung der Argument-Suchmaschine spielt. Abschließend untersuchen wir die Stärke und Qualität von Argumenten. Solide Argumente helfen dabei, andere zu überzeugen, Kompromisse zu schließen oder schlichtweg für ein besseres Verständnis zu sorgen. Während andere Arbeiten die Qualität von Argumenten oft isoliert betrachten, kombinieren wir diese mit weiteren Problemstellungen des Argument Mining, bewerten die Übertragbarkeit über verschiedene Textdomänen hinweg, untersuchen den Einfluss von Emotionen und bewerten die Auswirkungen der in den vorherigen Studien getroffenen Annahmen.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Argument Mining, Argument Identification, Argument Retrieval, Machine Learning, Contextual Embeddings
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 29. Juli 2022
• 1. Bericht­erstatter:in: Seidl, Thomas