Verarbeitung von Sequenzen mit Neuronalen Netzen

Illium, Steffen (2024): Verarbeitung von Sequenzen mit Neuronalen Netzen. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

Die Verarbeitung von geordneten Daten (Sequenzen) hat seit Längerem in vielen Bereichen der Informatik und damit auch in unserem alltäglichen Leben Einzug gehalten. Sei es bei offensichtlichen Anwendungsfällen, wie der Verarbeitung von Messreihen und der Vorhersage von Trends, z. B. in meteorologischen Systemen, als auch bei nicht offensichtlichen Anwendungen, wie der Interpretation nicht sequenzieller Datentypen. Wie in vielen anderen Teilbereichen der Informatik hat die Anwendung selbstlernender Algorithmen auch hier aufgrund ihrer ausgezeichneten Generalisierungsfähigkeiten jüngst zugenommen. Dabei ist das Lernen an viele Einflüsse gebunden, so eignen sich viele bekannte Algorithmen z. B. für einen konkreten Anwendungsfall, verfehlen aber ihr Leistungsziel bei artverwandten Datensätzen. Hier müssen passende Hyperparameter-Konfigurationen oder andere, geeignetere Architekturen gefunden werden. Die vorliegende Arbeit bearbeitet Fragestellungen aus diesem Teilbereich der Anwendung tiefer neuronaler Netzwerke im Kontext sequenzieller Daten (Deep Neural Network) in fünf Kapiteln. In der vorliegenden Arbeit wird zunächst die generelle Funktionsweise des Informationstransports im sog. Hidden Vector untersucht. Dies spielt bei der Verarbeitung von Sequenzen typischen Architektur sog. Recurrent Neural Network eine besondere Rolle. Dabei lässt sich eine harte Grenze der sog. Memory Horizon feststellen, die mit der Anzahl an verwendeten Neurons korreliert. Auch verwandte Zelle-Architekturen werden hierbei untersucht. Anschließend beschäftigt sich diese Arbeit mit alternativen Architekturen in der Sequenzverarbeitung im Bereich der Audio-Klassifizierung. So werden zwei Architekturen für die Verarbeitung von Mel-Spektrogrammen von Audio-Signalen aus Real-World-Datasets eingeführt und im Kontext bestehender Ansätze, unter Beachtung verschiedener Data Augmentation (DA)-Methoden, evaluiert. Dann werden etablierte Data Augmentation-Methoden in einem neuen Verfahren („Transport“) zusammengefasst und evaluiert. Erste Ergebnisse lassen die Hoffnung zu, dass dieser neue Ansatz nicht nur die Varianz steigern, sondern auch einen Leistungsgewinn im Bereich der Audio-Klassifizierung erzielen kann. Schließlich werden Self-Replicating Neural Network betrachtet, deren Lerndaten sich fortlaufend (sequenziell) verändern, bis diese auf sich selbst abgebildet werden können. Durch die Erweiterung dieses Forschungsfeldes auf Aufgaben aus dem Bereich des Deep Learning ist das Phänomen des natürlichen Dropout (Pruning), durch einen aus solchen Particle Network zusammengesetzten Organismus (Organism Network) zu beobachten.

Abstract

The processing of ordered data (sequences) has been used for a long time in many areas of computer science, and thus also in our everyday life. Be it in obvious use cases, such as the processing of series of measurements and the prediction of trends, meteorological systems e.g., as well as in non-obvious applications, such as the interpretation of non-sequential data types. As in many other subfields of computer science, the use of self-learning algorithms has recently increased due to their excellent generalization capabilities. Thereby, learning is bound to many influences, e.g., many known algorithms are suitable for a concrete use case, but fail to achieve their performance goal on related or slightly altered data sets. Then, only suitable hyperparameter configurations or entirely other more appropriate architectures must be found. This thesis addresses issues from this subfield of applying deep neural networks in the context of sequential data in five chapters. In this thesis, we first examine the general operation of information transport in hidden vectors. A typical problem when dealing with architectures (Recurrent Neural Networks), specialized in processing sequences. A hard limit, the so called memory horizon, can be found, which correlates with the number of neurons used. Related cell types are also examined here. Next, this thesis deals with alternative architectures in sequence processing in the field of audio classification. Thus, two candidates for processing mel-spectrograms of audio signals from real-world datasets are introduced and evaluated in the context of existing approaches, considering different data augmentation techniques. Then, established data augmentation methods are combined and evaluated in a newly proposed method („transport“). Initial results give hope that this new approach can not only increase variance, but also gain performance in audio classification. Finally, we consider self-replicating neural networks, which learn on continuously changing data sources (sequentially) until it can be mapped onto itself. By extending this field of research to tasks from the image

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Sequenzverarbeitung, Machine Learning, Neural Networks, Audio-Classification, Data Augmentation, Self-Replication, Pruning
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Deutsch
• Datum der mündlichen Prüfung: 2. August 2024
• 1. Bericht­erstatter:in: Linnhoff-Popien, Claudia