Perception and production of non-verbal signals in autism

Robles Rosa, Marta (2025): Perception and production of non-verbal signals in autism. Dissertation, LMU München: Medizinische Fakultät

Abstract

Background: Autism is a neurodevelopmental condition including characteristic communication and social interaction difficulties, and restricted, repetitive patterns of behaviour, interests, or activities. Within the communication domain, differences in non-verbal signals, such as facial expressions or eye contact during a social interaction, have been reported in autistic individuals with regards to control individuals. Objectives: The general aim of this thesis was to explore non-verbal signals in autism, particularly, facial expressions and eye, head and hand movements. The specific objectives were (1) to explore how autistic individuals make predictions about facial expressions and how these predictions are used for social evaluation, and (2) to explore the potential of eye, head and hand movements as markers for autism in a virtual reality (VR) setting, to further use these data for pattern classification. Methods: Two studies were conducted. In Publication I, adult autistic individuals (n = 34) and adult control individuals (n = 34) were assessed using a social perception behavioural paradigm to explore facial expression predictions and their impact on social evaluation. In Publication II, eye, head, and hand movements were recorded in adult autistic individuals (n = 6) and adult control individuals (n = 13) during a VR shopping experience task, interacting with a virtual character acting as the supermarket assistant. This data was then analysed using machine learning techniques for pattern classification. Results: In Publication I, autistic individuals held less stereotypical predictions about facial expressions than controls. The use of such predictions for social evaluation (likability) did not differ significantly between groups, with autistic individuals relying on their predictions to evaluate others to a similar extent than controls. In Publication II, Significant differences between autistic and control individuals were observed in gaze fixation times and head movements during social interactions. Compared to control, autistic individuals showed reduced fixation times in the eye region of the virtual character and, instead, looked more to the background during social interactions. Utilising a VR system to capture non-verbal communication signals in autism for pattern classification is feasible. Conclusions: Autistic individuals present significant differences in perception and production of non-verbal signals. Non-verbal communication signals can be objectively captured in a VR-system with strong potential for pattern classification.

Abstract

Hintergrund: Autismus ist eine Störung der neuronalen Entwicklung, die durch charakteristische Schwierigkeiten in der Kommunikation und sozialen Interaktion sowie durch eingeschränkte, repetitive Verhaltensmuster, Interessen oder Aktivitäten gekennzeichnet ist. Im Bereich der Kommunikation wurden bei autistischen Personen Unterschiede in non-verbalen Signalen, wie im Gesichtsausdruck oder im Blickkontakt während sozialer Interaktionen, im Vergleich zu Kontrollpersonen festgestellt. Ziele: Das zentrale Ziel der vorliegenden Dissertation war es, non-verbale Signale bei autistische Personen zu untersuchen. Der Schwerpunkt lag hierbei auf Gesichtsausdrücken, sowie Augen-, Kopf- und Handbewegungen. Die spezifischen Ziele waren (1) zu erforschen, wie autistische Personen Vorhersagen über Gesichtsausdrücke treffen und wie diese Vorhersagen für soziale Bewertungen verwendet werden, und (2) das Potenzial von Augen-, Kopf- und Handbewegungen als Marker für Autismus in einer virtuellen Realität (VR)-Umgebung zu untersuchen, um diese Daten für Musterklassifikationen zu verwenden. Methoden: Es wurden zwei Studien durchgeführt. In Publikation I wurden Daten mittels eines Verhaltensexperiments zur sozialen Wahrnehmung von erwachsenen autistischen Personen (n = 34) und erwachsenen Kontrollpersonen (n = 34) erhoben, um Vorhersagen über Gesichtsausdrücke und deren Einfluss auf soziale Bewertungen zu untersuchen. In Publikation II wurden Augen-, Kopf- und Handbewegungen bei erwachsenen autistischen Personen (n = 6) und Kontrollpersonen (n = 13) während einer VR-Einkaufserfahrung aufgezeichnet. Versuchspersonen interagierten hierbei mit einem virtuellen Charakter, welcher die Funktion eines Supermarktmitarbeiters inne hatte. Diese Daten wurden anschließend mit maschinellen Lerntechniken zur Musterklassifikation analysiert. Ergebnisse: In Publikation I hatten autistische Personen weniger stereotypische Vorhersagen über Gesichtsausdrücke als Personen der Kontrollgruppe. Die Verwendung solcher Vorhersagen zur sozialen Bewertung (Sympathie) unterschied sich nicht signifikant zwischen den Gruppen, wobei autistische Personen in ähnlichem Maße wie Personen der Kontrollgruppe auf ihre Vorhersagen zur Bewertung anderer zurückgriffen. In Publikation II wurden signifikante Unterschiede zwischen autistischen und Kontrollpersonen in Bezug auf Blickfixierungszeiten und Kopfbewegungen während sozialer Interaktionen festgestellt. Im Vergleich zu Kontrollpersonen zeigten autistische Personen reduzierte Fixierungszeiten auf den Augenbereich des virtuellen Charakters. Häufiger schauten sie stattdessen während sozialen Interaktionen in den Hintergrund. Die Nutzung eines VR-Systems zur Erfassung non-verbaler Kommunikationssignale im Autismus zur Musterklassifikation zeigt sich als umsetzbar. Schlussfolgerungen: Autistische Personen weisen signifikante Unterschiede in der Wahrnehmung und Produktion non-verbaler Signale auf. Non-verbale Kommunikationssignale können objektiv in einem VR-System erfasst werden und zeigen ein großes Potenzial für die Musterklassifikation.

Abstract

Antecedentes: El autismo es una condición del neurodesarrollo que incluye dificultades características en la comunicación y la interacción social, y patrones restringidos y repetitivos de comportamiento, intereses o actividades. Dentro del dominio de la comunicación, se han documentado diferencias en las señales no verbales, como las expresiones faciales o el contacto visual durante una interacción social, en individuos autistas en comparación con individuos controles. Objetivos: El objetivo general de esta tesis fue explorar las señales no verbales en el autismo, particularmente, las expresiones faciales y los movimientos de los ojos, cabeza y manos. Los objetivos específicos fueron (1) explorar cómo las personas autistas hacen predicciones sobre las expresiones faciales y cómo estas predicciones se utilizan para la evaluación social, y (2) explorar el potencial de los movimientos de los ojos, cabeza y manos como marcadores de autismo en un entorno de realidad virtual (VR), para utilizar estos datos en la clasificación de patrones. Métodos: Se realizaron dos estudios. En la Publicación I, se evaluaron individuos autistas adultos (n = 34) e individuos controles adultos (n = 34) utilizando un paradigma conductual de percepción social para explorar las predicciones sobre expresiones faciales y su impacto en la evaluación social. En la Publicación II, se registraron los movimientos de los ojos, cabeza y manos de individuos autistas adultos (n = 6) e individuos controles adultos (n = 13) durante una tarea en un entorno de VR, que consistía en hacer una compra de supermercado, interactuando con un personaje virtual que hacía de vendedor. Estos datos se analizaron utilizando técnicas de aprendizaje automático para la clasificación de patrones. Resultados: En la Publicación I, los individuos autistas tuvieron unas predicciones sobre las expresiones faciales menos estereotípicas en comparación con los individuos controles. El uso de dichas predicciones para la evaluación social (agradabilidad) no difirió significativamente entre los grupos, es decir, los individuos autistas usaron sus predicciones para evaluar a los demás en la misma medida que lo hicieron los controles. En la Publicación II, se observaron diferencias significativas entre individuos autistas y controles en los tiempos de fijación de la mirada y en los movimientos de la cabeza durante las interacciones sociales. En comparación con los controles, los individuos autistas mostraron tiempos de fijación reducidos en la región de los ojos del personaje virtual y, en su lugar, miraron más hacia el fondo durante esas interacciones sociales con el vendedor. Utilizar un sistema de VR para capturar señales de comunicación no verbal en el autismo y para la clasificación de patrones es factible. Conclusiones: Los individuos autistas presentan diferencias en la percepción y producción de señales de comunicación no verbal. Las señales de comunicación no verbal pueden capturarse objetivamente en un sistema de VR y muestran un gran potencial para la clasificación de patrones.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: autism, non-verbal signals, facial expressions, emotion, virtual reality, machine learning
• Themengebiete: 600 Technik, Medizin, angewandte Wissenschaften ; 600 Technik, Medizin, angewandte Wissenschaften > 610 Medizin und Gesundheit
• Fakultäten: Medizinische Fakultät
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 21. Februar 2025
• 1. Bericht­erstatter:in: Falter-Wagner, Christine