The neural and behavioral basis of serial dependence in time perception

Cheng, Si (2024): The neural and behavioral basis of serial dependence in time perception. Dissertation, LMU München: Fakultät für Psychologie und Pädagogik

Abstract

Sequential bias influences decision-making by leveraging past experiences to shape current perception. This phenomenon has been extensively studied in the visual domain, however, only a handful of recent behavioral studies have explored trial-to-trial sequential effects on timing, and even fewer have linked these effects to specific neural signatures. This leaves a significant gap in our understanding of neural mechanisms underlying temporal sequential effects at play. Moreover, the underlying mechanisms of whether serial dependence arises from perceptual or post-perceptual processes remain debatable. One perspective posits it as a perceptual mechanism aiding perceptual stability and temporal continuity by integrating past and current information to filter out abrupt noises. Alternatively, recent insights link it to decision-related post-perceptual factors, with working memory playing a crucial role in integrating preceding stimuli with current sensory inputs for decision-making and motor plans. Therefore, this thesis aims to investigate the serial dependence effect in time perception. To begin with, Chapter 2 explores the impact of task measurements and task relevance on temporal sequential biases using a dual-feature random dot kinematogram. Participants encoded both features (duration and direction) and reported one based on a post-cue. The preceding duration-report trials were task-relevant, while the previous direction-report trials were considered task-irrelevant. Two experiments, employing time discrimination task and duration reproduction tasks, were conducted to further explore the influence of task measurements. Chapter 3 addresses sequential dependence in both motion direction and temporal perception concurrently. It utilized a unified experimental paradigm employing coherent motion stimulus for direction and time reproduction tasks. Additionally, two experiments varied the cue setting where participants were informed about the task before (pre-cue setting) or after (post-cue setting) the stimulus to further explore the influence of working memory underlying spatial and temporal serial dependence effect. Chapter 4 investigates the neural mechanisms underlying serial dependence in a duration reproduction task in conjunction with functional Magnetic Resonance Imaging (fMRI) scanning. Participants were required to remember the stimulus duration, and then either reproduce it or passively observe it, as instructed by the cue. This design allowed us to compare how the post-perceptual factors contribute to sequential dependence and further explore the neural representations underlying such bias. Our studies consistently identify an attractive sequential bias in time perception, where durations are perceived as longer following longer previous durations, and vice versa. In Chapter 2, task measurements significantly influence sequential dependence in time perception. The discrimination task shows consistent sequential effects regardless of whether it follows a timing or direction task. Conversely, the reproduction task exhibits a more pronounced sequential effect following the same timing task compared to the direction task. Findings in Chapter 3 reveal an attraction bias in time reproduction and a repulsion in direction estimation. The temporal attraction was more pronounced when the preceding task was also time-related, while direction repulsion remains unaffected by the preceding task. Additionally, both attraction and repulsion biases were intensified by the post-cue compared to the pre-cue. These results suggest that opposing sequential effects in spatial and temporal domains may originate from different processing stages linked to sensory adaptation and post-perceptual processes involving working memory. In Chapter 4, at the neural level, our results link striato-thalamo-cortical and performance monitoring networks to time perception and prior tasks, respectively. Notably, we observed that hippocampus activity was directly linked with the sequential bias on both prior tasks and prior duration. This hippocampal activation was particularly evident during the encoding phase following passive viewing trials and led to a decrease in sequential bias. These findings highlight the involvement of post-perceptual stages that link sensory representations to responses and underscore the critical role of active timing-related and memory networks in the temporal sequential dependence.

Abstract

Der sequenzielle Bias beeinflusst die Entscheidungsfindung, indem vergangene Erfahrungen genutzt werden, um die aktuelle Wahrnehmung zu formen. Dieses Phänomen wurde im visuellen Bereich intensiv erforscht. Allerdings haben nur wenige neuere Verhaltensstudien die Versuch-zu-Versuch-sequenziellen Effekte auf das Zeitverhalten untersucht, und noch weniger Arbeiten haben diese Effekte mit spezifischen neuronalen Signaturen in Verbindung gebracht. Dies führt zu einer erheblichen Wissenslücke hinsichtlich der neuronalen Mechanismen, die den zeitlichen sequenziellen Effekten zugrunde liegen. Zudem bleibt die Frage offen, ob die serielle Abhängigkeit aus perzeptuellen oder postperzeptuellen Prozessen resultiert. Ein Ansatz sieht die serielle Abhängigkeit als perzeptuellen Mechanismus, der die Wahrnehmungsstabilität und zeitliche Kontinuität unterstützt, indem frühere und aktuelle Informationen integriert werden, um plötzliche Störungen herauszufiltern. Alternativ wird die serielle Abhängigkeit mit entscheidungsbezogenen postperzeptuellen Prozessen in Verbindung gebracht, wobei das Arbeitsgedächtnis eine entscheidende Rolle bei der Integration früherer Reize mit aktuellen sensorischen Eingaben für die Entscheidungsfindung und Handlungsplanung spielt. Ziel dieser Arbeit ist es, den Effekt der seriellen Abhängigkeit in der Zeitwahrnehmung zu untersuchen. In Kapitel 2 wird untersucht, wie Aufgabenmessungen und Aufgabenrelevanz zeitliche Verzerrungen beeinflussen. Die Teilnehmenden kodierten sowohl Dauer als auch Richtung und gaben eines dieser Merkmale nach einem Hinweis (Post-Cue) an. Zwei Experimente – eine Zeitdiskriminationsaufgabe und eine Dauerreproduktionsaufgabe – wurden durchgeführt, um den Einfluss dieser Messungen zu erforschen. Kapitel 3 untersucht die serielle Abhängigkeit in der Bewegungsrichtung und Zeitwahrnehmung mit einem kohärenten Bewegungsstimulus. Zwei Experimente variierten, ob die Teilnehmenden vor (Pre-Cue) oder nach (Post-Cue) dem Stimulus über die Aufgabe informiert wurden, um den Einfluss des Arbeitsgedächtnisses zu testen. Kapitel 4 erforscht die neuronalen Mechanismen der seriellen Abhängigkeit bei einer Dauerreproduktionsaufgabe mittels fMRI. Die Teilnehmenden mussten die Stimulusdauer entweder reproduzieren oder passiv beobachten, was half, den Einfluss postperzeptueller Faktoren und die zugrunde liegenden neuronalen Repräsentationen zu untersuchen. Unsere Studien zeigen durchgängig einen attraktiven sequenziellen Bias in der Zeitwahrnehmung, bei dem Zeitspannen nach längeren vorherigen Zeitspannen als länger wahrgenommen werden und umgekehrt. In Kapitel 2 wurde festgestellt, dass Aufgabenmessungen einen signifikanten Einfluss auf die serielle Abhängigkeit in der Zeitwahrnehmung haben. Die Diskriminationsaufgabe zeigte konsistente sequenzielle Effekte, unabhängig davon, ob sie auf eine Zeit- oder eine Richtungsaufgabe folgte. Im Gegensatz dazu wies die Reproduktionsaufgabe einen stärkeren sequenziellen Effekt auf, wenn sie auf eine vorherige Zeitaufgabe folgte, im Vergleich zu einer vorherigen Richtungsaufgabe. Kapitel 3 zeigte einen Anziehungsbias in der Zeitreproduktion und einen Abstoßungsbias in der Richtungsschätzung. Der zeitliche Anziehungsbias war stärker ausgeprägt, wenn die vorherige Aufgabe ebenfalls zeitbezogen war, während die Richtungsabstoßung von der vorherigen Aufgabe unbeeinflusst blieb. Darüber hinaus verstärkten sich sowohl der Anziehungs- als auch der Abstoßungsbias durch den Post-Cue im Vergleich zum Pre-Cue. Diese Ergebnisse deuten darauf hin, dass entgegengesetzte sequenzielle Effekte im räumlichen und zeitlichen Bereich auf unterschiedliche Verarbeitungsstufen zurückgeführt werden können, die mit sensorischer Adaption und postperzeptuellen Prozessen zusammenhängen, welche das Arbeitsgedächtnis einbeziehen. In Kapitel 4 konnten wir auf neuronaler Ebene unsere Ergebnisse mit striato-thalamo-kortikalen Netzwerken und Performanzüberwachungsnetzwerken in Verbindung bringen, die jeweils für die Zeitwahrnehmung und die vorherigen Aufgaben verantwortlich sind. Insbesondere beobachteten wir, dass die Aktivität des Hippocampus direkt mit dem sequenziellen Bias sowohl für vorherige Aufgaben als auch für vorherige Zeitspannen verknüpft war. Diese hippocampale Aktivierung war besonders während der Enkodierungsphase nach passiven Beobachtungsdurchgängen ausgeprägt und führte zu einer Verringerung des sequenziellen Bias. Diese Erkenntnisse unterstreichen die Bedeutung postperzeptueller Stufen, die sensorische Repräsentationen mit Reaktionen verknüpfen, und heben die entscheidende Rolle von zeitbezogenen Netzwerken und Gedächtnisnetzwerken in der zeitlichen seriellen Abhängigkeit hervor.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Time perception; Serial dependence effect, Attraction; Repulsion; Task relevance; Working memory; Post-perceptual processes
• Themengebiete: 100 Philosophie und Psychologie ; 100 Philosophie und Psychologie > 150 Psychologie
• Fakultäten: Fakultät für Psychologie und Pädagogik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 10. Juli 2024
• 1. Bericht­erstatter:in: Shi, Zhuanghua