Lösen unterschiedliche Modalitäten des Stimulusmaterials eine vergleichbare affektive Verarbeitung aus? Lässt sich eine Abhängigkeit der zeitlichen Dynamik dieser Effekte für die verschiedenen Stimulusmodalitäten nachweisen? Sind an der affektiven Verarbeitung der verschiedenen Modalitäten dieselben Hirnregionen beteiligt?

In drei parallelen Unterprojekten wird der Frage nachgegangen, ob sich Unterschiede in der Verarbeitung affektiver Information in Abhängigkeit von der Modalität des Stimulusmaterials nachweisen lassen. Ein Teilprojekt befasst sich mit dem basalen Vergleich der räumlichen (fMRT) und zeitlichen (EEG) neurokognitiven Korrelate der Verarbeitung affektiver und nicht-affektiver verbaler und bildhafter Darstellungen konkreter Objekte. In einem weiteren Teilprojekt wird diese Modalitätsfrage auf der Ebene von Narrativen untersucht. Dazu wird die neuronale Verarbeitung empathischer und nicht-empathischer Bilder- und Hörgeschichten in Studien mit Erwachsen und mit Kindern im Alter von 4 bis 8 Jahren untersucht. Die Untersuchung erfolgt dabei mittels funktioneller Nah-Infrarotspektroskopie (fNIRS).

In einem dritten, interdisziplinär angelegten Teilprojekt bearbeiten Filmwissenschaftler und Neurowissenschaftler gemeinsam die Frage der Modulation der affektiven Reaktionen von Pathosszenen im Film (z.B. "Liebesszenen") durch Musik. Hierzu soll eine fMRT Studie die Veränderung der neuronalen Aktivität beim Betrachten der Filmszenen durch traurige und fröhliche Musik messen.