Teilprojekt eines Verbundes

Neuronale Modelle

Förderkennzeichen: 01GQ2511B
Fördersumme: 226.817 EUR
Förderzeitraum: 2025 - 2028
Projektleitung: Prof. Dr. Stefano Panzeri
Adresse: Universitätsklinikum Hamburg-Eppendorf, Zentrum für Molekulare Neurobiologie Hamburg (ZMNH)
Falkenried 94
20251 Hamburg

In jüngster Zeit haben künstliche Intelligenz (KI), insbesondere große Sprachmodelle (LLMs) sowie natürliche Sprachverarbeitung (NLP), enorme Fortschritte erzielt. Vor allem die Kombination von sprachbasierten Technologien und Conversational Agents hat große Aufmerksamkeit erhalten und könnte allgegenwärtig eingesetzt werden, beispielsweise in intelligenten Hörgeräten oder intelligenten virtuellen Assistenten. Trotz ihrer beeindruckenden Leistung (unter idealen Bedingungen) treten in vielen realen Situationen Probleme auf. In lauten Umgebungen führen Faktoren wie die Anwesenheit mehrerer Sprecher, Hintergrundgeräusche, Echos oder Nachhall häufig zu Fehlern. Menschen hingegen können ihre Aufmerksamkeit sehr effizient auf bestimmte Sprachsignale lenken und die attendierte Stimme verstehen, selbst wenn mehrere Klänge miteinander konkurrieren. Obwohl dieses sogenannte Cocktailparty-Phänomen seit mehr als einem halben Jahrhundert untersucht wird, werden die grundlegenden neuronalen Mechanismen erst seit kurzem verstanden. Darüber hinaus können die heutigen KI-basierten Sprachtechnologien keineswegs das gesamte Spektrum solcher Wahrnehmungseffekte reproduzieren. In einer interdisziplinären Zusammenarbeit zwischen Kerndisziplinen der KI (d. h. Sprach- und multimodale Signalverarbeitung sowie Mensch-KI-Kommunikation, Universität Hamburg) und Neurowissenschaften (d. h. Neuroinformatik und Computational Neuroscience, UKE) wir das Verbundprojekt neuro-inspirierte und crossmodale KI-basierte Sprachsignalverarbeitungsalgorithmen entwickeln, um das Cocktailparty-Phänomen zu erforschen. Um das einzigartige Synergiepotenzial dieser interdisziplinären Zusammenarbeit zu demonstrieren, wird das Projekt die Algorithmen in den Prototyp einer Smart-Glasses-Anwendung integrieren, um Menschen bei selektiven Höraufgaben zu unterstützen.