In jüngster Zeit haben künstliche Intelligenz (KI), insbesondere große Sprachmodelle (LLMs) sowie natürliche Sprachverarbeitung (NLP), enorme Fortschritte erzielt. Insbesondere die Kombination von sprachbasierten Technologien und Conversational Agents hat große Aufmerksamkeit erhalten und könnte allgegenwärtig eingesetzt werden, beispielsweise in intelligenten Hörgeräten oder in der Interaktion mit intelligenten virtuellen Assistenten. Trotz ihrer beeindruckenden Leistung (unter idealen Bedingungen) treten in vielen realen Situationen immer wieder Probleme auf. In lauten Umgebungen führen Faktoren wie beispielsweise die Anwesenheit mehrerer Sprecher, Hintergrundgeräusche oder Echos häufig zu Fehlern. Menschen hingegen können ihre Aufmerksamkeit sehr effizient auf bestimmte Sprachsignale lenken und die attendierte Stimme verstehen, selbst wenn mehrere Klänge miteinander konkurrieren. In einer interdisziplinären Zusammenarbeit zwischen KI (d. h. Sprach- und multimodale Signalverarbeitung sowie Mensch-KI-Kommunikation) und Neurowissenschaften (d. h. Neuroinformatik und Computational Neuroscience) wird das Projekt neuro-inspirierte und crossmodale KI-basierte Sprachsignalverarbeitungsalgorithmen entwickeln, um das Cocktailparty-Phänomen zu erforschen. Das Vorhaben der Universität Hamburg (UHH) fokussiert dabei auf der Umsetzung eines menschzentrierten Entwicklungsprozesses. Hierbei werden zunächst mittels Anforderungsanalysen die Bedürfnisse der Endnutzer mit qualitativen und quantitativen Methoden erfasst. Die UHH wird auf Basis eines crossmodalen neuronalen Netzwerks zur Sprachsignalverarbeitung ein multimodales Machine Learning (ML)-Modell mit bio-inspirierten, speicher- und recheneffizienten Netzwerkarchitekturen entwickeln und optimieren. Im Anschluss wird die UHH dieses iterativ in Prototypen der Smart-Glasses-Anwendung integrieren, die in einen Early-Demonstrator (Mitte des Projekts) und finalen Demonstrator (Ende des Projekts) bereitgestellt werden.