Einzelprojekt

Sequenzverarbeitung in Mensch, Modell und Maschine

Förderkennzeichen: 01GQ2510
Fördersumme: 1.269.590 EUR
Förderzeitraum: 2025 - 2028
Projektleitung: Prof. Dr. Christian Leibold
Adresse: Albert-Ludwigs-Universität Freiburg, Fakultät für Biologie, Institut für Biologie III, Theoretische Systemneurowissenschaften
Hansastr. 9a
79104 Freiburg im Breisgau

Die bahnbrechenden Auswirkungen der künstlichen Intelligenz auf unser tägliches Leben sind größtenteils auf den Erfolg von großen Sprachmodellen (LLMs) und der Bild-Sprache-Foundation-Modelle zurückzuführen. Beide Technologien beruhen auf der Transformer-Architektur. Diese Transformer haben zwar das Anwendungsfeld der KI dramatisch erweitert, aber auch deren größte Schwächen und Risiken offenbart: Erstens wächst der Bedarf an Rechenressourcen (und Energie) derzeit schneller als die Hardware-Verbesserung und ist daher nicht nachhaltig. Zweitens sind viele funktionale Eigenschaften von Transformern nur unvollständig verstanden und schwer kontrollierbar – darunter die Tendenz zur Halluzination –, was ihre Anwendbarkeit für sicherheitsrelevante Anwendungen stark einschränkt. Daher besteht großer Bedarf die Transformer-Architektur weiter zu verbessern oder durch weniger ressourcenintensive und besser kontrollierbare Alternativen zu ersetzen. Ein grundlegender Baustein der Transformer-Architektur ist die Übersetzung von Eingabesequenzen in Ausgabesequenzen, eine Aufgabe, die traditionell auch im menschlichen und biologischen Gehirn untersucht und dort deutlich ressourceneffizienter durchgeführt wird. In diesem Pilotprojekt untersucht ein interdisziplinäres Team, wie menschliche Probanden, biologische neuronale Schaltkreise, neuroinformatische Modelle und alternative, biologisch besser interpretierbare KI-Modelle (rekurrente neuronale Netze, Zustandsraummodelle) Sequenzen verarbeiten. Ein besonderes Augenmerk liegt dabei auf Videosequenzen und Aufgaben, die typische Elemente enthalten, auf die Transformer spezialisiert sind. Dadurch werden die konzeptionellen Unterschiede zwischen biologischen Sequenzberechnungen und Transformern besser verstanden, mit dem Ziel, effizientere und besser erklärbare künstliche Sequenzverarbeitungsnetzwerke zu entwickeln, die für aktuelle KI-Anwendungen genutzt werden können.