Verbund

PRISMA-V - Primaten-inspiriertes, raum-zeitlich integriertes aktives Sehen mit Arbeitsgedächtnis

Die Integration von Neurowissenschaften und Künstlicher Intelligenz (KI) bietet große Potentiale für Synergien und Innovationen. Die Prinzipien der Informationsverarbeitung des Gehirns und die biologischen Grundlagen kognitiver Prozesse, wie z. B. Lernen, Gedächtnis, Sprache oder Kreativität, können eine reichhaltige Inspirationsquelle für die Entwicklung innovativer und ressourceneffizienter KI-Systeme liefern. Gleichzeitig eröffnen die Methoden und Modelle der KI neue Möglichkeiten für die Erforschung der Funktionsprinzipien des Gehirns und das Verständnis kognitiver Fähigkeiten.

Das Verbundprojekt PRISMA-V vereint Expertisen der Neurowissenschaften und des Maschinellen Lernens, um eine neurobiologisch inspirierte, ressourceneffiziente Computer-Vision-Architektur zu entwickeln. Das Projekt orientiert sich hierzu am Sehprozess von Primaten, der auf einer fokussierten Bildverarbeitung in der Fovea, aktiver Blicksteuerung und räumlichem Gedächtnis basiert. Das Projekt kombiniert diese biologischen Prinzipien für die Entwicklung einer neuartigen und effizienten Computer-Vision-Architektur und evaluiert diese im Hinblick auf ihre Performance gegenüber dem Stand der Technik. PRISMA-V übernimmt darüber hinaus die Koordination der Vernetzung der Neuro-KI Projekte der Förderinitiative.

Mögliche zukünftige Anwendungsfelder für die Projektentwicklungen sind Systeme, die eine energieeffiziente Bildverarbeitung für Echtzeitanwendungen benötigen, z. B. im Bereich des autonomen Fahrens, der Robotik oder mobiler Geräte.

Teilprojekte

Modellarchitektur und Evaluation

Förderkennzeichen: 01GQ2501A
Gesamte Fördersumme: 844.384 EUR
Förderzeitraum: 2025 - 2028
Projektleitung: Prof. Dr. Fabian Sinz
Adresse: Georg-August-Universität Göttingen, Fakultät für Mathematik und Informatik, Institut für Informatik
Goldschmidtstr. 7
37077 Göttingen

Modellarchitektur und Evaluation

Aktuelle KI-Systeme für Computer Vision haben bemerkenswerte Leistungen erzielt, haben jedoch einen entscheidenden Nachteil: Sie benötigen enorme Rechenressourcen und Energie, was ihren Einsatz für autonome Agenten und Edge-Geräte unpraktisch macht. Im Gegensatz dazu verarbeitet das visuelle System von Primaten komplexe visuelle Informationen mit bemerkenswerter Effizienz, Genauigkeit und Robustheit bei geringerem Ressourcenverbrauch. Zudem werden heutige Computer-Vision-Modelle typischerweise für statische Bild-/Videoverarbeitung entwickelt, anstatt von Grund auf für verkörperte, aktive Agenten konzipiert zu sein, die sich bewegen und ihre Umgebung erkunden. Diese grundlegende Diskrepanz begrenzt ihre Anwendbarkeit in realen Szenarien, in denen Agenten aktiv visuelle Informationen sammeln müssen. Im Gegensatz dazu koordiniert das visuelle System von Primaten dynamisch mit motorischen Funktionen, um mit der Umgebung zu interagieren. Das Ziel des Projekts ist die Entwicklung einer neurobiologisch inspirierten Computer-Vision-Architektur, die grundlegende Prinzipien des Primaten-Sehsystems integriert, um die Ressourceneffizienz aktueller Computer-Vision-Systeme erheblich zu verbessern. Das Projekt hat drei wissenschaftliche Ziele: 1) Aufbau und Optimierung einer Netzwerkarchitektur, inspiriert vom visuellen System der Primaten. 2) Identifizierung normativer Prinzipien, die den Repräsentationen in den verschiedenen Modellkomponenten zugrunde liegen könnten. 3) Evaluierung und Feinabstimmung des Modells hinsichtlich Performance sowie Passung zu neuronalen und Verhaltensdaten. Ziel des Projektes ist es, mit einem vom Gehirn inspirierten Ansatz wettbewerbsfähige Performance zu erzielen und dabei eine starke Repräsentationsähnlichkeit zur Biologie aufrechtzuerhalten. Dies würde aufzeigen, wie neurowissenschaftliche Erkenntnisse KI voranbringen und gleichzeitig unser Verständnis des biologischen Sehens vertiefen können.

Modellierung und neuronale Validierung

Förderkennzeichen: 01GQ2501B
Gesamte Fördersumme: 307.226 EUR
Förderzeitraum: 2025 - 2028
Projektleitung: Dr. Katrin Franke
Adresse: Eberhard-Karls-Universität Tübingen, Universitätsklinikum und Medizinische Fakultät, Klinik für Augenheilkunde, Forschungsinstitut für Augenheilkunde
Schleichstr. 12-16
72076 Tübingen

Modellierung und neuronale Validierung

Aktuelle KI-Systeme für Computer Vision haben bemerkenswerte Leistungen erzielt, haben jedoch einen entscheidenden Nachteil: Sie benötigen enorme Rechenressourcen und Energie, was ihren Einsatz für autonome Agenten und Edge-Geräte unpraktisch macht. Im Gegensatz dazu verarbeitet das visuelle System von Primaten komplexe visuelle Informationen mit bemerkenswerter Effizienz, Genauigkeit und Robustheit bei geringerem Ressourcenverbrauch. Zudem werden heutige Computer-Vision-Modelle typischerweise für statische Bild-/Videoverarbeitung entwickelt, anstatt von Grund auf für verkörperte, aktive Agenten konzipiert zu sein, die sich bewegen und ihre Umgebung erkunden. Diese grundlegende Diskrepanz begrenzt ihre Anwendbarkeit in realen Szenarien, in denen Agenten aktiv visuelle Informationen sammeln müssen. Im Gegensatz dazu koordiniert das visuelle System von Primaten dynamisch mit motorischen Funktionen, um mit der Umgebung zu interagieren. Das Ziel des Projekts ist die Entwicklung einer neurobiologisch inspirierten Computer-Vision-Architektur, die grundlegende Prinzipien des Primaten-Sehsystems integriert, um die Ressourceneffizienz aktueller Computer-Vision-Systeme erheblich zu verbessern. Das Projekt hat drei wissenschaftliche Ziele: 1) Aufbau und Optimierung einer Netzwerkarchitektur, inspiriert vom visuellen System der Primaten. 2) Identifizierung normativer Prinzipien, die den Repräsentationen in den verschiedenen Modellkomponenten zugrunde liegen könnten. 3) Evaluierung und Feinabstimmung des Modells hinsichtlich Performance sowie Passung zu neuronalen und Verhaltensdaten. Ziel des Projektes ist es, mit einem vom Gehirn inspirierten Ansatz wettbewerbsfähige Performance zu erzielen und dabei eine starke Repräsentationsähnlichkeit zur Biologie aufrechtzuerhalten. Dies würde aufzeigen, wie neurowissenschaftliche Erkenntnisse KI voranbringen und gleichzeitig unser Verständnis des biologischen Sehens vertiefen können.