Teilprojekt eines Verbundes

Transformermodelle und medizinische Anwendung

Förderkennzeichen: 01GQ2505A
Fördersumme: 516.187 EUR
Förderzeitraum: 2025 - 2028
Projektleitung: Prof. Dr. Felix Gers
Adresse: Berliner Hochschule für Technik (BHT), Fachbereich VI, Informatik und Medien, Labor für Digitaltechnik
Luxemburger Str. 10
13353 Berlin

Ziel des Projekts ist die Entwicklung einer neuartigen, vom Gehirn inspirierten KI-Architektur, die mit deutlich weniger Rechenaufwand auskommt als heutige große Sprachmodelle wie ChatGPT. Diese Architektur besteht aus vielen kleinen, spezialisierten Modulen (kortikalen Makrosäulen), die flexibel miteinander zusammenarbeiten. Außerdem umfasst sie einen gemeinsamen globalen Arbeitsbereich (Thalamus) und eine Gedächtnisbank (Hippocampus). Dabei liegt der Fokus auf Spärlichkeit, Modularität und globaler Steuerung. Insgesamt wird die KI dadurch skalierbarer, transparenter und besser an neue Aufgaben anpassbar. Die modulare Architektur ist deutlich energieeffizienter als monolithische Ansätze. Sie bietet nicht nur den größten Akteuren, sondern auch kleineren Unternehmen Geschäftsmöglichkeiten. Die vielseitigen Agenten lassen sich durch die Kombination verschiedener Modalitäten für eine Vielzahl von Aufgaben einsetzen. Das Projekt untersucht das Gedächtnis, Bewusstsein und die kognitive Effizienz des Gehirns, indem es, inspiriert von diesen, seine modulare KI Architektur (mit kortikalen Säulen, Thalamus und Hippocampus) implementiert und untersucht. Insbesondere erforscht das Projekt den Aufbau und das Training von spezialisierten, kleinen Transformern, die einzeln und im Verbund Aufgaben lösen. Wesentlich dabei sind die Implementierung eines gemeinsamen globalen Arbeitsbereichs als zentrales Steuerungselement und die Untersuchung der Effekte von Spärlichkeit (gezielte Aktivierung einzelner Module) auf Energieverbrauch und Leistung. Die Gedächtnisbank, die den Hippocampus simuliert, reichert das System mit gespeichertem Wissen (Erinnerungen) an. Diese Struktur ermöglicht Skalierbarkeit, Effizienz und multimodale Verarbeitung und eignet sich daher für Anwendungen in Bereichen wie der medizinischen Entscheidungsunterstützung. Der Fokus des BHT im Projekt liegt auf der Entwicklung/Evaluierung kleiner Transformermodelle sowie der Implementierung eines medizinischen Agenten.