Ziel des Projekts ist die Entwicklung einer neuartigen, vom Gehirn inspirierten KI-Architektur, die mit deutlich weniger Rechenaufwand auskommt als heutige große Sprachmodelle wie ChatGPT. Diese Architektur besteht aus vielen kleinen, spezialisierten Modulen (kortikalen Makrosäulen), die flexibel miteinander zusammenarbeiten. Außerdem umfasst sie einen gemeinsamen globalen Arbeitsbereich (Thalamus) und eine Gedächtnisbank (Hippocampus). Dabei liegt der Fokus auf Spärlichkeit, Modularität und globaler Steuerung. Insgesamt wird die KI dadurch skalierbarer, transparenter und besser an neue Aufgaben anpassbar. Die modulare Architektur ist deutlich energieeffizienter als monolithische Ansätze. Sie bietet nicht nur den größten Akteuren, sondern auch kleineren Unternehmen Geschäftsmöglichkeiten. Die vielseitigen Agenten lassen sich durch die Kombination verschiedener Modalitäten für eine Vielzahl von Aufgaben einsetzen. Das Projekt untersucht das Gedächtnis, Bewusstsein und die kognitive Effizienz des Gehirns, indem es, inspiriert von diesen, seine modulare KI Architektur (mit kortikalen Säulen, Thalamus und Hippocampus) implementiert und untersucht. Insbesondere erforscht das Projekt den Aufbau und das Training von spezialisierten, kleinen Transformern, die einzeln und im Verbund Aufgaben lösen. Wesentlich dabei sind die Implementierung eines gemeinsamen globalen Arbeitsbereichs als zentrales Steuerungselement und die Untersuchung der Effekte von Spärlichkeit (gezielte Aktivierung einzelner Module) auf Energieverbrauch und Leistung. Die Gedächtnisbank, die den Hippocampus simuliert, reichert das System mit gespeichertem Wissen (Erinnerungen) an. Diese Struktur ermöglicht Skalierbarkeit, Effizienz und multimodale Verarbeitung und eignet sich daher für Anwendungen in Bereichen wie der medizinischen Entscheidungsunterstützung. Der Fokus des BHT im Projekt liegt auf der Entwicklung/Evaluierung kleiner Transformermodelle sowie der Implementierung eines medizinischen Agenten.

Ziel des SWAMBIT Teilvorhabens an der HU Berlin ist die Entwicklung eines vom Gehirn inspirierten Formalismus für künstliche Neuronen, des "Artificial Cortical Neuron" (ACN). Das ACN bildet wesentliche nichtlineare Eigenschaften kortikaler Pyramidenzellen ab und kann in künstlichen neuronalen Netzen austauschbar mit dem in Forschung und Industrie verbreiteten Perzeptron-Formalismus eingesetzt werden. In seinem einfachen Modus verhält es sich wie ein Standard-Perzeptron, bleibt also rückwärtskompatibel. Zugleich erlaubt der Formalismus die Abbildung zentraler kortikaler Mechanismen wie apikal-basaler Kopplung und kontextsensitive Modulation, die als Grundlage einiger Fähigkeiten neokortikaler Gehirne gelten. Die Arbeiten erfolgen in enger Zusammenarbeit mit der Berliner Hochschule für Technik.