Teilprojekt eines Verbundes

Räumlich-zeitliche multimodale Bildrepräsentationen

Förderkennzeichen: 01ZU2602C
Fördersumme: 766.389 EUR
Förderzeitraum: 2026 - 2029
Projektleitung: Dr. Lina Felsner
Adresse: TUM School of Computation, Information and Technology, Lehrstuhl für Computational Imaging and AI in Medicine, I32
Boltzmannstraße 3
85748 Garching

Im Teilvorhaben "TUM-CIT - Räumlich-zeitliche multimodale Bildrepräsentationen" des Projekts ARISTOTLE werden innovative Methoden zur Analyse onkologischer Bilddaten entwickelt. Ziel ist es, longitudinale CT- und MRT-Aufnahmen in einem gemeinsamen analytischen Rahmen zusammenzuführen, um Krankheitsverläufe präzise über die Zeit abzubilden und für multimodale Entscheidungsprozesse in Tumorboards nutzbar zu machen. Hierfür werden Verfahren zur zeitlichen Harmonisierung, Scannormalisierung und deformierbaren Registrierung medizinischer Bilddaten entwickelt. Diese ermöglichen eine konsistente Analyse von Tumorentwicklung, Läsionen, Tumorlast und Therapieansprechen über mehrere Untersuchungszeitpunkte hinweg. Aufbauend darauf werden räumlich-zeitliche Repräsentationsmodelle entwickelt, die komplexe Zusammenhänge wie Tumormorphologie, Organkontext, Läsionsheterogenität und Progressionsmuster gemeinsam erfassen. Moderne KI-Ansätze, insbesondere transformerbasierte Modelle und kontrastives Lernen, werden eingesetzt, um robuste und patientenkonsistente Bildrepräsentationen zu erzeugen. Ein zentraler Aspekt ist die Interpretierbarkeit der gewonnenen Ergebnisse. Die entwickelten Repräsentationen werden mit klinischen Biomarkern und radiologischen Merkmalen verknüpft, um Transparenz, Nachvollziehbarkeit und klinische Relevanz sicherzustellen. Ergänzend wird eine automatisierte Metrik zur Bewertung der Fallkomplexität entwickelt, die Faktoren wie Tumorlast, Läsionsanzahl, räumliche Heterogenität und Therapieantwort berücksichtigt. Die entwickelten Methoden werden auf verschiedenen Prüfkohorten hinsichtlich Robustheit und Übertragbarkeit evaluiert. Ziel ist die Bereitstellung stabiler, interpretierbarer und standardisierter Bildrepräsentationen, die als Grundlage für weiterführende KI-gestützte Entscheidungsprozesse im Gesamtvorhaben dienen.