Verbund

EmGAI - Einbettung generativer KI in die biomedizinische Forschung und klinische Anwendung – Erkenntnistheoretische, ethische, rechtliche und soziale Aspekte

Der techn(olog)ische und methodische Fortschritt der modernen Lebenswissenschaften eröffnet neue Lösungswege für aktuelle und künftige Herausforderungen unserer Gesellschaft. Dies wirft ethische, rechtliche und soziale Fragen auf und fordert teils bestehende Wertvorstellungen heraus. Aufgabe innovationsorientierter Forschungspolitik ist es, derartige zukunftsrelevante Fragen frühzeitig zu identifizieren und zu berücksichtigen sowie die Zusammenarbeit von relevanten Interessengruppen zu stärken.

Das Ziel des Verbundes EmGAI ist die Untersuchung der weitreichenden Herausforderungen von generativer KI bezogen auf die Bewertung des Wissens sowie der Auswirkungen auf Gesellschaft, Bioethik und Recht. Beleuchtet werden unterschiedliche Fragen aus den Bereichen: Wie verändert generative KI grundlegende Abläufe in Medizin, Forschung und Ausbildung – besonders im Hinblick auf Wissen, Autorität, Verantwortung, Vertrauen und Abhängigkeit? Welche sozialen Auswirkungen hat generative KI beim Einsatz in biomedizinischer Forschung und medizinischer Praxis? Kann sie vielleicht ethische Probleme mildern, lösen oder verschärft sie diese eher? Rechtliche Fragen stellen sich mit zunehmender Autonomie von KI-Anwendungen, z. B. Fragen der Verantwortlichkeit bei deren Einsatz. Anhand der Ergebnisse erarbeitet EmGAI Empfehlungen, wie generative KI verantwortungsvoll in medizinische Kontexte integriert werden kann. Diese sollen Entscheidungsträgern aus Wissenschaft, Politik und Praxis sowie der weiteren Öffentlichkeit Orientierung bieten. In verschiedenen Workshops werden die Ergebnisse der einzelnen Schritte der Teilprojekte zusammengeführt und integriert. In einem internationalen Workshop werden die finalen Ergebnisse disseminiert.

Damit leistet das Vorhaben einen wichtigen Beitrag zu den Zielen der BMFTR‑Förderrichtlinie zur Förderung von Forschungsprojekten zu ethischen, rechtlichen und sozialen Aspekten von Zukunftsthemen in den modernen Lebenswissenschaften sowie zur entwicklungsbiologischen Forschung und ihre mögliche Anwendung am Menschen. Ziel der Maßnahme ist es, relevante Fragen, Chancen und Risiken zu Zukunftsthemen fachübergreifend zu analysieren, Diskussionsprozesse wissenschaftlich zu fundieren sowie ethisch-rechtliche Empfehlungen zu deren Handhabung zu erarbeiten.

Teilprojekte

TU Dresden

Förderkennzeichen: 01GP2502A
Gesamte Fördersumme: 289.813 EUR
Förderzeitraum: 2026 - 2029
Projektleitung: PD Dr. Rico Hauswald
Adresse: Technische Hochschule Dresden, Philosophische Fakultät, Institut für Philosophie, Professur für Theoretische Philosophie
Helmholtzstr. 10
01069 Dresden

TU Dresden

Ziel des Verbundprojektes ist es, die Einbindung generativer künstlicher Intelligenz in medizinische Kontexte aus erkenntnistheoretischer, soziologischer, bioethischer und rechtswissenschaftlicher Perspektive zu untersuchen. Der Schwerpunkt des an der TU Dresden angesiedelten erkenntnistheoretischen Teilvorhabens liegt speziell auf epistemologischen Fragen. Es geht dabei von der Grundannahme aus, dass ein fundierter Diskurs über den verantwortungsvollen Einsatz von generativer KI in der Medizin nur dann sinnvoll geführt werden kann, wenn ihre Natur als genuin epistemische Technologie systematisch reflektiert wird. Das Projekt wird insbesondere drei Anwendungsfelder herausgreifen. Zum einen sollen epistemologische Aspekte des Einsatzes generativer KI in der klinischen Praxis thematisiert werden. Darüber hinaus soll der Einsatz generativer KI in der medizinischen Forschung in wissenschaftstheoretischer Perspektive analysiert werden. Drittens soll die erkenntnistheoretische Dimension des Einsatzes generativer KI in der medizinischen Ausbildung beleuchtet werden. In allen drei Kontexten bietet generative KI signifikante Chancen für die Erzeugung und Vermittlung von medizinischem Wissen und anderen epistemischen Gütern, sie bringt aber auch nicht unerhebliche Risiken mit sich. Das Projekt zielt darauf ab, sowohl diese Chancen als auch die Risiken zu beleuchten und abzuwägen sowie Möglichkeiten des verantwortungsvollen Umgangs mit generativer KI in medizinischen Kontexten zu untersuchen. Ein spezieller Schwerpunkt soll dabei auf der Untersuchung von Parallelen, Unterschieden und Wechselbeziehungen zwischen den genannten Anwendungsfeldern liegen. Konkret sollen diese Zusammenhänge mit den Mitteln der sozialen und normativen Erkenntnistheorie untersucht werden, wobei insbesondere Bezüge zur aktuellen Diskussion zu epistemischer Autorität sowie zur nicht-idealen Erkenntnis- und Wissenschaftstheorie hergestellt werden sollen.

Universität Erlangen-Nürnberg

Förderkennzeichen: 01GP2502B
Gesamte Fördersumme: 331.748 EUR
Förderzeitraum: 2026 - 2029
Projektleitung: Prof. Dr. Sabine Pfeiffer
Adresse: Friedrich-Alexander-Universität Erlangen-Nürnberg, Lehrstuhl für Soziologie (Technik - Arbeit - Gesellschaft) am Nuremberg Campus of Technology (NCT)
Fürther Str. 246 c
90429 Nürnberg

Universität Erlangen-Nürnberg

Ziel des Verbundprojektes ist es, die Einbindung generativer künstlicher Intelligenz in medizinische Kontexte aus erkenntnistheoretischer, soziologischer, bioethischer und rechtswissenschaftlicher Perspektive zu untersuchen. Der Schwerpunkt des an der FAU Erlangen-Nürnberg angesiedelten soziologischen Teilvorhabens liegt in der Untersuchung der sozialen Implikationen der Integration generativer KI in medizinischen und biomedizinischen Kontexten. Im Zentrum des Teilprojekts EmGAI-S steht die Analyse der Transformation bestehender Arbeitspraktiken, Rollen- und Aufgabenverteilungen sowie organisationaler Strukturen durch den Einsatz generativer KI. In diesem Rahmen wird mitunter untersucht, wie sich Kompetenzanforderungen, Tätigkeitsprofile und Verantwortungsbereiche im Zusammenspiel menschlicher und technischer Akteure neu konfigurieren und welche Folgen diese Reorganisation für professionelle Handlungslogiken und institutionalisierte Arbeitsarrangements hat. Ziel ist es, die sozialen Bedingungen, Dynamiken und Konsequenzen des Einsatzes generativer KI empirisch fundiert zu erfassen und theoretisch zu reflektieren. Die Ergebnisse von EmGAI-S liefern belastbare empirische Grundlagen für die erkenntnistheoretischen, ethischen und rechtlichen Teilprojekte und leisten zugleich einen eigenständigen Beitrag zur soziologischen Forschung über die Transformation von Arbeit, Organisation und Verantwortung im Kontext digitaler und KI-basierter Technologien. So trägt das soziologische Teilprojekt wesentlich zu einem interdisziplinären Verständnis der Herausforderungen und Potenziale generativer KI in der Medizin bei.

Universität Hannover

Förderkennzeichen: 01GP2502C
Gesamte Fördersumme: 306.145 EUR
Förderzeitraum: 2026 - 2029
Projektleitung: Prof. Dr. Malte Kramme
Adresse: Leibniz Universität Hannover, Juristische Fakultät, Institut für Rechtsinformatik, Lehrstuhl für Bürgerliches Recht und IT-Recht
Königsworther Platz 1
30167 Hannover

Universität Hannover

Ziel des Verbundprojektes ist es, die Einbindung generativer künstlicher Intelligenz in medizinische Kontexte aus erkenntnistheoretischer, soziologischer, bioethischer und rechtswissenschaftlicher Perspektive zu untersuchen. Das rechtliche Teilprojekt zielt vor allem darauf ab, medizinischen Skakeholdern einen rechtssicheren Einsatz von generativer KI zu ermöglichen. Dabei wird ein Fokus auf vier Themenbereiche gelegt: 1) LLMs zwischen Therapiehoheit und Delegation ärztlicher Entscheidungen: Es wird analysiert, welche Entscheidungsfelder rechtlich und ethisch unantastbar ärztlicher Kompetenz zugehören und wie technische Assistenzsysteme in diesen Kontext integriert werden können. Ist es denkbar, dass KI-Entscheidungen an die Stelle ärztlicher Entscheidungen treten, wenn sie genauso sicher sind? Oder muss ein Rest an Autonomie beim ärztlichen Personal verbleiben? Welche Auswirkungen ergeben sich daraus für Innovationen? 2) LLMs als dynamische Systeme: Bei LLM-basierten KI-Systemen handelt sich regelmäßig um dynamische Systeme, die sich ständig weiterentwickeln. Hingegen setzt der bestehende medizinprodukterechtliche Rechtsrahmen punktuelle Zertifizierungen, so dass sich die Frage stellt, ob der regulatorische Rahmen mit der technischen Entwicklung Schritt hält. 3) LLMs bei der Patientenaufklärung: Sind bei der Anwendung LLM-gestützter Technologien Besonderheiten hinsichtlich der Aufklärung zu beachten, vergleichbar mit der Verwendung von Neulandmethoden? 4) LLMs und Haftung: Inwiefern muss das Autonomierisiko selbstlernender Systeme und die fehlende Erklärbarkeit von Entscheidungen von KI-Systemen ärztlicherseits berücksichtigt werden, um Haftung auszuschließen?

LMU München

Förderkennzeichen: 01GP2502D
Gesamte Fördersumme: 230.652 EUR
Förderzeitraum: 2026 - 2029
Projektleitung: PD Dr. Martin Hähnel
Adresse: Ludwig-Maximilians-Universität München, Fakultät für Philosophie, Wissenschaftstheorie und Religionswissenschaft, Professur für Ethik der Künstlichen Intelligenz
Geschwister-Scholl-Platz 1
80539 München

LMU München

Ziel des Verbundprojektes ist es, die Einbindung generativer künstlicher Intelligenz in medizinische Kontexte aus erkenntnistheoretischer, soziologischer, bioethischer und rechtswissenschaftlicher Perspektive zu untersuchen. Der Schwerpunkt des an der LMU München angesiedelten Teilvorhabens liegt speziell auf bioethischen Fragen. Es geht dabei um die Identifikation und Analyse der kontextspezifischen sowie kontextübergreifenden ethischen Herausforderungen, die durch den Einsatz von GenAI entstehen. Das Projekt geht vor allem der Frage nach, ob diese Technologien bestehende ethische Probleme mildern, lösen oder verschärfen bzw. neue Dilemmata erzeugen. Ein besonderer Fokus liegt auf neuartigen Entwicklungen wie biologischen Sprachmodellen (BLMs) und deren Implikationen für Fragen von Enhancement, Therapie, Dual Use, Biosecurity und Governance. Auf dieser Grundlage entwickelt das Teilprojekt praxisnahe, handlungsleitende Empfehlungen und ethische Orientierungsrahmen, um eine verantwortungsvolle, normativ reflektierte Integration von GenAI in Forschung, Versorgung und Ausbildung zu ermöglichen. Dabei werden sowohl klassische ethische Prinzipien als auch tugendethische Ansätze berücksichtigt und relevante Stakeholder aktiv einbezogen.