KI im Krankenhaus: Die neue EU-Verordnung stellt Betreiber in die Pflicht

Die EU-KI-Verordnung 2024/1689 bringt erstmals verbindliche Pflichten für eine Vielzahl von Wirtschaftsakteuren beim Einsatz von KI-Systemen mit sich. Der Anwendungsbereich ist in Artikel 2 der Verordnung geregelt und umfasst nicht nur Hersteller, sondern auch Betreiber, Importeure, Händler und weitere Akteure entlang der gesamten Wertschöpfungskette. Damit sind insbesondere auch Krankenhäuser und andere Gesundheitseinrichtungen betroffen, die KI-Systeme einsetzen.

Was bislang vor allem technische Anforderungen betraf, erweitert sich nun zu einem ganzheitlichen Pflichtenkatalog mit ethischen, klinischen und haftungsrechtlichen Dimensionen. Dies erfordert eine neue Risikokultur im klinischen Alltag und ein erweitertes Verständnis von Verantwortung im Umgang mit KI.

Die wichtigsten Pflichten im Überblick

Benennung einer Aufsichtsperson: Jede Einrichtung muss eine verantwortliche Person mit technischer, klinischer und ethischer Kompetenz bestimmen. Diese Person hat das Recht und die Pflicht, Systeme im Zweifel zu stoppen („Not-Aus“).
Technische und organisatorische Maßnahmen: Ein Risikomanagementsystem ist Pflicht: Risiken müssen überwacht, dokumentiert, minimiert und bei Bedarf unverzüglich adressiert werden.
Transparenz und Nachvollziehbarkeit: KI-Entscheidungen müssen für Fachpersonal nachvollziehbar sein, auch bei Blackbox-Modellen. Mitarbeitende sind zu schulen und in kritische Reflexion einzubinden.
Dokumentationspflichten: Fehler, Eingriffe oder Abweichungen sind lückenlos festzuhalten und ggf. zu melden.
Qualifizierung und Schulung: Beschäftigte müssen ihre „KI-Kompetenz“ nachweisen. Regelmäßige Aus- und Weiterbildungen werden verbindlich.
Patientenaufklärung: Patient:innen haben Anspruch darauf zu erfahren, wenn KI im Behandlungsprozess eine Rolle spielt. Sie dürfen Entscheidungen anfechten und menschliche Kontrolle einfordern.

Blackbox- und adaptive Systeme im Fokus

Besonders kritisch sieht die Verordnung Systeme, deren Funktionsweise nicht ohne Weiteres nachvollziehbar ist. Auch wenn eine KI als Blackbox arbeitet, müssen Krankenhäuser sicherstellen, dass Nachvollziehbarkeit und Kontrolle gegeben sind. Noch mehr Aufmerksamkeit erfordern adaptive Systeme, die sich selbstständig weiterentwickeln. Diese verlangen nicht nur laufende technische Überprüfungen, sondern auch regelmäßige Nachschulungen des Personals, damit klinische Entscheidungen weiterhin sicher und verantwortungsvoll getroffen werden.

Auswirkungen auf Krankenhäuser

Für Gesundheitseinrichtungen bedeutet das umfangreiche Anpassungen. Das Qualitätsmanagementsystem muss erweitert werden, um neue Prozesse zur Überwachung und Risikoanalyse zu integrieren. Gleichzeitig wird die Zusammenarbeit mit Datenschutz, IT-Sicherheit und Ethikgremien noch enger. Ein Alleingang einzelner Abteilungen ist nicht mehr denkbar.

Besonders relevant ist auch das Haftungsrisiko: Versäumnisse bei Aufsicht oder Dokumentation können künftig als Behandlungsfehler gewertet werden. Für den Klinikalltag bedeutet das außerdem, eine neue Diskussionskultur zu etablieren. KI darf niemals unbeaufsichtigt „entscheiden“, sondern bleibt stets ein Werkzeug, das unter menschlicher Verantwortung steht.

Handlungsspielräume für die Praxis

Für Krankenhäuser bedeutet das, dass sie zunächst alle eingesetzten KI-Systeme prüfen und nach Risikokategorien einordnen müssen. Darauf aufbauend empfiehlt es sich, ein interdisziplinäres Gremium einzurichten, das Aufsicht, Ethik und IT-Sicherheit verbindet. Nur so lassen sich technische, rechtliche und klinische Fragen konsistent beantworten.

Ebenso wichtig ist es, die Mitarbeitenden mitzunehmen: Schulungen und Fortbildungen werden zu einem festen Bestandteil des Klinikalltags. Gleichzeitig muss eine Kultur geschaffen werden, in der Fehler offen dokumentiert und reflektiert werden, anstatt unter den Teppich gekehrt zu werden. Schließlich darf auch die Kommunikation mit den Patient:innen nicht zu kurz kommen. Sie haben ein Recht darauf, zu erfahren, wann KI an ihrer Behandlung beteiligt ist, und auf Wunsch eine menschliche Überprüfung einzufordern.

Fazit: Verantwortung neu entdecken

Die EU-KI-Verordnung 2024/1689 markiert einen Wendepunkt. Sie verlagert den Fokus von technischer Innovation auf verantwortungsvolle, menschenzentrierte Nutzung. Für Krankenhäuser ist das Chance und Verpflichtung zugleich: Sie müssen ihre Strukturen und Prozesse anpassen, um Haftung, Transparenz und Ethik gleichermaßen gerecht zu werden. Der Weg dahin ist anspruchsvoll, doch er stärkt langfristig das Vertrauen von Patient:innen wie auch von medizinischem Personal.