Der rechtliche Rahmen für die Anwendung von KI in der Medizin
Künstliche Intelligenz (KI) ist mittlerweile auch aus dem radiologischen Alltag nicht mehr wegzudenken. Ob bei der Scan-Vorbereitung und Bildverarbeitung, der Befundung oder der Berichterstellung – die Einsatzgebiete für KI in der Radiologie sind ebenso vielfältig wie die rechtlichen Rahmenbedingungen. Doch was ist, wenn die KI einen Fehler macht? Wer haftet? Was sagt die aktuelle Rechtsprechung? Welche gesetzlichen Rahmenbedingungen, aber auch welche Gesetzeslücken sollte man kennen und beachten? Wo liegen eventuelle Fallstricke und was muss man für die Zukunft bedenken? Antworten auf diese und viele andere Fragen gab Professor Dr. Bernd Halbe, Rechtsanwalt und Fachanwalt für Medizinrecht mit eigener Kanzlei in Köln und Berlin, Honorarprofessor an der Universität zu Köln und Fachjustiziar zahlreicher Verbände, im Rahmen einer gut besuchten Session der Online-Veranstaltungsreihe „Zukunft Teleradiologie“.
Gleich zu Beginn seines Vortrags wies Professor Halbe auf ein Dilemma hin: „Mit der Künstlichen Intelligenz haben wir eine rasante Entwicklung auf technischer Ebene. Und immer dann, wenn ein Informationsfluss immer schneller und immer transparenter im Rahmen der Digitalisierung stattfindet, wachsen natürlich auch die Gefahren von unautorisierten Zugriffen oder missbräuchlicher Verwendung von Daten. Theoretisch müsste sich das Recht deshalb genauso schnell weiterentwickeln wie die Technik, doch leider funktioniert das in der Praxis nicht. Die Technik ist im Moment meist einen Schritt voraus.“
Status quo: die Rahmenbedingungen
Dennoch müsse und werde auch jetzt Recht gesprochen, denn natürlich gebe es bestehende rechtliche Rahmenbedingungen, auf die man zurückgreifen könne: „Neben zwei neueren Rahmenbedingungen auf EU-Ebene, dem sogenannten AI Act und der EU-Produkthaftungsrichtlinie vom 23. Oktober 2024, haben wir da das Medizinprodukterecht“, erklärte Professor Halbe. Gemäß dem Medizinproduktegesetz (MPG) werde eine KI-basierte Software dann als Medizinprodukt eingeordnet, wenn sie eigenständig einen der in Art. 2, Nr. 1 der Verordnung genannten spezifischen medizinischen Zweck erfülle. Dabei komme es nicht darauf an, dass die Software, beispielsweise mittels Sensoren, „im oder am menschlichen Körper“ wirke.
„Wir haben es hier also mit einem sehr weiten Begriff zu tun, unter den viele Situationen fallen“, weiß Professor Halbe. Die Zweckbestimmung treffe der Hersteller, indem er eine bestimmte Kennzeichnung vornehme und eine bestimmte Gebrauchsanweisung sowie Werbe- und Verkaufsmaterialien erstelle.
Haftungsrecht
Neben den beiden europäischen Verordnungen und dem Medizinprodukterecht, spiele das Haftungsrecht bei der Beurteilung der Haftungsfrage, wenn die KI sich irrt, eine Rolle. Professor Halbe erklärte im Rahmen seines Vortrags allerdings, dass es kein eigenes Haftungsregime für Schäden in Folge von KI-Einsätzen gebe. Auch hier müsse daher auf bestehende Haftungsregelungen zurückgegriffen werden. Zu unterscheiden seien in diesem Kontext maßgeblich vier Aspekte: „Die Haftung aufgrund von Behandlungsfehlern, die Haftung aufgrund von Aufklärungsfehlern, die Haftung des Betreibers einer medizinischen Einrichtung (Organisationsverschulden) sowie das Produkthaftungsrecht“, so der Experte. Die aktuelle Situation beschrieb Professor Halbe so: „Verwendet ein Arzt oder eine Ärztin ein KI-basiertes Medizinprodukt zur Diagnose oder Therapie und erleidet der Patient dadurch einen Schaden, kann der Behandelnde zum Schadensersatz nach Vertrag (Behandlungsvertrag; § 280 Abs. 1 i.V. mit §§ 630a ff. BGB) oder nach Deliktsrecht (§ 823 BGB) verpflichtet sein.“ Es könne aber auch sein, dass der Behandelnde doppelt haftet, quasi aus Vertrag- oder aus Deliktsrecht, je nachdem, wie die einzelne Konstellation aussieht.
Weiter führte Professor Halbe aus: „Der Arzt hat die primäre Pflicht zur sorgfältigen Behandlung. Dies umfasst auch die Pflicht, Geräte so einzusetzen, dass durch sie keine Schäden entstehen. Trifft ein Gerät Entscheidungen jedoch völlig autonom (Stichwort: Autonomierisiko) ist dies für den Arzt in der Regel nicht steuer- und erkennbar. Dann handelt der Arzt auch nicht entgegen seiner Sorgfaltspflicht und somit trifft ihn in der Regel bei Verwirklichung eines Autonomierisikos kein Verschulden. Der Arzt hat in diesem Fall seine Pflichten zur sorgfältigen Behandlung erfüllt, ein Behandlungsfehler ist nicht gegeben.“
Aufklärung ist das A und O
Ein weiterer Aspekt, auf den Professor Halbe in diesem Zusammenhang hinwies, war die Aufklärungspflicht des Arztes: Nach § 630f Abs. 2 BGB sei in der Patientenakte zu dokumentieren, dass der Arzt oder die Ärztin den Patienten persönlich informiert und aufgeklärt hat. In dem Paragrafen stehe auch, was in der Patientenakte zu dokumentieren sei – nämlich, dass aufgeklärt wurde, der Ort und Zeitpunkt sowie der wesentliche Inhalt des Aufklärungsgesprächs. Sofern ein (standardisierter) Aufklärungsbogen verwendet werde, sei dieser der Patientenakte beizufügen. Für den Fall, dass auf eine Aufklärung verzichtet wurde, beispielsweise weil der Patient bereits aufgeklärt gewesen sei oder von sich aus darauf verzichtet habe (Stichwort eigenverantwortliche Entscheidung), sei dies ebenfalls zwingend zu dokumentieren. Denn: „Ohne ordnungsgemäße und vollständige Dokumentation wird ein Haftungsprozess aufgrund geltender Beweislastverteilung in aller Regel nicht zugunsten des Arztes ausgehen“, warnt Professor Halbe.
Auch wenn KI schon länger und immer öfter eingesetzt wird ist sie noch kein Standard, Deshalb dürfe im Rahmen der Aufklärungspflicht das Thema Neulandmethode nicht außer Acht gelassen werden. Einem BGH-Urteil vom 13. Juni 2006 (Az.: VI ZR 323/04) zu Folge, ist „[d]ie Anwendung neuer Verfahren […] für den medizinischen Fortschritt zwar unerlässlich. Am Patienten dürfen sie aber nur dann angewandt werden, wenn diesem zuvor unmissverständlich verdeutlicht wurde, dass die neue Methode die Möglichkeit unbekannter Risiken birgt. Der Patient muss in die Lage versetzt werden, für sich sorgfältig abzuwägen, ob er sich nach der herkömmlichen Methode mit bekannten Risiken behandeln lassen möchte oder nach der neuen Methode unter besonderer Berücksichtigung der in Aussicht gestellten Vorteile und der noch nicht in jeder Hinsicht bekannten Gefahren.“ Erfolge eine solche Aufklärung nicht, hafte der Arzt aufgrund eines Aufklärungsfehlers.
Doch Achtung: Sobald der Einsatz von KI nicht mehr dem medizinischen Neuland zuzuordnen sei, sondern zum medizinischen Standard gehöre, könne der Arzt in der Aufklärung nicht mehr auf unbekannte Risiken verweisen! Umgekehrt müsse er dann die KI aber auch als etablierte Standard-Methode einsetzen.
„Mit der Künstlichen Intelligenz haben wir eine rasante Entwicklung auf technischer Ebene. Mit dem im Rahmen der Digitalisierung immer schneller werdenden Informationsfluss, wächst die Gefahr, unautorisierter Zugriffe oder der missbräuchlichen Verwendung von Daten.“
Professor Dr. Bernd Halbe, Rechtsanwalt
Beweislast
Mit der Frage der ärztlichen Haftung hängt laut Professor Halbe eng das Thema Beweislast zusammen. Dabei stelle sich die Frage, ob der Arzt oder der Patient das Risiko des Einsatzes von KI trägt. Nach aktuellem Haftungsrecht müsse der Patient beweisen, dass, im Falle eines Schadens durch eine KI-Entscheidung, die KI die Ursache dafür ist. Dies sei aber aufgrund der Verschachtelung der KI-Systeme in der Regel nicht möglich. „Ergo liegt das Risiko beim Patienten, was von vielen allerdings als misslich angesehen wird“, weiß Professor Halbe. Zum Teil werde deshalb in der Fachwelt die Auffassung vertreten, dass aufgrund der autonomen Entscheidungen eines intelligenten Medizinprodukts bereits die Inbetriebnahme der Software als vorwerfbares Verhalten des Arztes dienen kann und somit das Risiko beim Arzt liege.
Professor Halbe vermutete jedoch, dass sich diese Auffassung nicht durchsetzen wird. Nach § 630h Abs. 1 BGB liegt dann ein Fehler des Arztes vor, wenn sich ein allgemeines Behandlungsrisiko verwirklicht hat, das für den Behandelnden voll beherrschbar war und zu einem Gesundheitsschaden des Patienten geführt hat. „Doch kann die KI für den Arzt voll beherrschbar sein“, fragte Professor Halbe seine Zuhörer. Schließlich sei der Arzt kein Programmierer. Auch habe er keinen regelmäßigen Einblick in die Software. „Sobald KI-Systeme voneinander lernen und miteinander vernetzt sind, können auch die Anbieter nur noch bedingt die Entscheidung der Systeme nachvollziehen“, so der Experte und verwies damit auf das sog. Black-Box-Problem.
Doch was ist dann die Lösung? Die Produkthaftung des Anbieters? Die neuen EU-Verordnungen/Richtlinien gehen in diese Richtung. Sie übertragen die Gefahren auf die Hersteller, für die sie Überwachungs- und Aufsichtspflichten vorsehen. Ärztinnen und Ärzte seien dann auf der sicheren Seite, wenn sie sich penibel an die Betriebsanleitungen des Herstellers hielten und die KI ausschließlich für die dort hinterlegten Zwecke nutzten. Allerdings befänden sich die neuen EU-Verordnungen/Richtlinien noch in der Umsetzung. „Daher fehlt es hier noch an aussage- und rechtskräftigen gerichtlichen Entscheidungen“, so Professor Halbe. Er ist sich allerdings sicher, dass sich dies bald ändern wird.
Der EU AI Act ist ein umfassendes Regelwerk zur Regulierung von Künstlicher Intelligenz, mit dem Ziel, Grundrechte zu schützen, Innovationen zu fördern und Vertrauen in KI-Systeme aufzubauen.
Datenschutzrecht
Wann immer es um den Umgang mit personenbezogenen Daten geht, kommt auch des Deutschen liebstes Kind, der Datenschutz, ins Spiel. Wie Professor Halbe im Rahmen seines Vortrags ausführte, gelten die Grundsätze für die Verarbeitung personenbezogener Daten nach Art. 5 der DSGVO ebenfalls für KI-Systeme. Auch hier seien die zentralen datenschutzrechtlichen Grundsätze
Dies gelte ganz besonders bei Cloud Systemen. „Der Nutzer der Systeme sollte stets wissen, wie sicher diese sind und welche Daten gespeichert werden. Ebenfalls sollte sich umfassend um den Schutz der Daten, also deren Verschlüsselung, gekümmert werden. Und natürlich muss sich der Arzt stets an die Schweigepflicht halten – auch beim Speichern der Daten“, so der Experte. Ansonsten kommt §203 StGB zum Tragen, wonach jemand, der „[…] unbefugt ein fremdes Geheimnis, namentlich ein zum persönlichen Lebensbereich gehörendes Geheimnis oder ein Betriebs- oder Geschäftsgeheimnis, offenbart, das ihm als 1. Arzt, […] anvertraut worden oder sonst bekanntgeworden ist, […] mit Freiheitsstrafe bis zu einem Jahr oder mit Geldstrafe bestraft [wird].“ Deshalb lautet der abschließende Rat des Experten: „Gehen Sie stets auf Nummer sicher.“
Richtung mitbestimmen
Nach dem Vortrag zeigten sich die Initiatoren der Veranstaltungsreihe „Zukunft Teleradiologie“, Dr. med. Torsten Möller, Vorsitzender der Deutschen Gesellschaft für Teleradiologie und Vorstand von Deutschlands größtem Teleradiologienetz reif & möller, Dr. Uwe Engelmann, Geschäftsführer von Nexus/Chili sowie Detlef Hans Franke, Geschäftsführer von FuP Kommunikation in Frankfurt, erleichtert, dass die Nutzung von KI in der Medizin nicht automatisch dazu führt, dass Ärztinnen und Ärzte noch schneller oder leichter zur Rechenschaft gezogen werden können.
Gleichzeitig waren die drei Veranstalter überrascht, dass noch immer sehr viele Fragen offen sind, obwohl KI in der Medizin nun schon recht lange und häufig eingesetzt wird. Gleichzeitig eröffne aber ja genau das die Möglichkeit, der Mitgestaltung – und dafür sind alle drei gerne bereit ihre jeweilige Expertise zur Verfügung zu stellen.
Autoren: Detlef Hans Franke und Pia Bolten
„Zukunft Teleradiologie“ geht 2025 in eine neue Runde
Nach den Erfolgen der vergangenen vier Jahre, wird die Veranstaltungsreihe „Zukunft Teleradiologie“ auch 2025 fortgesetzt. Die nächste Veranstaltung wird voraussichtlich im Frühsommer stattfinden. Den genauen Termin und das Thema erfahren Sie in Kürze unter www.zukunft-teleradiologie.de. Hier finden Sie auch sämtliche Informationen und Mittschnitte der vergangenen „Zukunft Teleradiologie“-Veranstaltungen.
