KI-Vorfälle: Was andere Kliniken daraus lernen können

Stellen wir uns vor, eine Klinik entdeckt in einer mit KI erstellten Terminmitteilung das falsche Gebäude. Die Ambulanz ist umgezogen, doch der Anwendung stand weiterhin ein älteres Standortverzeichnis zur Verfügung. Eine Mitarbeiterin bemerkt den Fehler vor dem Versand. Eine andere Klinik arbeitet mit einem anderen Anbieter, greift aber ebenfalls auf mehrere Standortverzeichnisse zu. Welche Informationen helfen ihrem Team zu beurteilen, ob dieser Hinweis für die eigene Arbeit relevant ist?

Das Beispiel ist erfunden. Für den Austausch wäre eine Darstellung nützlich, mit der sich der mögliche Fehler nachvollziehen lässt: Welche Informationen waren verfügbar, was hat die Anwendung ausgegeben, wo fiel die Abweichung auf und was bleibt ungeklärt? Das ursprüngliche Schreiben weiterzugeben würde zusätzlich Fragen zum Schutz der Patient:innendaten aufwerfen. Die bloße Mitteilung „Die KI hat eine falsche Adresse ausgegeben“ ließe dem empfangenden Team wenig Anhaltspunkte für eine Untersuchung.

Bei der Entscheidung der anderen Organisation anfangen

Ein Stanford-Gespräch vom Juni 2026 mit DJ Patil, Matthew Lungren und Justin Norden über KI im Gesundheitswesen gab mir den Anstoß zu dieser Frage: Wie werden Erfahrungen über die eigene Organisation hinaus nutzbar? [1]

Als Arzt und Gründer, der KI für den klinischen Alltag entwickelt, halte ich es für wichtig, diese Frage konkret zu machen. Ein Anbieter braucht ausreichende Informationen, um ein Problem untersuchen zu können. Eine Klinik muss beurteilen, ob dieselben Bedingungen in ihren Abläufen bestehen. Ein externer Bericht sollte beiden Seiten ermöglichen, ihr Wissen, ihre Vermutungen und den nächsten Untersuchungsschritt zu benennen.

Mein Vorschlag betrifft diesen Austausch. Als vollständiges Sicherheitsprogramm wurde er nicht untersucht. Der unmittelbare Schutz vor Ort, die Untersuchung und etwaige Meldepflichten brauchen ihre vorgesehenen Wege. Eine zur Weitergabe geeignete Darstellung vorzubereiten darf diese Schritte keinesfalls verzögern.

Die Zahl der Meldungen richtig einordnen

Die WHO weist in ihrer Leitlinie von 2020 darauf hin, dass unterschiedliche Meldezahlen auf unterschiedlichem Meldeverhalten beruhen können. Sie trennt das Verständnis eines Ereignisses vom Nachweis einer anschließenden Risikosenkung. Die Leitlinie zur Patient:innensicherheit untersucht den hier vorgeschlagenen KI-bezogenen Austausch nicht. [2]

Angenommen, eine Klinik erfasst zwölf Auffälligkeiten im Zusammenhang mit KI, eine andere drei. Auch diese Zahlen sind erfunden. Die erste Klinik könnte KI häufiger einsetzen, gezielter nach Problemen suchen oder das Melden erleichtern. Die zweite könnte weniger Probleme haben oder weniger davon erkennen. Die Summen allein lassen diese Erklärungen offen. Eine Rangliste würde eine Antwort erzwingen, die aus diesen Daten nicht hervorgeht.

Die Zahl der Anwendungen ergänzt die Beschreibung, doch das Meldeverfahren bleibt bedeutsam. Zwölf Meldungen bei zehntausend Anwendungen ergeben ein Verhältnis von Meldungen zu Anwendungen. Solange unbekannt ist, wie Auffälligkeiten entdeckt und ausgewählt wurden, wäre die Bezeichnung Fehlerquote zu weitgehend. Auch vor der Verwendung abgefangene Beinaheereignisse sollten von Ereignissen mit beobachteten Folgen unterscheidbar bleiben.

Die FDA beschreibt diese Messgrenze für ihre US-Datenbank zu Medizinprodukte-Meldungen: Unvollständige Meldungen und fehlende Nutzungsdaten verhindern, allein daraus Ereignishäufigkeiten zu bestimmen; eine Meldung belegt auch keine Ursache. Diese Hinweise machen keine Aussage über deutsche Meldepflichten. [3]

Einen untersuchbaren Fehler beschreiben

Für die erfundene Terminmitteilung würde ich einen kurzen Lernbericht entlang der Fragen des empfangenden Teams vorbereiten. Welche Aufgabe sollte die Anwendung erfüllen? Auf welche Fassungen der Standortverzeichnisse konnte sie zugreifen? Stand die falsche Adresse bereits im erzeugten Entwurf oder kam sie bei einer späteren Bearbeitung hinzu? Wie wurde die Abweichung entdeckt? Was war bis dahin geschehen?

Diese Fragen helfen, eine naheliegende Erklärung als Vermutung erkennbar zu halten. Das ältere Verzeichnis könnte relevant sein. Seine Verfügbarkeit belegt jedoch noch nicht, aus welcher Unterlage die Adresse stammt. Fehlt die dafür nötige Aufzeichnung, gehört diese Lücke in den Bericht. „Die Ausgabe enthielt eine veraltete Adresse; der genaue Abrufweg ist ungeklärt“ bietet einer anderen Klinik einen brauchbareren Ausgangspunkt als eine unbelegte Diagnose des Modells.

Der OECD-Rahmen vom Februar 2025 beschreibt Angaben für den organisationsübergreifenden Austausch von KI-Vorfallmeldungen, darunter System, Schaden und Belegmaterial. Er unterscheidet Schäden von Gefährdungen und gibt keine Korrekturverfahren vor. Dieser Melderahmen belegt keine klinische Wirksamkeit. [4]

Mein vorgeschlagener Lernbericht würde eine praktische Übertragungsfrage ergänzen: Unter welchen Bedingungen könnte ein vergleichbarer Fehler anderswo auftreten? Im Beispiel kommen mehrere verfügbare Verzeichnisse, widersprüchliche Gültigkeitsangaben und eine verbindlich wirkende Adresse in der Ausgabe zusammen. Eine andere Organisation kann diese Kombination untersuchen, auch wenn sie andere Software und einen anderen Anbieter nutzt.

Den Mechanismus in angemessener Tiefe weitergeben

Ich würde die Unterlagen für die befugte lokale Untersuchung von der zur weiteren Verbreitung freigegebenen Darstellung trennen. Für die Untersuchung können Originalunterlagen und vertrauliche technische Einzelheiten nötig sein. Die weiterzugebende Darstellung sollte nur Informationen enthalten, die ihr Zweck rechtfertigt und die für den Empfängerkreis freigegeben sind. Namen zu entfernen beantwortet noch nicht, ob ein besonderer Fall oder ein technisches Detail gefahrlos weitergegeben werden kann.

Für das Terminbeispiel könnte ein konstruiertes Schreiben mit erfundenen Namen und Orten den Widerspruch zwischen einem aktuellen Verzeichnis und einer aufbewahrten älteren Kopie veranschaulichen. Es muss als Nachbildung gekennzeichnet sein. Vereinfachungen, die die Erklärung verändern könnten, gehören daneben. So kann das empfangende Team den Mechanismus betrachten und weiß zugleich, dass es keine Originalbelege erhalten hat.

Verantwortliche für Patient:innensicherheit, Datenschutz und Informationssicherheit sollten für das konkrete Material einen geeigneten Weg und Empfängerkreis festlegen. Eine vertrauliche Untersuchung mit dem Anbieter, eine fachliche Lerngruppe und ein öffentlicher Beitrag können unterschiedliche Informationen benötigen. Eine öffentliche Zusammenfassung sollte zurückgehaltene Einzelheiten und offene Fragen ehrlich benennen. Der Umgang mit Vertraulichkeit braucht eine ausdrückliche Entscheidung; eine ansprechende Vorlage macht die Weitergabe nicht automatisch rechtmäßig.

Der empfangenden Klinik einen konkreten nächsten Schritt ermöglichen

Die zweite Klinik prüft zunächst die Übertragbarkeit. Ruft auch ihr System Standortangaben aus mehreren Quellen ab? Wer legt fest, welches Verzeichnis aktuell ist? Wird die Adresse automatisch ausgewählt, in einen Entwurf übernommen oder von Mitarbeiter:innen verändert? Eine Beschreibung dieser Unterschiede kann eine engere oder umfassendere lokale Untersuchung begründen.

Erscheint die Bedingung relevant, kann das zuständige Team sie mit künstlich erzeugten oder anderweitig zur Nutzung freigegebenen Fällen in einer geeigneten Prüfumgebung untersuchen. Die Frage ist konkret: Welche Adresse gelangt in die Terminmitteilung, wenn widersprüchliche Verzeichnisfassungen verfügbar sind? Welche Nachweise erforderlich sind und wie über die weitere Nutzung entschieden wird, bestimmen die örtlich zuständigen Stellen. Ein beruhigendes Ergebnis mit wenigen konstruierten Fällen ließe Häufigkeit und klinische Folgen im gewöhnlichen Betrieb weiterhin offen.

Ich würde um eine kurze Rückmeldung bitten: relevante Bedingungen gefunden, mit Begründung ausgeschlossen oder wegen fehlender Informationen noch nicht beurteilbar. Folgen Maßnahmen, wird festgehalten, was verändert und wie die Wirkung geprüft wurde. Der Austausch kann damit auch die ursprüngliche Darstellung verbessern. Die zweite Klinik könnte beispielsweise feststellen, dass Gültigkeitsangaben vorhanden, bei der Prüfung aber unsichtbar waren.

Die Darstellung für Korrekturen offenhalten

Der geteilte Bericht braucht eine beständige Kennung, einen verantwortlichen Kontakt und datierte Fassungen. Melden mehrere Personen dasselbe Ereignis, sollten die Darstellungen verknüpft und bedeutsame Abweichungen erhalten bleiben. Verändert eine spätere Untersuchung die vermutete Erklärung, werden frühere Empfänger:innen informiert. Die neue Fassung sollte zeigen, welche Erkenntnis sich geändert hat und welche frühere Empfehlung deshalb neu betrachtet werden muss.

Als Leitung würde ich prüfen, ob wichtige Berichte die richtigen Teams erreicht haben, ob die Übertragbarkeit untersucht wurde und ob vorgeschlagene Änderungen angemessen nachverfolgt wurden. Das sind Beobachtungen zum Lernprozess. Aussagen über weniger Schäden benötigen eigene Ergebnisdaten und einen begründbaren Vergleich.

Der Wert dieses Austauschs liegt darin, einer anderen Organisation eine bessere, prüfbare Frage zu ihren eigenen Abläufen zu ermöglichen. Eine offene Darstellung kann das leisten, während die Ursache noch ungewiss ist. Sie braucht genügend Zusammenhang für eine Untersuchung, genügend Zurückhaltung zum Schutz der Beteiligten und genügend Kontinuität, damit eine Korrektur diejenigen erreicht, die sich auf die erste Fassung verlassen haben.