Was ein KI-Vergleichstest einer Klinik sagen kann

Stellen wir uns eine Präsentation mit zwei Säulen vor. Das neue KI-System liegt vorn, daneben stehen die Ergebnisse menschlicher Vergleichspersonen. Eine solche Darstellung kann auf eine beachtliche technische Leistung hinweisen. Für die Leitung einer Klinik bleiben trotzdem wichtige Fragen offen: Was genau wurde geprüft, und welcher Teil der eigenen Arbeit ist damit vergleichbar?

Mich interessiert diese Lücke besonders, weil ich Medizin, Unternehmensaufbau und die Perspektive von Investor:innen miteinander verbinde. Jede dieser Perspektiven fragt nach etwas anderem: Ist die Aussage fachlich tragfähig? Lässt sich daraus ein verlässlicher Arbeitsablauf entwickeln? Und wird dadurch ein Problem gelöst, für dessen Lösung jemand Verantwortung übernimmt?

Ein guter Vergleichstest hilft bei diesen Fragen. Seine Aussage muss jedoch an die Bedingungen gebunden bleiben, unter denen sie entstanden ist. Die wichtigste Arbeit besteht darin, den Weg von der gemessenen Leistung zum vorgesehenen Einsatz nachvollziehbar zu machen.

Drei unterschiedliche Fragen

Die erste Frage betrifft das Modell: Kann es eine bestimmte Aufgabe unter beschriebenen Bedingungen lösen? Dafür lassen sich zum Beispiel Fälle, Antworten und ein Bewertungsschema festlegen. Ein solches Verfahren macht Leistungen vergleichbar. Es ist besonders nützlich, wenn die Aufgabe klar eingegrenzt und das Prüfungsmaterial geeignet ist.

Die zweite Frage betrifft die Zusammenarbeit: Was passiert, wenn Ärzt:innen das System verwenden? Dazu gehören die Darstellung der Ergebnisse, die verfügbare Zeit, die Vorkenntnisse und die Art der Einbindung. Ein leistungsfähiges Modell kann auf mehrere Weisen eingesetzt werden. Diese Anwendungen müssen keineswegs dieselbe Wirkung haben.

Ein anschauliches Beispiel liefert eine 2024 veröffentlichte randomisierte Untersuchung mit 50 Ärzt:innen. Sie bearbeiteten klinische Fallbeschreibungen mit oder ohne zusätzlichen Zugang zu einem Sprachmodell. Die Gruppe mit KI erreichte keine statistisch signifikant bessere diagnostische Bewertung. Das Modell allein schnitt in einer ergänzenden Auswertung besser ab. Untersucht wurden Fallaufgaben mit einem damaligen System; Aussagen über heutige Modelle oder Behandlungsergebnisse lassen sich daraus nicht unmittelbar ableiten. [1]

Die dritte Frage betrifft die Versorgung: Welche Folgen hat die Anwendung im vorgesehenen Umfeld? Eine bessere Bewertung einzelner Antworten, eine schnellere Bearbeitung und ein besseres Ergebnis für Patient:innen liegen auf verschiedenen Ebenen. Ihre Verbindung muss jeweils untersucht werden.

Was gilt in diesem Test als richtig?

Vor dem Blick auf die Punktzahl würde ich das Bewertungsschema lesen. Wird nur eine richtige Antwort anerkannt? Sind begründete Alternativen möglich? Wie werden fehlende Angaben behandelt? Welche Fehler wiegen besonders schwer? Darin stecken fachliche Entscheidungen, die zur späteren Anwendung passen müssen.

Ein erfundenes Beispiel macht das deutlich. Zwei Systeme fassen dieselben Unterlagen zusammen. Das erste übernimmt fast alle Angaben und ergänzt einige unbelegte Aussagen. Das zweite lässt häufiger Informationen aus, erfindet aber weniger. Welche Ausgabe brauchbarer ist, hängt davon ab, welche Angaben fehlen, wie folgenreich die Ergänzungen wären und wie die Prüfung organisiert ist.

Eine zusammengefasste Punktzahl kann solche Unterschiede verdecken. Für die Auswahl würde ich deshalb zusätzlich konkrete Fehlertypen betrachten. Ein fehlender Nebenaspekt, eine falsch zugeordnete Zahl und eine unbegründete Empfehlung können dieselbe formale Fehlerwertung erhalten, obwohl sie im Arbeitsablauf unterschiedliche Folgen haben.

Auch der Vergleichsmaßstab verdient Aufmerksamkeit. Ein historischer Eintrag dokumentiert zunächst, was damals festgehalten wurde. Ob er für die heutige Aufgabe eine geeignete Referenz darstellt, muss fachlich beurteilt werden. Dabei können klare Fehler, legitime Unterschiede im Urteil und unvollständige Informationen nebeneinander vorkommen.

Die daraus folgende Sorgfalt sollte die Bewertung präziser machen. Es wäre ebenso voreilig, aus schwierigen Grenzfällen abzuleiten, medizinische KI lasse sich grundsätzlich kaum prüfen. Viele Aufgaben erlauben gut begründete Kriterien. Entscheidend ist, diese Kriterien offenzulegen und ihre Reichweite verständlich zu beschreiben.

Der Abstand zum eigenen Umfeld

Als Nächstes würde ich prüfen, wie weit die untersuchte Situation von der geplanten Verwendung entfernt ist. Stammen die Daten aus einer ähnlichen Versorgungssituation? Waren schwierige oder unvollständige Fälle enthalten? In welcher Sprache lagen die Unterlagen vor? Welche Informationen standen zum Zeitpunkt der Entscheidung tatsächlich zur Verfügung?

Diese Fragen sind für eine deutsche Klinik besonders praktisch. Begriffe, Dokumentationsformen und Übergaben können sich von denen der untersuchten Einrichtung unterscheiden. Daraus folgt kein automatisches Urteil über die Eignung. Es entsteht ein konkreter Prüfauftrag für die Übertragung.

Die Berichtsleitlinie STARD-AI wurde entwickelt, um Untersuchungen zur diagnostischen Genauigkeit von KI transparenter darzustellen. [3] Für frühe klinische Erprobungen richtet DECIDE-AI den Blick zusätzlich auf den Einsatz unter realen Bedingungen und die beteiligten Menschen. [2] Solche Leitlinien verbessern die Beurteilbarkeit der Forschung; sie ersetzen die Entscheidung über ein bestimmtes Produkt nicht.

Zu einer nachvollziehbaren Übertragung gehört außerdem, die geprüfte Fassung des Systems zu kennen. Ein Ergebnis bezieht sich auf ein bestimmtes Zusammenspiel aus Modell, Anweisungen, Datenverarbeitung und Darstellung. Wenn wichtige Bestandteile geändert werden, sollte der Anbieter erklären, welche bisherigen Ergebnisse weiterhin tragen und welche erneut geprüft wurden.

Welche Entscheidung soll die Erprobung ermöglichen?

Für ein Einführungsvorhaben würde ich zuerst die beabsichtigte Verwendung in einem kurzen Satz festhalten. Wer soll welche Aufgabe mit dem System erledigen? Welche Entscheidung bleibt bei wem? Und woran wäre eine Verbesserung gegenüber dem bisherigen Vorgehen erkennbar? Diese Festlegung macht die anschließende Auswahl von Messgrößen wesentlich klarer.

Bei einer Dokumentationsanwendung könnte es beispielsweise um den gesamten Aufwand bis zur geprüften Fassung gehen. Hinzu kämen Fehler, Nacharbeit und Belastung der Anwender:innen. Bei diagnostischer Unterstützung wären andere Ergebnisse und ein anderes Prüfverfahren erforderlich. Der Anspruch an die Untersuchung muss sich aus der Aufgabe und ihren möglichen Folgen ergeben.

Für die laufende Beobachtung ist die Unterscheidung zwischen Ergebnis-, Prozess- und Ausgleichskennzahlen hilfreich. Das Institute for Healthcare Improvement verwendet sie, um gewünschte Verbesserungen und mögliche Nachteile an anderer Stelle gemeinsam sichtbar zu machen. Eine kürzere Bearbeitungszeit wäre dann zusammen mit Qualität und zusätzlichen Arbeitsschritten zu betrachten. [4]

Ein zeitlich begrenzter Versuch kann wichtige Fragen zur Nutzbarkeit oder Einbindung beantworten. Je nach beabsichtigter Verwendung braucht es darüber hinaus andere Nachweise. Ein Anbieter und eine Klinik sollten deshalb ausdrücklich festhalten, welche Entscheidung die jeweilige Untersuchung ermöglichen soll und welche Fragen danach offenbleiben.

Vor einer Auswahl würde ich mir schließlich drei Dinge nebeneinanderlegen: das technische Prüfungsergebnis, eine Beschreibung des vorgesehenen Arbeitsablaufs und den Plan zur Bewertung der tatsächlichen Wirkung. Wenn sich diese Unterlagen auf dieselbe Aufgabe beziehen, wird die Diskussion erheblich konkreter. Dann lässt sich begründet entscheiden, welcher nächste Schritt durch die vorhandenen Erkenntnisse gedeckt ist.