Wer fehlt in Ihrem erfolgreichen KI-Pilotversuch?

Eine fiktive Klinik erprobt eine KI-Anwendung für die Dokumentation mit einer kleinen Gruppe interessierter Ärzt:innen. Für die Einführung steht geschützte Zeit bereit, das Projektteam ist direkt erreichbar. Mehrere Beteiligte berichten, dass die Anwendung ihnen hilft. Nun erwägt die Leitung, den Zugang im gesamten Haus auszuweiten. Bevor ich das Ergebnis einordne, würde ich fragen, wer in der Gruppe, über deren Erfahrungen gesprochen wird, überhaupt nicht vorkommt.

Diese Frage schützt den Wert des Pilotversuchs. Frühe Freiwillige können sinnvolle Einsatzmöglichkeiten finden und Schwierigkeiten sichtbar machen, während eine Anwendung noch angepasst wird. Ihre Erfahrungen lassen sich schwerer einordnen, wenn sie stillschweigend eine Entscheidung über alle übrigen Beschäftigten tragen sollen. Die nächste Investition sollte auch davon abhängen, welche Menschen und Arbeitsbedingungen tatsächlich untersucht wurden.

Die ersten Freiwilligen beantworten eine begrenzte Frage

Ankit Guptas am 14. Januar 2026 veröffentlichter Beitrag bei Y Combinator behandelt die Gewinnung erster Nutzer:innen. Er gab den Anstoß für diese Überlegung zum Übergang von früher Teilnahme zu breiterer Nutzung. Der Beitrag enthält unternehmerische Empfehlungen, keine klinische Untersuchung. [1]

Für Gründer:innen ist eine Person wertvoll, die anfängliche Schwierigkeiten mitträgt. Für eine Klinik, die den Regelbetrieb erwägt, gehört diese Bereitschaft zugleich zu den Erprobungsbedingungen. Wer Termine umorganisiert, zu Hause übt oder den Anbieter persönlich kontaktiert, könnte eine Anwendung unter Bedingungen nutzbar machen, die die Organisation bisher nicht allgemein bereitstellt. Das sind mögliche Erklärungen, denen nachzugehen wäre. Ich unterstelle dieses Verhalten keiner Person aus dem fiktiven Beispiel.

Ich würde deshalb zu Beginn zwei getrennte Fragen festhalten: Findet diese Gruppe einen lohnenden Einsatz? Unter welchen Bedingungen könnte die vorgesehene Belegschaft damit arbeiten? Eine positive Antwort auf die erste Frage kann eine Untersuchung der zweiten begründen. Sie lässt deren Antwort offen.

Den Weg bis ins Ergebnis nachvollziehen

Franklins Bericht vom April 2026 untersuchte ambulante Erprobungen zweier US-Universitätskliniken aus 2024. Führungskräfte wählten freiwillig teilnehmende klinisch Tätige aus; von 166 zur Erstbefragung Eingeladenen wurden 120 Nachbefragungen ausgewertet. 56,7 Prozent der Befragten bezeichneten sich als frühe Techniknutzer:innen. Die Befragungen beschreiben ausgewählte Erfahrungen ohne zufällig zugewiesene Vergleichsgruppe. [2]

Daraus lässt sich nicht ablesen, wie viele Beschäftigte der Einrichtungen insgesamt hätten profitieren können. Ebenso wenig ist damit geklärt, ob fehlende Kolleg:innen bessere oder schlechtere Ergebnisse erzielt hätten. Die Auswahl für eine Erprobung und fehlende Antworten bei der Nachbefragung betreffen unterschiedliche Fragen: Wer erhielt eine Gelegenheit? Wessen Erfahrung wurde anschließend sichtbar? Die Begeisterung der Antwortenden klärt keine dieser beiden Fragen.

Für eine örtliche Entscheidung schlage ich eine kurze Darstellung dieses Weges vor. Ausgangspunkt ist die Belegschaft, für die eine Ausweitung erwogen wird. Danach wird festgehalten, wer die vereinbarten Teilnahmevoraussetzungen erfüllte, eingeladen wurde, zusagte, einen funktionierenden Zugang erhielt und die Anwendung für die betreffende Aufgabe einsetzte. Anschließend folgt, für wen zum vorgesehenen Nachbeobachtungszeitpunkt Ergebnisse vorlagen. Jede Zahl sollte sich auf denselben festgelegten Zeitraum beziehen oder Abweichungen erläutern.

Der Nenner verändert die Bedeutung einer Prozentangabe. Eine positive Bewertung unter den Personen, die einen Fragebogen ausfüllten, beantwortet eine andere Frage als die Teilnahmequote unter allen Eingeladenen. Regelmäßige Nutzung unter Beschäftigten mit funktionierendem Zugang unterscheidet sich von regelmäßiger Nutzung unter allen Personen, denen eine Lizenz angeboten wurde. Beide Angaben zusammen können ein Zugangsproblem zeigen, das hinter einer durchschnittlichen Zufriedenheit verborgen bliebe.

Dieser Vorschlag zur Organisation einer Entscheidung wurde als Messinstrument nicht untersucht. Eine solche Abfolge kann auch keinen schwachen Vergleich reparieren oder klinischen Nutzen belegen. Sie soll die Entscheidung über eine Ausweitung mit den tatsächlich beobachteten Personen verbinden.

Beschäftigte und Patient:innen getrennt zählen

Der Rahmen RE-AIM unterscheidet die Teilnahme vorgesehener Begünstigter von der Übernahme durch Einrichtungen und Beschäftigte. Seine im September 2020 überarbeiteten Fragen betreffen auch Unterschiede zwischen Teilnehmenden und Ablehnenden. Der Rahmen dient der Untersuchung einer Einführung und belegt keine Wirksamkeit einer bestimmten KI-Anwendung. [3]

Ein Dokumentationsversuch kann viele Behandlungskontakte weniger Ärzt:innen umfassen. Weitere Kontakte liefern möglicherweise nützliche Informationen über deren Arbeit. Sie schaffen jedoch keine zusätzlichen unabhängigen Beispiele dafür, wie Kolleg:innen den Umgang mit dem System erlernen. Ebenso bleiben Fragen zu den Arbeitsbedingungen einer anderen Abteilung offen, wenn lediglich mehr Personen aus derselben gut unterstützten Abteilung hinzukommen.

Ich würde das Team bitten, für jede Schlussfolgerung die passende Einheit zu benennen: ein Dokument, einen Behandlungskontakt, eine Person oder einen Versorgungsbereich. Die statistische Auswertung gehört in Hände, die Abhängigkeiten zwischen Beobachtungen angemessen berücksichtigen können. Die Aufgabe der Leitung ist es, eine große Dokumentenzahl nicht mit einer breiten Erprobung in der Belegschaft gleichzusetzen.

Unterstützung sichtbar machen, bevor Bereitschaft zugeschrieben wird

Betrachten wir zwei mögliche Erweiterungen des fiktiven Versuchs. Die erste nimmt Ärzt:innen hinzu, die vergleichbar arbeiten und dieselbe Hilfe erhalten. Die zweite umfasst einen Bereich, dessen Beschäftigte an den Einführungen nicht teilnehmen oder während ihrer Arbeitszeit keine Unterstützung erreichen können. Ein schwächeres Ergebnis dort hätte mehrere mögliche Erklärungen. Die Beschäftigten als widerständig zu bezeichnen, würde deren sorgfältige Unterscheidung überspringen.

Die 2022 veröffentlichte Leitlinie DECIDE-AI empfiehlt für Berichte über frühe klinische Entscheidungsunterstützung Angaben zur Auswahl und Einarbeitung der Nutzer:innen. Die konsensbasierte Berichtsleitlinie betrifft eine bestimmte Erprobungsphase. Ihre Befolgung belegt weder methodische Qualität noch schreibt sie ein Untersuchungsdesign vor. [4]

Meine praktische Folgerung ist, Teilnahmevoraussetzungen und bereitgestellte Unterstützung aufzuschreiben. Passt die Einarbeitung in die bezahlte Arbeitszeit? Funktioniert der Zugang dort, wo die Aufgabe anfällt? Ist Hilfe erreichbar, während die Aufgabe bearbeitet wird? Wesentliche Unterschiede sollten vor einer Diskussion über die Bereitschaft einer Gruppe festgehalten werden. Auch ein Anbieter kann dadurch besser erkennen, welche vermeintlichen Produktschwierigkeiten mit der Bereitstellung zusammenhängen.

Welche Unterschiede relevant sind, ergibt sich aus dem vorgesehenen Einsatz. Bei einem pharmazeutischen Auskunftsteam könnten der Zugang zu freigegebenen Quellen und verfügbare Prüfkapazität dazugehören. Bei einem Medizinproduktehersteller wären etwa örtliche Schulungen und der Meldeweg für Probleme zu untersuchen. Diese Beispiele sind konstruiert. Sie enthalten keine Behauptung, dass dieselben Bedingungen branchenübergreifend Ergebnisse bestimmen.

Mit der nächsten Gruppe eine Unsicherheit untersuchen

Ich würde die nächste begrenzte Erprobung auf eine wichtige bisher fehlende Bedingung ausrichten. Soll die Ausweitung Bereiche mit wenig unmittelbarer Unterstützung erreichen, wäre diese Bedingung gezielt zu untersuchen. Die für einen sicheren Einsatz erforderliche Unterstützung muss dabei erhalten bleiben. Eine weitere Gruppe aus demselben Kreis begeisterter Kolleg:innen könnte die ursprüngliche Unsicherheit bestehen lassen.

Eine gezielte Auswahl kann aufschlussreiche Unterschiede sichtbar machen. Sie erzeugt nicht automatisch eine repräsentative Stichprobe. Auch eine zufällige Zuweisung zweier Anwendungen innerhalb einer Freiwilligengruppe macht diese Personen nicht repräsentativ für alle vorgesehenen Nutzer:innen. Eine methodisch qualifizierte Person sollte helfen, Auswahl und Vergleich auf die gewünschte Schlussfolgerung abzustimmen.

Vergleiche aufeinanderfolgender Durchgänge benötigen besondere Sorgfalt. Während sich die Zusammensetzung der Gruppe verändert, können sich auch Software, Einarbeitung und Arbeitslast ändern. Ein anderes Ergebnis lässt sich dann nicht einfach den neuen Teilnehmenden zuschreiben. Die Bedingungen sollten sichtbar bleiben, ebenso die Erklärungen, zwischen denen die Untersuchung tatsächlich unterscheiden kann.

Unbekannte Erfahrungen offenlassen

Wer die Anwendung nicht weiter nutzt, könnte sie wenig hilfreich gefunden, ein Zugangsproblem erlebt, die Aufgabe gewechselt oder kaum passende Fälle bearbeitet haben. Eine fehlende Fragebogenantwort belegt keine dieser Erklärungen. Ich würde eine kurze, freiwillige Rückmeldung zu Hindernissen ermöglichen, getrennt von individueller Leistungsbewertung. Gründe sollten nur so zusammengefasst berichtet werden, dass kleine Gruppen geschützt bleiben.

Die Entscheidung könnte lauten, den Zugang im erprobten Umfang fortzuführen, eine fehlende Unterstützung zu finanzieren oder vor der Ausweitung eine weitere Untersuchung zu beauftragen. Sie sollte benennen, wessen Erfahrung weiter unbekannt bleibt. Für mich ist ein Pilotbericht dann nützlich, wenn das nächste Team darin sowohl die Chance als auch ihre Bedingungen erkennt. Damit erhält ein früher Erfolg eine belastbare Richtung für die Fortsetzung.