Vor dem KI-Pilotversuch entscheiden, wann Sie stoppen

Ein KI-Pilotversuch braucht eine Entscheidung, die auch bei einem enttäuschenden Ergebnis möglich bleibt. Deshalb würde ich vor Beginn festhalten, welche Beobachtung eine Ausweitung rechtfertigt, welche eine zusätzliche Untersuchung verlangt und welche den Versuch unterbricht. Diese Vereinbarung schützt die begrenzte Zeit der Beteiligten. Sie macht außerdem sichtbar, wie viel Unsicherheit die nächste Verpflichtung verträgt.

Die folgende Entscheidungsseite ist für einen begrenzten organisatorischen Versuch gedacht. Sie ergänzt die ausführliche Auswertung von Qualität und Aufwand um eine andere Frage: Welcher Beschluss soll aus den späteren Beobachtungen folgen? Das Beispiel ist vollständig erfunden. Es beschreibt die Vorbereitung interner Beschaffungsunterlagen, keine Versorgung von Patient:innen und keine medizinische Zulassungsprüfung.

Den nächsten Beschluss vor dem ersten Ergebnis benennen

Eine Krankenhausgruppe möchte mit KI aus freigegebenen technischen Unterlagen eine vergleichbare Übersicht für den Einkauf erstellen. Die erhoffte Verbesserung ist eine verwendbare Entscheidungsvorlage mit geringerem Gesamtaufwand. Nach vier Wochen soll entschieden werden, ob derselbe Ablauf in einem weiteren Einkaufsteam erprobt wird. Eine konzernweite Einführung steht ausdrücklich außerhalb dieses Beschlusses. Zeitraum und Umfang sind gewählte Annahmen des Beispiels.

Diese Begrenzung verändert die erforderliche Begründung. Die nächste kleine Erprobung benötigt andere Nachweise als ein langfristiger Vertrag oder eine automatisierte Außenkommunikation. In die Vorlage gehören deshalb der konkrete nächste Schritt, seine zusätzlichen Kosten und die Person, die darüber entscheiden darf. Die Formulierung „Wir schauen anschließend weiter“ lässt diese Fragen offen und bindet niemanden an eine auswertbare Entscheidung.

Drei Arten von Regeln auseinanderhalten

Erstens braucht der Versuch Unterbrechungsregeln für Ereignisse, bei denen der erlaubte Rahmen verlassen wird. Im Beispiel wäre das eine Übermittlung an eine nicht freigegebene Stelle oder die Verwendung eines ungeprüften Entwurfs als verbindliche Bestellung. Die Unterbrechung betrifft den vereinbarten Einsatz. Die dafür zuständige Person prüft den Vorfall und entscheidet nach dem bestehenden Verfahren über weitere Schritte.

Zweitens gibt es Regeln für ausreichende Erkenntnisse. Wenn nur besonders einfache Unterlagen bearbeitet wurden, fehlen möglicherweise gerade die Fälle, wegen derer der Versuch sinnvoll erschien. Auch fehlende Zeitmessungen können den Vergleich unbrauchbar machen. Ein solcher Befund bedeutet zunächst, dass die vorgesehene Entscheidung noch keine hinreichende Grundlage hat. Er beweist weder den Nutzen noch die Untauglichkeit der Anwendung.

Drittens stehen Regeln für die wirtschaftliche und organisatorische Fortsetzung. Dazu könnten ein vertretbarer Gesamtaufwand, eine für den vorgesehenen Zweck ausreichende Qualität und eine handlungsfähige Betreuung gehören. Diese Regeln greifen erst, wenn der erlaubte Rahmen eingehalten wurde und der Vergleich aussagekräftig genug ist. Ein günstiger Zeitwert kann einen ungeklärten Regelverstoß deshalb in dieser Struktur nicht ausgleichen.

Die CONSORT-Erweiterung von 2016 behandelt vorab bestimmte Fortschrittskriterien für randomisierte Pilot- und Machbarkeitsstudien. Sie warnt zugleich vor starren Grenzen bei unsicheren Schätzungen. Ihr Geltungsbereich sind vorbereitende Studien; mein betrieblicher Entscheidungsvermerk ist eine eigene Übertragung. [1]

Ein Ziel mit seinen möglichen Nebenfolgen verbinden

Das IHI unterscheidet Ergebnis-, Ablauf- und Ausgleichsmaße. Letztere fragen nach Problemen, die eine Verbesserung an anderer Stelle erzeugen kann. Die Anleitung belegt keine Wirksamkeit dieses KI-Verfahrens. [2]

Für den erfundenen Einkaufsversuch wähle ich als Ergebnismaß die aktive Arbeitszeit bis zur fachlich akzeptierten Übersicht. Sie umfasst Vorbereitung, Prüfung, Rückfragen und Nacharbeit aller beteiligten Funktionen. Ein Ablaufmaß zeigt, ob die festgelegte Ergebnisprüfung tatsächlich durchgeführt wurde. Als Ausgleichsmaß betrachtet das Team zusätzlich die Rückfragen, die nach der Übergabe bei den Fachabteilungen entstehen.

Schreiben Sie zu jeder Größe auf, wer sie erhebt, welcher Zeitraum dazugehört und wie fehlende Werte behandelt werden. Eine leere Zeile darf später weder als fehlerfreier Vorgang noch als Zeitersparnis zählen. Erfassen Sie außerdem, welche Fälle ausgeschlossen wurden. Ein Ergebnis aus vollständig vorliegenden Standardunterlagen erklärt wenig über einen späteren Einsatz mit widersprüchlichen oder unvollständigen Angaben.

Schwellenwerte aus der Entscheidung ableiten

Angenommen, das Team setzt für die nächste Erprobung eine durchschnittliche Zeitentlastung von mindestens zwei Minuten je vollständig geprüftem Vorgang als Ziel. Diese Zahl ist eine frei gewählte Beispielannahme. Ihre Begründung könnte lauten, dass eine kleinere Entlastung den zusätzlichen Betreuungsaufwand in diesem eng begrenzten Ablauf nicht rechtfertigt. Ein anderes Team kann mit guten Gründen zu einem anderen Wert kommen.

Zur Zielzahl gehört ein Umgang mit Unsicherheit. Das Team könnte vorab vereinbaren, dass eine erkennbare Verbesserung mit stark schwankenden Werten zunächst eine begrenzte Nachmessung auslöst. Eine deutliche Verschlechterung bei ausreichend vergleichbaren Fällen spricht gegen die Ausweitung. Welche Bandbreite für die Entscheidung relevant ist und wie sie geschätzt wird, sollte eine dafür qualifizierte Person festlegen, bevor Ergebnisse interpretiert werden.

Vermeiden Sie eine beliebige Mindestzahl, die wissenschaftliche Sicherheit vortäuscht. Die nötige Fallzahl hängt unter anderem von der Streuung, seltenen Fehlerarten, Unterschieden zwischen Bearbeiter:innen und der Tragweite des nächsten Beschlusses ab. Wiederholte Bearbeitungen derselben Unterlage sind keine unabhängigen Erfahrungen mit neuen Fällen. Falls diese Fragen offenbleiben, dokumentiert die Seite die Grenze des Versuchs und den zusätzlichen Prüfbedarf.

Die Entscheidungsseite gemeinsam ausfüllen

Die ausdruckbare Begleitseite verdichtet den Vorschlag auf neun Felder. Sie ist ein Gesprächs- und Dokumentationsmittel. Die erforderlichen fachlichen, technischen oder rechtlichen Freigaben bleiben in den dafür vorgesehenen Verfahren.

Die Entscheidungsseite als PDF herunterladen

1. Entscheidung: Welcher begrenzte nächste Schritt steht an, wer entscheidet darüber und an welchem Datum?
2. Aufgabe: Wo beginnt und endet der untersuchte Vorgang, welche Fälle gehören dazu und welche bleiben ausgeschlossen?
3. Vergleich: Welcher bisherige Ablauf dient als Grundlage, und wodurch sollen die Fälle vergleichbar werden?
4. Erwarteter Nutzen: Welche Veränderung ist für die empfangende Funktion relevant, wie wird sie gemessen und weshalb ist die Zielgröße sinnvoll?
5. Qualität und Nebenfolgen: Welche Mängel werden einzeln erfasst, und welche zusätzliche Arbeit könnte anderswo entstehen?
6. Unterbrechung: Welches Ereignis beendet die aktuelle Erprobung sofort, wer kann sie anhalten und welcher sichere Ersatzablauf greift?
7. Erkenntnisgrundlage: Welche Fälle, Messungen und Angaben müssen vorliegen; wann gilt die Auswertung als unzureichend?
8. Entscheidungsregel: Was spricht für Ausweitung, eine begrenzte Nachprüfung oder ein Ende; wer darf eine Abweichung begründen?
9. Durchführung: Welche Fassung wird geprüft, welches Zeit- und Kostenbudget gilt, wo liegen die Unterlagen und wer übernimmt die Nachverfolgung?

Eine Probeentscheidung vorwegnehmen

Bevor der Versuch startet, würde ich die ausgefüllte Seite an drei erfundenen Ergebnissen prüfen. Im ersten Fall sinkt die Bearbeitungszeit, aber die nachgelagerte Abteilung erhält zusätzliche Rückfragen. Im zweiten bleibt der Aufwand gleich, während die erwartete Qualität erreicht wird. Im dritten sehen die wenigen erfassten Werte gut aus, doch die schwierigen Unterlagen fehlen. Können die Beteiligten für jeden Fall denselben vorgesehenen nächsten Schritt benennen?

Wenn unterschiedliche Antworten entstehen, liegt darin eine nützliche Entdeckung. Vielleicht meint die eine Person mit Erfolg eine bessere Vergleichbarkeit, während die andere ausschließlich eine Kostenentlastung erwartet. Diese Differenz sollte vor dem Versuch geklärt werden. Andernfalls wird später über Daten gestritten, obwohl die Beteiligten verschiedene Ziele beurteilen. Die Seite kann diesen Konflikt sichtbar machen, seine Lösung aber nicht erzwingen.

Änderungen nachvollziehbar zulassen

Eine vorab vereinbarte Regel kann durch neue Erkenntnisse unpassend werden. Dann braucht es eine datierte Ergänzung: Was hat sich verändert, wer stimmt zu, welche bereits erhobenen Ergebnisse waren zu diesem Zeitpunkt bekannt und welche Aussage wird dadurch schwächer? Die ursprüngliche Fassung bleibt erkennbar. Eine Anpassung kann begründet sein und zugleich die Vergleichbarkeit einschränken.

Am Entscheidungsdatum werden die Beobachtungen gegen die vereinbarten Regeln gehalten. Offene Messlücken erhalten einen Namen und einen begrenzten Klärungsauftrag. Auch eine positive Entscheidung nennt ihren Geltungsbereich und den nächsten Prüfpunkt. Für mich liegt darin ein wesentlicher Teil unternehmerischer Urteilskraft: ein technisches Versprechen in eine Verpflichtung zu übersetzen, deren Umfang zur vorhandenen Erkenntnis passt.