Die Verantwortung im fertigen KI-Entwurf

Ein fertiger Text hat eine merkwürdige Eigenschaft: Er sieht aus, als sei die gedankliche Arbeit bereits erledigt. Die Absätze sind geordnet, die Begriffe passen, die Empfehlung klingt vernünftig. Für die Person, die anschließend ihren Namen daruntersetzt, beginnt jedoch eine eigene Aufgabe. Sie muss herausfinden, welche Aussagen sie tatsächlich vertreten kann.

Mich interessiert daran besonders der Übergang von der Erstellung zur Verantwortung. Als Arzt und Gründer eines Unternehmens, das KI für das Gesundheitswesen entwickelt, betrachte ich einen Entwurf aus beiden Perspektiven. Die schnelle Erstellung ist wertvoll. Ebenso wichtig ist, ob die zuständige Person das Ergebnis mit vertretbarem Aufwand nachvollziehen kann.

Ein System kann sehr viel Text erzeugen. Die Aufmerksamkeit der prüfenden Menschen bleibt begrenzt. Daraus ergibt sich eine Gestaltungsaufgabe: Der Entwurf sollte so aufgebaut sein, dass sich folgenreiche Fehler erkennen lassen. Ein pauschaler Hinweis auf menschliche Kontrolle erledigt diese Arbeit nicht.

Eine Behauptung braucht einen Weg zurück

Stellen wir uns eine erfundene Entscheidungsvorlage für einen Klinikverbund vor. Sie fasst drei Veröffentlichungen zusammen und empfiehlt, ein neues Verfahren zu erproben. In einem Absatz heißt es, die Studien belegten eine geringere Arbeitsbelastung. Beim Nachlesen zeigt sich: Eine Untersuchung erfasste die Bearbeitungsdauer, eine andere die Zufriedenheit, die dritte die Nutzungshäufigkeit.

Jede dieser Größen kann aufschlussreich sein. Zusammen ergeben sie aber nicht automatisch den Beleg für die formulierte Behauptung. Wer nur den flüssigen Absatz liest, muss diese gedankliche Verschiebung selbst entdecken. Ein gut gestalteter Entwurf würde die unterschiedlichen Messgrößen bereits auseinanderhalten und die entsprechende Fundstelle direkt zuordnen.

Das US-amerikanische Normungsinstitut NIST beschreibt in seinem Risikoprofil für generative KI auch erfundene Begründungen und Quellenangaben. Solche Angaben können falsche Aussagen zusätzlich glaubwürdig erscheinen lassen. Die Konsequenz für eine Prüfung ist einfach: Auch ein Literaturverweis muss zum behaupteten Inhalt passen. Seine bloße Existenz genügt nicht. [1]

Ich würde deshalb bei anspruchsvollen Zusammenfassungen eine kleine Belegtabelle verlangen: Aussage, zugehörige Quelle, konkrete Fundstelle und Grenze der Aussage. Das ist eine Arbeitsform, die sich am jeweiligen Fall bewähren muss. Besonders hilfreich erscheint sie mir, wenn mehrere Dokumente zu einer Empfehlung verdichtet werden.

Was fehlt, steht selten als Fehler im Text

Eine zweite Schwierigkeit sind Auslassungen. Ein Text kann ausschließlich richtige Sätze enthalten und trotzdem eine ungeeignete Grundlage für eine Entscheidung sein. Vielleicht fehlt eine Einschränkung der untersuchten Personengruppe. Vielleicht wird eine abweichende Quelle übergangen. Vielleicht bleibt unklar, ob die zugrunde liegenden Zahlen vorläufig sind.

Das lässt sich am erfundenen Klinikbeispiel zeigen: Wenn die Vorlage eine Untersuchung aus einer eng ausgewählten Gruppe auf den gesamten Verbund überträgt, verändert sich ihre Bedeutung. Die richtige Prüfung muss deshalb auch vom Auftrag und von den Ausgangsdokumenten ausgehen. Wer ausschließlich den Entwurf überfliegt, sieht nur, was hineingelangt ist.

Forschung zum Umgang von Sprachmodellen mit langen Eingaben gibt dafür einen weiteren Anlass zur Aufmerksamkeit. Nelson Liu und Kolleg:innen zeigten 2024 bei den von ihnen untersuchten Aufgaben, dass die Position relevanter Informationen die Leistung beeinflussen konnte. Daraus folgt keine feste Grenze für heutige Modelle. Es ist aber ein guter Grund, die Vollständigkeit der Informationsverarbeitung eigens zu prüfen. [2]

Mein Vorschlag wäre, den Arbeitsauftrag um eine ausdrückliche Lückenprüfung zu ergänzen. Welche Angaben fehlen? Welche Quellen widersprechen einander? Was müsste bekannt sein, bevor aus der Zusammenfassung eine Empfehlung werden kann? Diese Fragen helfen auch dann, wenn das Modell bereits einen überzeugenden Text geliefert hat.

Die Prüfung beginnt vor dem ersten Satz

Wer die Freigabe erleichtern will, kann schon den Auftrag enger fassen. Welcher Zweck soll erfüllt werden? Für wen ist das Dokument bestimmt? Welche Unterlagen sind verbindlich? Welche Schlussfolgerungen darf das System ziehen? Ein interner Überblick und eine Unterlage für eine folgenreiche Entscheidung verlangen unterschiedliche Sorgfalt.

Auch die Form spielt eine Rolle. Ein kurzer Entwurf mit klaren Abschnitten lässt sich anders prüfen als mehrere Seiten ausformulierte Prosa. Eine Empfehlung, ihre Begründung und die verbleibende Unsicherheit sollten erkennbar auseinanderliegen. Die Leser:innen können dann gezielt beurteilen, welchen Teil sie übernehmen und wo weiterer Klärungsbedarf besteht.

Bei Änderungen würde ich einen weiteren Grundsatz anwenden: Bereits geprüfte Inhalte sollten möglichst stabil bleiben. Wenn nur eine Quellenangabe korrigiert werden muss, ist die vollständige Neuerstellung des Dokuments häufig unnötig. Sie kann neue Abweichungen einführen und die vorherige Prüfung teilweise entwerten. Eine begrenzte Änderung mit sichtbarem Vergleich erleichtert die erneute Freigabe.

Das ist eine praktische Empfehlung aus der Gestaltung von Arbeitsabläufen. Ob sie Zeit spart und die Fehlererkennung verbessert, lässt sich mit echten Aufgaben überprüfen. Dazu gehören auch die Fälle, in denen die Bearbeitung abgebrochen werden muss, weil die Ausgangsinformationen keine tragfähige Aussage erlauben.

Menschliche Kontrolle braucht Arbeitsbedingungen

Die Weltgesundheitsorganisation betont für große multimodale Modelle im Gesundheitswesen klar bestimmte Aufgaben, angemessene Genauigkeit und Verlässlichkeit sowie die Beteiligung der betroffenen Nutzer:innen. Für mich gehört dazu die Frage, unter welchen Bedingungen diese Menschen ein Ergebnis beurteilen sollen. [3]

Eine Ärztin kann eine Zusammenfassung besser prüfen, wenn die entscheidenden Ausgangsbefunde zugänglich sind. Eine Führungskraft kann eine Empfehlung besser bewerten, wenn Annahmen und Unsicherheiten sichtbar sind. Ein:e Mitarbeiter:in kann eher widersprechen, wenn ein abweichendes Urteil ausdrücklich vorgesehen ist und keine Begründung dafür verlangt wird, warum man der KI überhaupt misstraut.

Zusätzliche maschinelle Prüfung kann dabei unterstützen. Ein zweites System kann etwa nach Widersprüchen oder fehlenden Belegen suchen. Seine Zustimmung sollte allerdings nicht als unabhängiger Nachweis behandelt werden, solange beide Systeme dieselben unzureichenden Informationen oder ähnliche Fehlannahmen verwenden. Die Qualität der Kontrolle hängt davon ab, worauf sie tatsächlich zugreifen und was sie vergleichen kann.

Für die Entscheidung über eine Einführung würde ich daher zwei Zeiten erfassen: die Dauer bis zum Entwurf und die Dauer bis zur verantwortbaren Verwendung. Daneben gehören die Art der Korrekturen und die übersehenen Fehler. Wenn sich nur die erste Zeit verbessert, lohnt sich ein genauer Blick auf den übrigen Ablauf.

Die anspruchsvollste Frage an einen KI-Entwurf lautet für mich: Kann die zuständige Person erkennen, worauf sie sich hier verlässt? Ein Dokument, das seine Belege, Grenzen und offenen Punkte sichtbar macht, gibt ihr dafür eine bessere Grundlage. Diese Eigenschaft sollte schon bei der Auswahl und Gestaltung eines Systems zählen.