Wann darf eine KI-gestützte Literatursichtung enden?

Eine Literaturübersicht für die Geschäftsführung ist bis Freitag fällig. Die KI hat vielversprechende Veröffentlichungen nach oben sortiert. Seit einer Weile tauchen kaum noch passende Treffer auf. Darf das Team aufhören? Für diese Entscheidung würde ich zuerst festhalten, welche Aussage die fertige Übersicht tragen soll und was mit den ungelesenen Einträgen geschieht.

Für medizinische Fachabteilungen, Pharmaunternehmen und Entwickler:innen von Medizintechnik kann dieselbe Literatur verschiedene Aufgaben erfüllen: eine erste Orientierung, die Vorbereitung einer Investition oder eine systematische Bewertung. Eine knappe Frist gehört deshalb in den Auftrag. Sie darf bei der Übergabe nicht aus der Beschreibung des Ergebnisses verschwinden.

Was die Forschung zur Vorsicht beiträgt

Kempny und Kolleg:innen untersuchten 2026 mit ASReview 1.6.1 fünf vorab klassifizierte Datensätze. Drei einfache Abbruchkriterien fanden in den Simulationen nicht durchgehend sämtliche relevanten Einträge. Untersucht wurde vollständige Erfassung unter diesen Bedingungen, ohne Vergleich heutiger Sprachmodelle oder Messung klinischer Folgen. [1]

Callaghan und Kolleg:innen verlangen in einem methodischen Kommentar von 2024, Abbruchregeln an einer angestrebten Erfassungsquote, belastbaren Unsicherheitsangaben und Prüfungen über verschiedene Datensätze auszurichten. Diese Empfehlungen sind fachliche Orientierung; sie liefern keine universelle Zahl ungelesener Veröffentlichungen, die eine Organisation bedenkenlos übrig lassen kann. [2]

Für die organisatorische Übergabe leite ich daraus einen einfachen Vorschlag ab: Jede Übersicht bekommt einen sichtbaren Bearbeitungsstand. Die folgenden Felder und Beispiele sind meine eigene Arbeitshilfe. Sie ersetzen weder ein Studienprotokoll noch die fachliche Festlegung einer statistischen Abbruchregel.

Drei Zustände bis in die Übergabe erhalten

Stellen wir uns eine fiktive Suche mit 10.000 bereinigten Einträgen vor. Das Team hat 1.000 Titel und Zusammenfassungen geprüft. Davon wurden 80 zur weiteren Prüfung vorgemerkt und 920 anhand der Kriterien ausgeschlossen. Die letzten 60 geprüften Einträge passten nicht. Weitere 9.000 wurden noch nicht geprüft. Diese Zahlen sind frei gewählt.

Die Übersicht sollte diese drei Zustände getrennt ausweisen: vorgemerkt, nach Prüfung ausgeschlossen, ungeprüft. Die 80 vorgemerkten Einträge sind auch noch keine 80 endgültig eingeschlossenen Studien. Mehrere Veröffentlichungen können dieselbe Studie betreffen; die Volltextprüfung steht in diesem Beispiel noch aus.

Auch die vollständige Prüfung des gefundenen Bestands belegt nicht, dass die ursprüngliche Suche jede relevante Veröffentlichung erfasst hat.

Die Rechnung 80 geteilt durch 1.000 ergibt einen Anteil von acht Prozent vorgemerkter Einträge unter den bisher geprüften. Sie sagt nicht, welcher Anteil aller relevanten Einträge gefunden wurde. Dafür fehlt die Zahl der relevanten Einträge im gesamten Bestand. Auch 80 geteilt durch 80 wäre hier eine irreführende Rechnung: Der Nenner enthielte nur bereits gefundene Treffer.

Ich würde den ungeprüften Bestand deshalb ausdrücklich in der Übergabe belassen. Eine ausgeblendete Restmenge kann später als geprüft missverstanden werden. Eine sichtbare Restmenge lässt sich dagegen einem weiteren Auftrag zuordnen, mit Verantwortlichen, Termin und einem klaren Verwendungszweck.

Die Entscheidungsfrage vor die Trefferliste stellen

Für eine vorläufige Geschäftsführungsunterlage könnte die Frage lauten: Welche Annahmen unseres Vorhabens müssen wir als Nächstes untersuchen? Dafür kann eine erste Auswahl bereits hilfreich sein, sofern ihre Grenzen sichtbar bleiben. Eine weitreichende Aussage wie „Die Literatur zeigt keinen relevanten Nachteil“ würde ich aus demselben Zwischenstand nicht freigeben. Das Beispiel belegt nur, was bisher geprüft wurde.

Im Auftrag würde ich drei Dinge festhalten: die konkrete Entscheidung, die zugelassene Aussageform und den Umgang mit Lücken. Beispielsweise: „Vorläufige Orientierung zur Planung weiterer Prüfungen; keine abschließende Bewertung; ungeprüfte Veröffentlichungen werden separat ausgewiesen.“ Damit kann auch jemand, der bei der Recherche nicht dabei war, den Status verstehen.

Für eine systematische Bewertung muss das verantwortliche Fachteam die dafür geltenden Methoden festlegen. Mein Vorschlag betrifft die Übergabe zwischen Recherche und Entscheidung. Er macht aus einer begrenzten Sichtung keine vollständige Bewertung.

Der Abbruch bekommt eine eigene Begründung

Ich würde den Satz „Wir hören auf, weil die letzten Treffer nicht passten“ durch eine kurze Entscheidungsvorlage prüfen lassen. Darin stehen der aktuelle Umfang, die verbleibende Menge, die angewandte Methode und die zuständige Person. Ist allein die Frist ausschlaggebend, heißt das Ergebnis „vorläufig abgeschlossen wegen Frist“. Ist eine fachlich begründete Abbruchregel angewandt worden, werden deren Bezeichnung, Voraussetzungen und Prüfung dokumentiert.

Die KI-Reihenfolge gehört ebenfalls in diese Vorlage. Eine Folge niedrig bewerteter Einträge ist kein automatisch zufällig gezogener Ausschnitt aus dem Restbestand. Wer eine Stichprobe zur Begründung verwenden will, muss Auswahl und Auswertung passend planen lassen. Eine zusätzliche Handvoll gelesener Texte sollte nicht nachträglich das Etikett einer statistischen Absicherung erhalten.

Praktisch würde ich in der Besprechung eine weitere Frage stellen: Welche offene Erkenntnis könnte die anstehende Entscheidung ändern? Daraus kann ein gezielter Folgeauftrag entstehen. Diese Suche ergänzt die bestehende Arbeit; ausbleibende Treffer beweisen für sich genommen keine Vollständigkeit.

Eine Übergabe, die später noch verständlich ist

Eine brauchbare Begleitnotiz könnte so lauten: „Stand: [Datum]. Zweck: [Entscheidung]. Geprüft: [Anzahl]. Zur weiteren Prüfung vorgemerkt: [Anzahl]. Nach Prüfung ausgeschlossen: [Anzahl]. Ungeprüft: [Anzahl]. Beendet aufgrund von: [Frist oder begründeter Regel]. Zulässige Verwendung: [Umfang]. Nächster Prüfschritt und verantwortlich: [Angabe].“

Bewahren Sie außerdem Suchdatum, Suchumfang, Auswahlkriterien, verwendete Softwareversion und die zugehörigen Entscheidungen so auf, dass das Fachteam den Stand wieder aufnehmen kann. Bei einer Aktualisierung sollte erkennbar sein, welche neuen Einträge hinzugekommen sind und ob Kriterien geändert wurden. Frühere Bewertungen müssen dann auf ihre weitere Gültigkeit geprüft werden.

Als Gründer von aiomics interessiert mich an dieser Frage besonders, welche Verantwortung beim Übergang von einem Werkzeugergebnis zu einer Organisationsentscheidung sichtbar bleibt. Eine Führungskraft sollte erkennen können, ob sie eine erste Orientierung oder eine abschließend geprüfte Grundlage vor sich hat. Das gehört für mich zur Qualität des Ergebnisses, ebenso wie die Auswahl der Texte selbst.