Gemeinsame KI-Anweisungen pflegen: Änderungen prüfen und Fassungen erhalten

Eine gemeinsam genutzte KI-Anweisung verändert sich schnell. Jemand ergänzt eine Formulierung, eine Kollegin entfernt einen Absatz, ein neuer Modellstand wird verfügbar. Jede Änderung kann für sich vernünftig erscheinen. Einige Wochen später lässt sich trotzdem schwer erklären, warum derselbe Arbeitsauftrag andere Ergebnisse erzeugt. Für mich beginnt die Pflege einer Anweisung deshalb mit einer einfachen Frage: Welche Fassung hat unter welchen Bedingungen welches Verhalten gezeigt?

Dieser Leitfaden behandelt Anweisungen für begrenzte organisatorische Aufgaben. Das Beispiel ist frei erfunden: Ein Medizintechnikunternehmen nutzt eine Vorlage, um aus freigegebenen Besprechungsnotizen eine interne Aufgabenübersicht zu entwerfen. Personenbezogene oder vertrauliche Inhalte dürfen nur innerhalb der tatsächlich genehmigten Umgebung verarbeitet werden. Eine gut geschriebene Vorlage erweitert diese Erlaubnis nicht. Für patientenbezogene Entscheidungen reicht das hier beschriebene Verfahren ebenfalls nicht als Freigabe aus.

Warum eine sprachliche Verbesserung geprüft werden sollte

Sclar und Kolleg:innen untersuchten in ihrer 2024 veröffentlichten Arbeit unter anderem 53 Klassifikations- und Auswahlaufgaben mit damaligen Sprachmodellen. Veränderungen der Darstellung bei gleicher beabsichtigter Bedeutung konnten die gemessene Genauigkeit deutlich verändern; günstige Darstellungen übertrugen sich nur begrenzt zwischen Modellen. Diese Versuche bestimmen keine Fehlerquote für heutige klinische Anwendungen. Sie begründen eine engere Frage: Bleibt das gewünschte Verhalten nach einer Änderung erhalten? [1]

Das freiwillige NIST-Profil für generative KI von Juli 2024 nennt nachvollziehbare Fassungen und die Erprobung von Benutzeranweisungen als mögliche Maßnahmen. Es bewertet keine bestimmte betriebliche Vorlagensammlung. Die folgende Pflegevereinbarung ist mein eigener Vorschlag, wie sich diese Gedanken mit überschaubarem Aufwand auf eine gemeinsam verwendete Anweisung übertragen lassen. [2]

Zuerst den Auftrag eingrenzen

Die Beispielvorlage soll beschlossene Aufgaben, ausdrücklich genannte Zuständigkeiten und vorhandene Termine aus einem Protokoll zusammentragen. Sie soll offene Fragen kenntlich machen. Ein Vorschlag aus der Diskussion darf dabei seinen vorläufigen Status behalten. Wenn niemand eine Aufgabe übernommen hat, bleibt die Zuständigkeit offen. So entsteht ein überprüfbarer Auftrag, an dem sich eine Änderung beurteilen lässt.

Neben der Anweisung stehen sechs kurze Angaben: erlaubter Zweck, geeignete Eingaben, ausgeschlossene Verwendung, zuständige Person, geprüfte Umgebung und aktuelle Fassung. Zur Umgebung gehören das verwendete Modell, die Anwendung und verfügbare Zusatzfunktionen, soweit diese Angaben zugänglich sind. Auch das Prüfdatum gehört dazu. Verbirgt ein Anbieter den genauen Modellstand, wird diese Unkenntnis festgehalten. Eine erfundene Versionsnummer wäre für die spätere Fehlersuche wertlos.

Für die Pflege braucht es eine erreichbare fachliche Zuständigkeit. Im Beispiel kann die verantwortliche Person für Projektabläufe beurteilen, ob Beschluss und Diskussionsbeitrag sauber getrennt werden. Eine technische Kollegin kann die Bereitstellung übernehmen. In einem kleinen Unternehmen können beide Aufgaben bei derselben Person liegen. Erkennbar bleiben sollte, wer eine veränderte Fassung für den gemeinsamen Einsatz freigibt.

Einen kleinen Prüfbestand aufbauen

Ich würde mit wenigen erfundenen Protokollen beginnen, deren erwartete Behandlung eindeutig beschrieben ist. Ein Beispiel enthält klare Aufgaben. Ein zweites enthält eine vorgeschlagene Frist, über die niemand entschieden hat. Ein drittes nennt zwei Personen mit widersprüchlichen Zuständigkeiten. Ein viertes enthält eine spätere Korrektur eines früheren Beschlusses. Ein fünftes enthält eine leere oder unvollständige Eingabe. Die Zahl ist ein Ausgangspunkt für die Organisation, keine wissenschaftlich bestimmte Mindestgröße.

Die erwartete Antwort sollte vor der Erprobung feststehen. Bei der vorgeschlagenen Frist lautet das Kriterium beispielsweise: als Vorschlag kennzeichnen und keine beschlossene Fälligkeit ausgeben. Bei der Korrektur muss erkennbar sein, welche Aussage ersetzt wurde. Eine Beurteilung nach sprachlicher Eleganz würde diese Unterschiede verdecken. Erhaltene Bedeutung, erkennbare Unsicherheit und brauchbare Zuordnung sind hier die wichtigeren Eigenschaften.

Einige Fälle bleiben für eine spätere Prüfung zurück. Sonst lässt sich eine Vorlage so lange an denselben Beispielen verbessern, bis sie hauptsächlich deren Besonderheiten abbildet. Zusätzlich sollten unterschiedliche Kolleg:innen ausprobieren, ob sie die Eingabevorgaben verstehen. Sobald echte Daten für eine Prüfung erwogen werden, müssen deren Verwendung und Aufbewahrung gesondert geklärt sein. Für die erste Pflegeübung reichen erfundene Inhalte.

Eine Änderung als überprüfbare Vermutung behandeln

Angenommen, die Aufgabenübersicht ist zu lang. Eine Kollegin schlägt vor, jede Aufgabe auf einen Satz zu kürzen. Die Änderungsnotiz kann dann lauten: Die neue Fassung soll Wiederholungen reduzieren; Vorbehalte und fehlende Zuständigkeiten müssen erhalten bleiben. Damit steht fest, welche Verbesserung gesucht wird und welche Eigenschaft durch die Kürzung gefährdet sein könnte.

Die alte und die neue Fassung erhalten dieselben erlaubten Beispiele unter möglichst gleichen Bedingungen. Mehrere Durchläufe können zeigen, ob ein beobachteter Unterschied wiederkehrt. Ihre Anzahl richtet sich nach Bedeutung und Veränderlichkeit der Aufgabe; aus wenigen erfolgreichen Antworten entsteht keine allgemeine Zuverlässigkeitsgarantie. Sinnvoll ist eine kurze Ergebnisnotiz mit den beobachteten Abweichungen und der Entscheidung, ob zusätzliche Prüfung erforderlich ist.

Im erfundenen Fall verschwindet nach der Kürzung der Zusatz, dass eine Frist noch abgestimmt werden muss. Diese Fassung sollte deshalb überarbeitet werden. Die Änderungsnotiz bleibt erhalten, damit die nächste Person denselben Versuch nachvollziehen kann. Eine verworfene Änderung gehört zum Wissen über die Vorlage. Sie kann erklären, warum eine scheinbar umständliche Formulierung bisher gebraucht wurde.

Freigabe, Rückkehr und weitere Verwendung verbinden

Die veröffentlichte Fassung erhält eine eindeutige Kennung und einen Verweis auf ihre Vorgängerin. Wer eine Vorlage kopiert, sollte erkennen können, wo die aktuelle gemeinsame Fassung liegt. Ein kurzer Hinweis auf ersetzte Fassungen hilft, alte Kopien einzuordnen. Werden mehrere Varianten parallel gebraucht, benennt jede ihren eigenen Zweck. Eine versteckte Anpassung für eine einzelne Abteilung erschwert sonst spätere Vergleiche.

Auch die Rückkehr zur vorherigen Fassung wird vorbereitet. Sie umfasst deren Anweisung und bekannte Umgebung, soweit diese noch verfügbar ist. Wenn der Anbieter das zugrunde liegende Modell ersetzt hat, kann eine alte Textvorlage das frühere Verhalten nicht vollständig wiederherstellen. In diesem Fall braucht es eine erneute Prüfung oder ein vereinbartes manuelles Vorgehen. Die gespeicherte Fassung bleibt trotzdem als Vergleichsgrundlage nützlich.

Ein neuer Modellstand, geänderte Eingaben oder ein wiederkehrendes Missverständnis sind mögliche Anlässe für eine zusätzliche Prüfung. Ein fester Termin ergänzt diese Anlässe. Die Organisation wählt den Abstand nach Verwendungshäufigkeit und Folgen eines Fehlers. Eine selten verwendete Übersicht und eine täglich weiterverarbeitete Aufgabenliste verdienen unterschiedliche Aufmerksamkeit.

Woran eine gepflegte Sammlung erkennbar wird

Eine nützliche Sammlung beantwortet für jede Vorlage dieselben praktischen Fragen: Wofür ist sie gedacht? Welche Eingaben wurden geprüft? Welche Schwierigkeiten sind bekannt? Wer nimmt Hinweise entgegen? Welche Fassung wird gemeinsam verwendet? Diese Angaben machen es Kolleg:innen leichter, eine passende Vorlage auszuwählen und eine ungeeignete Verwendung rechtzeitig zu erkennen.

Für den nächsten internen Termin würde ich eine häufig kopierte Anweisung auswählen und ihre jüngste Änderung rekonstruieren. Wenn niemand mehr sagen kann, warum ein Absatz ergänzt wurde, ist das ein guter Anfangspunkt für die Pflege. Das Ergebnis sollte eine verständliche, prüfbare Fassung mit erreichbarer Zuständigkeit sein. Ihr Wert liegt darin, dass die Organisation ihre Arbeitsweise gezielt weiterentwickeln kann.