Nach dem KI-Vortrag: Welche Nachbereitung lohnt sich?

Die Veranstaltung ist vorbei. Das Organisationsteam verschickt Folien, Aufzeichnung und Zufriedenheitsbefragung. Alles davon kann nützlich sein. Eine weitere Beschaffungsentscheidung bleibt jedoch offen: Welche zusätzliche Arbeit hilft den Teilnehmenden, den Vortrag zu nutzen, und welche Belege rechtfertigen den Aufwand?

Bei einem KI-Vortrag gehört diese Entscheidung ins Vorgespräch. Eine Führungsrunde in einem Pharmaunternehmen sucht möglicherweise gemeinsame Begriffe für Investitionsentscheidungen. Eine ärztliche Fachgesellschaft möchte ihren Mitgliedern helfen, KI-Aussagen zu prüfen. Ein Unternehmen will eine geplante Veränderung durch ein bestimmtes Team untersuchen lassen. Diese Ziele verlangen unterschiedliche Formen der Nachbereitung.

Das gewünschte Ergebnis vor dem Format wählen

Geht es um Orientierung, lässt sich eine kurze Entscheidungshilfe vereinbaren: die zentrale Unterscheidung, die zugehörigen Quellen und die offenen Fragen. Darauf können Leser:innen zurückkommen, wenn das Thema wieder auftaucht. Eine Aufzeichnung erschließt den Vortrag; eine knappe Entscheidungshilfe macht die maßgebliche Argumentation leichter auffindbar. Abrufzahlen und gute Bewertungen belegen noch keine Anwendungskompetenz.

Geht es um Lernen, vereinbaren Sie eine kleine Anschlussaufgabe mit Erläuterung der Lösung und einer Möglichkeit, offene Fragen sichtbar zu machen. Sie knüpft an eine Fähigkeit aus dem Vortrag an. Der vorhandene Leitfaden zur KI-Lerneinheit beschreibt, wie eine Übungsaufgabe entsteht. Hier entscheidet das Organisationsteam, wer die Nachbereitung erstellt, durchführt und auswertet.

Geht es um eine betriebliche Entscheidung, benennen Sie das Team, das eine anschließende Besprechung verantwortet. Deren Ergebnis könnte ein kurzer Vermerk sein: die zu prüfende Annahme, die noch fehlenden Belege und die Person, die sie beschafft. Ein allgemeiner Vortrag erteilt selbst keine Projektfreigabe. Die Verantwortung für die Entscheidung bleibt in der Organisation.

Das sind Vorschläge für die Vorbereitung, ohne Nachweis einer wirksamen Gesamtlösung. Eine passende Variante auszuwählen kann sinnvoller sein, als alle drei ohne Empfänger:in und Zweck zu beauftragen.

Was die Forschung trägt und wo sie endet

Larsens Bericht von 2015 analysierte 35 Teilnehmende medizinischer Kongresskurse. Innerhalb jeder Person wurden Inhalte wiederholten Fragen mit Rückmeldung, erneutem Lesen oder keiner Nachbereitung zugeteilt. Abgefragtes Wissen blieb nach 5,5 Monaten besser erhalten. Der Abschlusstest wiederholte die Fragen; zahlreiche Ausfälle begrenzen die Übertragbarkeit. Verändertes Berufshandeln wurde nicht gemessen.[1]

Van Eersel und Kolleg:innen analysierten 2016 im Experiment 54 Psychologiestudierende. Abrufen mit Rückmeldung übertraf erneutes Lesen bei Übertragungsaufgaben nach einer Woche. Wurde das Lesen um Kernaussagen ergänzt, schrumpfte der Vorteil, blieb aber bestehen. Unterschiedliche Lernzeiten begrenzen die Einordnung. Untersucht wurde eine Laboraufgabe, keine Veranstaltungsnachbereitung.[2]

Für die Beauftragung leite ich daraus ab, Erläuterungen und Vergleichsmaterial ebenso sorgfältig festzulegen wie die Fragen. Eine Frage ohne hilfreiche Besprechung der Antwort ist eine andere Leistung als die untersuchten Maßnahmen. Keine der beiden Arbeiten belegt einen optimalen Erinnerungsrhythmus für einen KI-Vortrag oder dessen finanzielle Rendite.

Festlegen, welche Aussagen der Ergebnisbericht tragen kann

Die Hinweise der CDC zur Bildungsbewertung unterscheiden Lernen von Anwendung im Beruf. Eine Abschlussprüfung allein belegt demnach keine Verbesserung gegenüber dem Ausgangspunkt. Der Zeitpunkt der Nachbereitung hängt vom Ziel und von der Gelegenheit zur Anwendung ab. Diese Unterscheidungen helfen, den Umfang einer Veranstaltungsbewertung festzulegen.[3]

Nehmen wir eine fiktive Veranstaltung mit 200 eingeladenen Teilnehmenden. Vierzig bearbeiten eine spätere Aufgabe; 30 erfüllen die vereinbarten Kriterien für die Begründung. Der Bericht kann festhalten, dass 30 von 40 Antwortenden diese Kriterien erfüllt haben. Daraus folgt nicht, dass 75 Prozent aller Eingeladenen die Fähigkeit erworben haben. Zu den übrigen 160 liegt in dieser Hinsicht kein Befund vor. Auch Vorwissen könnte eine gute Antwort erklären.

Selbst wenn dieselben Personen bei vergleichbaren Aufgaben vor und nach der Veranstaltung besser abschneiden, isoliert diese Beobachtung noch nicht den Effekt des Vortrags. Andere Lerngelegenheiten, Übung und die Nachbereitung selbst können beitragen. Eine Frage nach der Ursache verlangt einen geeigneten Vergleich und eine dafür tragfähige Untersuchung.

Für die gewöhnliche Planung lassen sich vier Beobachtungen getrennt erfassen: Wen hat die Nachbereitung erreicht, wer hat sie abgeschlossen, was zeigte die bearbeitete Aufgabe und folgte eine dokumentierte Handlung im Betrieb? Ein Handlungsvermerk belegt ein Geschehen; er zeigt für sich genommen noch keine bessere Entscheidung. Diese Berichtsstruktur ist mein Vorschlag, kein neuer Messstandard.

Verantwortung und Aufwand in die Vorbereitung aufnehmen

Halten Sie vor der Veranstaltung das gewünschte Ergebnis, die vereinbarte Leistung, deren Empfänger:innen, die verantwortliche Person und die zu erhebenden Belege fest. Hinzu kommen Vorbereitungsaufwand, Liefertermin und der Zeitbedarf für die Teilnehmenden. Der Termin richtet sich nach einer realistischen Anwendungsmöglichkeit. Ein bestimmter Abstand erhält dadurch noch keinen wissenschaftlich begründeten Vorrang.

Erklären Sie, ob die Teilnahme freiwillig ist, wer Antworten sieht und wie lange sie aufbewahrt werden. Eine freiwillige Aufgabe darf nicht unbemerkt zur individuellen Leistungsbewertung werden. Nutzen Sie fiktive oder ausdrücklich freigegebene Fälle. Teilnehmende brauchen einen zugänglichen Teilnahmeweg und eine klare Anlaufstelle für Fragen. Vertrauliche Arbeitsbeispiele müssen für eine nützliche Nachbereitung nicht eingesammelt werden.

Als Gründer von aiomics interessiert mich die Verbindung zwischen einer Diskussion über KI und einer Entscheidung, die anschließend jemand verantwortlich treffen kann. Für die Veranstaltungsplanung macht ein Satz diese Verbindung konkret: Nach dem Vortrag erhält diese Person diese Arbeitshilfe, nutzt sie für diese Entscheidung und berichtet über diese Beobachtungen. Dieser Satz ergänzt die Vorbereitung sinnvoll.