Quand peut-on arrêter un tri bibliographique assisté par l’IA ?

Une synthèse bibliographique destinée à la direction doit être prête vendredi. L’IA a placé les publications prometteuses en tête de liste. Depuis quelque temps, peu de références pertinentes apparaissent. L’équipe peut-elle s’arrêter ? Pour prendre cette décision, je commencerais par préciser ce que la synthèse doit permettre d’affirmer et ce qu’il adviendra des références non examinées.

Pour les services médicaux, les entreprises pharmaceutiques et les fabricants de technologies médicales, une même littérature peut servir plusieurs objectifs : une première orientation, la préparation d’un investissement ou une évaluation systématique. Un délai serré doit donc figurer dans la commande. Il doit rester visible dans la description du résultat lors de sa transmission.

Ce que la recherche apporte

En 2026, Kempny et ses collègues ont étudié cinq jeux de données déjà classés avec ASReview 1.6.1. Trois critères simples d’arrêt n’ont pas systématiquement retrouvé toutes les références pertinentes. L’étude visait l’exhaustivité dans ces simulations, sans comparaison des modèles de langage actuels ni mesure d’effets cliniques. [1]

Dans un commentaire méthodologique de 2024, Callaghan et ses collègues demandent des règles d’arrêt fondées sur un rappel cible, des estimations fiables de l’incertitude et des évaluations entre jeux de données. Cet avis ne fixe aucun nombre universel de publications pouvant rester non examinées sans risque. [2]

Ma proposition organisationnelle consiste à joindre à chaque synthèse un état d’avancement visible. Les rubriques et les exemples ci-dessous constituent ma propre aide pratique. Ils ne remplacent ni un protocole d’étude ni la définition, par des spécialistes, d’une règle statistique d’arrêt.

Conserver trois états jusqu’à la transmission

Imaginons une recherche fictive comprenant 10 000 références après nettoyage. L’équipe a examiné 1 000 titres et résumés. Elle en a retenu 80 pour une évaluation supplémentaire et exclu 920 selon les critères établis. Les 60 dernières références examinées ne convenaient pas. Il en reste 9 000 à examiner. Ces nombres sont inventés.

La synthèse devrait distinguer ces trois états : retenu, exclu après examen et non examiné. Les 80 références retenues ne représentent pas encore 80 études définitivement incluses. Plusieurs publications peuvent concerner une même étude ; dans cet exemple, l’examen des textes intégraux reste à faire.

Même l’examen complet du corpus recueilli ne prouve pas que la recherche initiale a trouvé toutes les publications pertinentes.

Diviser 80 par 1 000 donne une proportion de huit pour cent de références retenues parmi celles déjà examinées. Ce calcul ne dit pas quelle proportion de toutes les références pertinentes a été trouvée. Il manque le nombre de références pertinentes dans l’ensemble du corpus. Diviser 80 par 80 serait également trompeur : le dénominateur ne contiendrait que des références déjà trouvées.

Je conserverais donc explicitement le corpus non examiné lors de la transmission. Une quantité restante invisible pourrait être prise, plus tard, pour un travail achevé. Une quantité visible peut faire l’objet d’une nouvelle mission, avec une personne responsable, une échéance et un usage précis.

Placer la décision avant la liste de lectures

Pour une note préliminaire destinée à la direction, la question pourrait être : quelles hypothèses de notre projet devons-nous examiner ensuite ? Une première sélection peut déjà être utile, si ses limites restent visibles. Je ne validerais pas une affirmation beaucoup plus large, telle que « la littérature ne montre aucun désavantage pertinent », sur la base du même résultat intermédiaire. L’exemple établit uniquement ce qui a été examiné jusqu’ici.

Je préciserais trois éléments dans la commande : la décision, le type d’affirmation autorisé et le traitement des lacunes. Par exemple : « Première orientation pour préparer une évaluation supplémentaire ; aucune évaluation définitive ; les publications non examinées seront indiquées séparément. » Une personne n’ayant pas participé à la recherche peut alors comprendre son état d’avancement.

Pour une évaluation systématique, l’équipe spécialisée responsable doit définir les méthodes applicables. Ma proposition concerne la transmission entre recherche et décision. Elle ne transforme pas un examen limité en évaluation complète.

Donner à l’arrêt sa propre justification

Je confronterais la phrase « nous nous arrêtons parce que les dernières références n’étaient pas pertinentes » à une courte note de décision. Celle-ci préciserait le volume examiné, le corpus restant, la méthode appliquée et la personne responsable. Si seule l’échéance détermine la décision, le résultat porterait la mention « clôture provisoire en raison de l’échéance ». Si une règle d’arrêt justifiée a été appliquée, son nom, ses hypothèses et son évaluation seraient consignés.

Le classement produit par l’IA doit également figurer dans cette note. Une succession de références placées en bas du classement ne constitue pas automatiquement un échantillon aléatoire du corpus restant. L’utilisation d’un échantillon comme justification exige un plan adapté de sélection et d’analyse. La lecture de quelques textes supplémentaires ne devrait pas recevoir, après coup, l’étiquette de garantie statistique.

Pendant la discussion, je poserais une autre question : quel résultat encore inconnu pourrait modifier la décision à prendre ? Il peut en découler une mission complémentaire ciblée. Cette recherche complète le travail existant ; l’absence de nouveaux résultats ne prouve pas, à elle seule, l’exhaustivité.

Une transmission qui reste compréhensible

Une note d’accompagnement utile pourrait être rédigée ainsi : « Situation au : [date]. Objectif : [décision]. Références examinées : [nombre]. Retenues pour évaluation supplémentaire : [nombre]. Exclues après examen : [nombre]. Non examinées : [nombre]. Motif de l’arrêt : [échéance ou règle justifiée]. Usage autorisé : [périmètre]. Prochaine étape d’évaluation et personne responsable : [précisions]. »

Conservez aussi la date et le périmètre de la recherche, les critères de sélection, la version du logiciel et les décisions associées, afin que l’équipe spécialisée puisse reprendre le travail. Lors d’une actualisation, rendez visibles les références ajoutées et les éventuelles modifications des critères. Il faut alors vérifier que les évaluations antérieures restent applicables.

En tant que fondateur d’aiomics, je m’intéresse particulièrement aux responsabilités qui restent visibles lorsqu’un résultat fourni par un outil devient une décision organisationnelle. Une personne dirigeante devrait pouvoir distinguer une première orientation d’une évaluation achevée. Cela fait, à mes yeux, partie de la qualité du résultat, au même titre que la sélection des textes.