Avant un essai d’IA, décider de ce qui justifierait son arrêt

Un essai d’IA doit permettre une décision même lorsque ses résultats déçoivent. Avant de commencer, je préciserais donc quelle observation justifierait une extension, laquelle demanderait un examen complémentaire et laquelle interromprait l’essai. Cet accord protège le temps limité des personnes impliquées. Il indique aussi le degré d’incertitude que le prochain engagement peut accepter.

La fiche de décision proposée ici concerne un essai organisationnel circonscrit. Elle complète l’évaluation détaillée de la qualité et de l’effort par une autre question : quelle décision les observations doivent-elles permettre ? L’exemple est entièrement fictif. Il porte sur la préparation de documents d’achat internes, sans prise en charge de patient·es ni évaluation en vue d’une autorisation médicale.

Nommer la prochaine décision avant le premier résultat

Un groupe hospitalier souhaite utiliser l’IA pour transformer des documents techniques autorisés en synthèses comparables destinées aux achats. L’amélioration attendue est un dossier de décision utilisable, produit avec moins de travail au total. Après quatre semaines, le groupe doit décider s’il convient d’essayer le même processus dans une autre équipe d’achat. Un déploiement dans tout le groupe est explicitement exclu de cette décision. La durée et le périmètre sont des hypothèses choisies pour l’exemple.

Cette limite change la justification nécessaire. Un nouvel essai restreint demande d’autres éléments qu’un contrat de longue durée ou une communication externe automatisée. La fiche doit donc nommer la prochaine étape, ses coûts supplémentaires et la personne habilitée à décider. Dire « nous verrons ensuite » laisse ces questions ouvertes et n’engage personne à prendre une décision que l’essai pourrait éclairer.

Distinguer trois catégories de règles

Premièrement, l’essai exige des règles d’interruption pour les événements qui sortent du cadre autorisé. Dans cet exemple, il pourrait s’agir d’un envoi vers un destinataire non autorisé ou de l’utilisation d’un brouillon non vérifié comme commande ferme. L’interruption concerne l’usage convenu. La personne responsable examine l’événement et décide des suites selon la procédure existante.

Deuxièmement, des règles déterminent si les éléments disponibles sont suffisants. Si l’essai porte uniquement sur des documents particulièrement simples, il peut omettre précisément les cas qui justifiaient sa réalisation. Des relevés de temps manquants peuvent aussi rendre la comparaison inutilisable. Ce constat signifie d’abord que la décision prévue ne dispose pas d’une base suffisante. Il n’établit ni l’utilité ni l’inadéquation de l’application.

Troisièmement, des règles encadrent la poursuite économique et organisationnelle. Elles peuvent concerner un effort total acceptable, une qualité suffisante pour l’usage prévu et un accompagnement opérationnel effectif. Elles s’appliquent lorsque le cadre autorisé a été respecté et que la comparaison apporte suffisamment d’éléments. Dans cette structure, un gain de temps ne peut compenser une violation des règles encore non résolue.

L’extension CONSORT de 2016 traite des critères de progression prédéfinis dans les essais pilotes et de faisabilité randomisés. Elle invite aussi à la prudence face aux seuils rigides lorsque les estimations sont incertaines. Elle concerne la recherche préparatoire ; ma fiche organisationnelle constitue une adaptation distincte. [1]

Relier le bénéfice attendu à ses effets possibles ailleurs

L’IHI distingue les mesures de résultat, de processus et d’équilibrage. Ces dernières recherchent les problèmes qu’une amélioration peut créer ailleurs. Cette méthode ne démontre pas l’efficacité du processus d’IA proposé ici. [2]

Pour cet essai fictif, je retiendrais comme mesure de résultat le temps de travail actif jusqu’à l’acceptation de la synthèse par la personne qualifiée pour la vérifier. Il comprend la préparation, les vérifications, les questions et les reprises dans toutes les fonctions concernées. Une mesure de processus indique si la vérification convenue a bien eu lieu. Une mesure d’équilibrage recense les questions supplémentaires adressées aux services spécialisés après la transmission.

Pour chaque mesure, précisez qui la recueille, la période couverte et le traitement des valeurs manquantes. Une case vide ne doit ensuite compter ni comme dossier sans erreur ni comme gain de temps. Consignez aussi les cas exclus. Des résultats obtenus sur des documents standard complets renseignent peu sur un usage ultérieur avec des informations contradictoires ou incomplètes.

Déduire les seuils de la décision

Supposons que l’équipe exige un gain moyen d’au moins deux minutes par dossier entièrement vérifié avant de justifier un nouvel essai. Ce chiffre est une hypothèse librement choisie. L’argument pourrait être qu’un gain inférieur ne justifierait pas l’accompagnement supplémentaire dans ce processus limité. Une autre équipe pourrait raisonnablement retenir une autre valeur.

Cet objectif demande également une manière de traiter l’incertitude. L’équipe pourrait convenir qu’une amélioration apparente accompagnée de résultats très variables déclenche une période supplémentaire de mesure, précisément délimitée. Une dégradation nette sur des cas suffisamment comparables plaiderait contre l’extension. Une personne disposant des compétences nécessaires devrait définir la marge d’incertitude pertinente et sa méthode d’estimation avant l’interprétation des résultats.

Évitez de choisir arbitrairement un nombre minimal de cas qui donnerait une impression de certitude scientifique. Le nombre nécessaire dépend notamment de la variabilité, des erreurs rares, des différences entre personnes chargées de vérifier et des conséquences de la prochaine décision. Traiter plusieurs fois le même document n’apporte pas des observations indépendantes sur de nouveaux cas. Lorsque ces questions restent ouvertes, la fiche doit préciser les limites de l’essai et l’examen complémentaire nécessaire.

Remplir la fiche de décision ensemble

La fiche imprimable condense cette proposition en neuf rubriques. Elle facilite la discussion et sa documentation. Les autorisations professionnelles, techniques ou juridiques requises restent soumises aux procédures établies.

Télécharger la fiche de décision en PDF

1. Décision : quelle prochaine étape limitée est envisagée, qui décide et à quelle date ?
2. Tâche : où commence et se termine le processus, quels cas sont inclus et lesquels sont exclus ?
3. Comparaison : quel processus existant sert de référence et comment rendre les cas comparables ?
4. Bénéfice attendu : quel changement compte pour la fonction destinataire, comment le mesurer et pourquoi l’objectif est-il pertinent ?
5. Qualité et effets indirects : quels défauts sont relevés séparément et quel travail supplémentaire pourrait apparaître ailleurs ?
6. Interruption : quel événement arrête immédiatement l’essai en cours, qui peut l’arrêter et quelle solution de repli sûre s’applique ?
7. Éléments disponibles : quels cas, mesures et documents doivent être présents, et quand l’évaluation est-elle insuffisante ?
8. Règle de décision : qu’est-ce qui justifie une extension, une vérification supplémentaire limitée ou un arrêt, et qui peut motiver une dérogation ?
9. Exécution : quelle version est testée, quelles limites de temps et de coût s’appliquent, où conserver les documents et qui assure le suivi ?

Simuler la décision avant de commencer

Avant l’essai, je confronterais la fiche remplie à trois résultats fictifs. Dans le premier, le temps de traitement diminue, mais le service suivant reçoit davantage de questions. Dans le deuxième, l’effort reste identique alors que la qualité attendue est atteinte. Dans le troisième, les quelques valeurs recueillies semblent encourageantes, mais les documents difficiles manquent. Tout le monde désigne-t-il la même prochaine étape dans chaque cas ?

Des réponses différentes révèlent un point utile. Pour une personne, réussir peut signifier améliorer la comparabilité ; une autre attend uniquement une diminution des coûts. Il convient de clarifier cette différence avant l’essai. Sinon, l’équipe risque ensuite de discuter des données alors qu’elle évalue des objectifs différents. La fiche peut révéler ce conflit, sans pouvoir imposer sa résolution.

Permettre des modifications qui restent traçables

De nouvelles informations peuvent rendre une règle initiale inadaptée. Il faut alors un avenant daté : qu’est-ce qui a changé, qui l’accepte, quels résultats étaient déjà connus et quelle conclusion devient plus fragile ? La version d’origine doit rester identifiable. Une adaptation peut être justifiée tout en limitant la comparabilité.

À la date de décision, les observations sont confrontées aux règles convenues. Les lacunes de mesure reçoivent un nom et une tâche de clarification limitée. Une décision positive précise également son périmètre et le prochain examen. Pour moi, cela relève du jugement entrepreneurial : traduire une promesse technique en un engagement dont l’ampleur correspond aux éléments disponibles.