Qui manque dans votre essai pilote d’IA réussi ?

Un hôpital fictif essaie un outil d’IA pour la documentation avec un petit groupe de médecins enthousiastes. Du temps est réservé à leur initiation et l’équipe du projet est directement joignable. Plusieurs médecins disent que l’outil les aide. La direction envisage désormais d’étendre l’accès à tout l’établissement. Avant d’interpréter ce résultat, je demanderais qui n’apparaît jamais dans le groupe dont on commente l’expérience.

Cette question préserve la valeur de l’essai. Les premiers volontaires peuvent découvrir des usages utiles et révéler des difficultés pendant que le service évolue encore. Leur expérience devient plus difficile à interpréter lorsqu’elle soutient implicitement une décision concernant tous les autres salariés. Le prochain investissement devrait aussi dépendre des personnes et des conditions de travail réellement étudiées.

Les premiers volontaires répondent à une question délimitée

Dans son intervention publiée par Y Combinator le 14 janvier 2026, Ankit Gupta explique comment trouver les premiers utilisateurs d’un produit. Elle a inspiré cette réflexion sur le passage de la participation initiale à une adoption plus large. Elle propose des conseils entrepreneuriaux, sans évaluation clinique. [1]

Pour un fondateur, une personne disposée à surmonter les difficultés initiales est précieuse. Pour un hôpital qui envisage un usage courant, cette disposition fait aussi partie des conditions de l’essai. Une personne qui réorganise ses consultations, s’exerce chez elle ou contacte personnellement le fournisseur pourrait rendre l’outil utilisable grâce à des conditions que l’organisation ne fournit pas encore couramment. Ce sont des mécanismes possibles à examiner. Je ne les attribue pas aux personnes de l’exemple fictif.

Je distinguerais donc deux questions dès le départ : ce groupe peut-il trouver un usage intéressant, et dans quelles conditions l’ensemble du personnel concerné pourrait-il utiliser l’outil ? Une réponse positive à la première peut justifier l’examen de la seconde. Elle laisse cette seconde question ouverte.

Suivre les personnes jusqu’au résultat

Le rapport de Franklin, publié en avril 2026, porte sur des essais ambulatoires menés en 2024 dans deux centres universitaires américains. Parmi des professionnels de santé volontaires sélectionnés par la direction, 166 ont été invités à l’enquête initiale ; 120 réponses au suivi ont été analysées. Parmi les répondants, 56,7 % se déclaraient précurseurs technologiques. Ces enquêtes décrivent des expériences sélectionnées, sans comparaison randomisée. [2]

Ces chiffres ne révèlent pas combien de salariés de ces établissements auraient pu bénéficier de l’outil. Ils ne permettent pas davantage de savoir si les collègues absents auraient obtenu de meilleurs ou de moins bons résultats. La sélection pour un essai et l’absence de réponses au suivi soulèvent des questions différentes : qui a reçu une occasion de participer, et de qui l’expérience est-elle ensuite devenue visible ? L’enthousiasme des personnes qui ont répondu ne résout aucune de ces questions.

Pour une décision locale, je propose de retracer brièvement ce parcours. Le point de départ est le personnel auquel on envisage d’étendre l’usage. Il faut ensuite préciser qui remplissait les critères convenus, qui a reçu une invitation, accepté, obtenu un accès fonctionnel et utilisé l’outil pour la tâche concernée. Vient enfin le nombre de personnes dont les résultats étaient disponibles au suivi prévu. Chaque chiffre devrait concerner la même période définie ou expliquer les différences.

Le dénominateur change le sens d’un pourcentage. Une appréciation favorable parmi les personnes ayant rempli un questionnaire répond à une autre question que la participation parmi toutes les personnes invitées. L’utilisation régulière parmi celles qui disposent d’un accès fonctionnel diffère de l’utilisation régulière parmi toutes celles auxquelles une licence a été proposée. Présenter les deux peut révéler un problème d’accès masqué par une satisfaction moyenne.

Cette proposition d’organisation de la décision n’a pas été évaluée comme instrument de mesure. Une succession d’étapes ne peut pas non plus réparer une comparaison fragile ni établir un bénéfice clinique. Elle vise à relier la décision d’extension aux personnes effectivement observées.

Compter séparément le personnel et les patients

Le cadre RE-AIM distingue la participation des bénéficiaires visés de l’adoption par les établissements et le personnel. Ses questions officielles, révisées en septembre 2020, examinent aussi les ressemblances entre participants et personnes qui déclinent. Ce cadre étudie la mise en œuvre ; il ne démontre pas l’efficacité d’un outil d’IA particulier. [3]

Un essai de documentation peut couvrir de nombreuses consultations réalisées par très peu de médecins. Des consultations supplémentaires peuvent renseigner utilement sur leur travail. Elles ne créent pas de nouveaux exemples indépendants de l’apprentissage du système par un collègue. De même, recruter davantage de médecins dans un service bien accompagné laisse ouvertes les questions concernant les conditions de travail d’un autre service.

Je demanderais à l’équipe de préciser l’unité qui soutient chaque conclusion : un document, une consultation, une personne ou un service. L’analyse statistique relève de spécialistes capables de tenir compte de la dépendance entre observations. La direction doit veiller à ce qu’un grand nombre de documents ne suggère pas une expérimentation étendue à de nombreux professionnels.

Rendre l’accompagnement visible avant de juger la motivation

Considérons deux extensions possibles de l’essai fictif. La première ajoute des médecins qui effectuent un travail comparable et disposent de la même aide. La seconde inclut un service dont le personnel ne peut assister à l’initiation ni joindre l’assistance pendant ses horaires de travail. Un résultat moins favorable dans ce second service aurait plusieurs explications possibles. Qualifier son personnel de réticent éviterait précisément le travail nécessaire pour les distinguer.

La recommandation DECIDE-AI, publiée en 2022, demande aux études cliniques précoces d’aide à la décision de décrire le recrutement et la familiarisation des utilisateurs. Ce consensus de publication concerne une étape d’évaluation particulière. Son respect n’établit pas la qualité méthodologique et ne prescrit aucun plan d’étude. [4]

J’en tire une proposition pratique : consigner ce que la participation exige et ce que l’organisation fournit. L’apprentissage trouve-t-il sa place dans le temps de travail rémunéré ? L’accès fonctionne-t-il là où la tâche s’effectue ? Une aide est-elle joignable au moment nécessaire ? Les différences importantes devraient être consignées avant de discuter la motivation d’un groupe. Le fournisseur peut aussi mieux comprendre quelles difficultés apparentes du produit dépendent de son mode de mise à disposition.

Les différences pertinentes découlent de l’usage envisagé. Pour une équipe d’information pharmaceutique, il pourrait s’agir de l’accès aux sources approuvées et de la disponibilité des personnes chargées de la vérification. Pour un fabricant de dispositifs médicaux, il pourrait s’agir de la formation locale et du circuit de signalement des problèmes. Ces exemples sont construits et n’affirment pas que les mêmes conditions déterminent les résultats dans tous les secteurs.

Choisir le groupe suivant pour examiner une incertitude

J’organiserais le prochain essai délimité autour d’une condition importante encore absente. Si l’extension vise des équipes disposant de peu d’assistance immédiate, cette condition mérite un examen explicite, en maintenant l’accompagnement nécessaire à un usage sûr. Recruter un nouveau groupe dans le même réseau de collègues enthousiastes peut laisser l’incertitude initiale intacte.

Une sélection raisonnée peut révéler des contrastes instructifs. Elle ne produit pas automatiquement un échantillon représentatif. De même, répartir aléatoirement des volontaires entre deux outils ne rend pas ces volontaires représentatifs de tous les utilisateurs visés. Une personne compétente en évaluation devrait aider à adapter le recrutement et la comparaison à la conclusion recherchée.

Comparer des vagues successives exige de la prudence. Le logiciel, la formation et la charge de travail peuvent évoluer en même temps que la composition du groupe. Un résultat différent ne peut donc pas être attribué simplement aux nouveaux participants. Il faut garder ces conditions visibles et préciser quelles explications le dispositif permet effectivement de distinguer.

Laisser les expériences inconnues ouvertes

Une personne qui cesse d’utiliser l’outil peut l’avoir trouvé peu utile, rencontré un problème d’accès, changé de fonction ou eu trop peu de tâches pertinentes. Une absence de réponse au questionnaire n’établit aucune de ces explications. Je proposerais un moyen bref et volontaire de décrire les obstacles, distinct de l’évaluation individuelle du travail. Les raisons seraient rapportées à un niveau suffisamment agrégé pour protéger les petits groupes.

La décision pourrait être de maintenir l’accès dans le périmètre étudié, de financer un accompagnement manquant ou de commander une nouvelle évaluation avant l’extension. Elle devrait préciser de qui l’expérience reste inconnue. Pour moi, un rapport d’essai utile permet à l’équipe suivante de reconnaître l’occasion offerte et les conditions qui l’accompagnent. Il donne ainsi une direction crédible à la poursuite d’un premier succès.