Ce qu’un test comparatif d’IA peut apprendre à un hôpital

Imaginons une présentation avec deux barres. Le nouveau système d’IA arrive en tête, à côté des résultats obtenus par des personnes servant de comparaison. Ce graphique peut signaler une performance technique remarquable. Pour la direction d’un hôpital, des questions importantes restent pourtant ouvertes : qu’a-t-on exactement testé et quelle partie de notre propre travail est comparable ?

Cet écart m’intéresse particulièrement parce que je relie la médecine, la création d’entreprise et le regard des investisseurs. Chaque perspective pose une question différente : l’affirmation est-elle solide sur le fond ? Peut-on en tirer un processus de travail fiable ? Résout-on un problème dont quelqu’un assume la résolution ?

Un bon test comparatif aide à répondre à ces questions. Son interprétation doit cependant rester liée aux conditions dans lesquelles le résultat a été obtenu. Le travail essentiel consiste à rendre compréhensible le passage de la performance mesurée à l’usage envisagé.

Trois questions différentes

La première concerne le modèle : peut-il accomplir une tâche précise dans des conditions décrites ? On peut fixer, par exemple, des cas, des réponses et une grille d’évaluation. Cette méthode rend les performances comparables. Elle est particulièrement utile si la tâche est clairement délimitée et si le matériel d’évaluation est adapté.

La deuxième concerne la collaboration : que se passe-t-il lorsque des médecins utilisent le système ? La présentation des résultats, le temps disponible, les connaissances préalables et le mode d’intégration y contribuent. Un modèle performant peut être utilisé de plusieurs façons. Ces usages n’ont aucune raison de produire tous le même effet.

Un essai randomisé publié en 2024 auprès de 50 médecins en donne un exemple éclairant. Les participants traitaient des descriptions de cas cliniques avec ou sans accès supplémentaire à un modèle de langage. Le groupe avec IA n’a pas obtenu de score diagnostique significativement supérieur sur le plan statistique. Dans une analyse complémentaire, le modèle utilisé seul obtenait de meilleurs résultats. L’étude portait sur des exercices de cas et un système de l’époque ; elle ne permet pas de conclure directement sur les modèles actuels ou les résultats des soins. [1]

La troisième concerne les soins : quelles conséquences l’application a-t-elle dans l’environnement prévu ? Une meilleure note pour certaines réponses, un traitement plus rapide et un meilleur résultat pour les patients se situent à des niveaux différents. Il faut chaque fois étudier ce qui les relie.

Que considère-t-on comme correct dans ce test ?

Avant de regarder le score, je lirais la grille d’évaluation. Une seule réponse est-elle reconnue comme correcte ? Des alternatives justifiées sont-elles possibles ? Comment traite-t-on les informations manquantes ? Quelles erreurs pèsent le plus lourd ? Ces choix métier doivent correspondre à l’application future.

Un exemple fictif le rend concret. Deux systèmes résument les mêmes documents. Le premier reprend presque toutes les informations et ajoute quelques affirmations non étayées. Le second omet plus souvent des informations mais invente moins. L’utilité respective dépend des informations manquantes, des conséquences des ajouts et de l’organisation de la vérification.

Un score agrégé peut masquer ces différences. Pour choisir, j’examinerais donc aussi des types d’erreurs précis. L’omission d’un point secondaire, un chiffre attribué au mauvais élément et une recommandation injustifiée peuvent recevoir la même pénalité formelle tout en produisant des conséquences différentes dans le travail.

La référence de comparaison mérite elle aussi attention. Une donnée historique consigne d’abord ce qui avait été noté à l’époque. Sa pertinence comme référence pour la tâche actuelle doit être évaluée par des personnes compétentes. Des erreurs manifestes, des divergences de jugement légitimes et des informations incomplètes peuvent y coexister.

Cette prudence devrait rendre l’évaluation plus précise. Il serait tout aussi prématuré de conclure, à partir de cas limites difficiles, que l’IA médicale serait presque impossible à évaluer. De nombreuses tâches permettent de définir des critères solidement justifiés. L’essentiel est de les exposer et d’en expliquer clairement la portée.

La distance avec son propre environnement

J’examinerais ensuite l’écart entre la situation étudiée et l’usage prévu. Les données viennent-elles d’un contexte de soins similaire ? L’étude inclut-elle des cas difficiles ou incomplets ? Dans quelle langue les documents étaient-ils rédigés ? Quelles informations étaient réellement disponibles au moment de la décision ?

Ces questions sont particulièrement concrètes pour un hôpital allemand. Les termes, les formes de documentation et les transmissions peuvent différer de ceux de l’établissement étudié. Cela ne conduit à aucun verdict automatique sur l’adéquation. Cela définit les vérifications nécessaires à la transposition.

STARD-AI a été élaboré pour rendre plus transparente la présentation des études sur l’exactitude diagnostique de l’IA. [3] Pour les premières évaluations cliniques, DECIDE-AI s’intéresse aussi à l’usage en conditions réelles et aux personnes qui y participent. [2] Ces recommandations aident à apprécier la recherche ; elles ne prennent pas la décision concernant un produit particulier.

Une transposition traçable exige également de connaître la version du système testée. Un résultat concerne une combinaison précise de modèle, de consignes, de traitement des données et de présentation. Lorsque des composants importants changent, le fournisseur devrait expliquer quels résultats antérieurs restent valables et lesquels ont été réévalués.

Quelle décision l’essai doit-il permettre ?

Pour un déploiement, je commencerais par noter l’usage prévu en une phrase. Qui doit accomplir quelle tâche avec le système ? Qui conserve quelle décision ? Comment reconnaîtra-t-on une amélioration par rapport à la méthode actuelle ? Ce cadrage clarifie considérablement le choix ultérieur des mesures.

Pour une application documentaire, on pourrait mesurer l’effort total jusqu’à la version vérifiée. S’y ajouteraient les erreurs, les reprises et la charge pour les utilisateurs. Une aide au diagnostic exigerait d’autres résultats et une autre méthode d’évaluation. Les exigences de l’étude doivent découler de la tâche et de ses conséquences possibles.

Pour le suivi, distinguer les indicateurs de résultat, de processus et d’équilibre est utile. L’Institute for Healthcare Improvement les emploie pour rendre visibles ensemble les améliorations recherchées et d’éventuels effets défavorables ailleurs. Une réduction du temps de traitement serait alors examinée avec la qualité et les étapes de travail supplémentaires. [4]

Un essai limité dans le temps peut répondre à des questions importantes d’utilisabilité ou d’intégration. Selon l’usage visé, d’autres preuves restent nécessaires. Le fournisseur et l’hôpital devraient donc préciser explicitement quelle décision chaque évaluation doit permettre et quelles questions resteront ouvertes ensuite.

Avant de choisir, je placerais enfin trois documents côte à côte : le résultat du test technique, la description du processus de travail prévu et le plan d’évaluation des effets réels. S’ils concernent la même tâche, la discussion devient beaucoup plus concrète. Il est alors possible de décider, avec des raisons explicites, quelle prochaine étape les connaissances disponibles permettent de franchir.