Incidents d’IA : ce qu’un autre hôpital peut en apprendre

Imaginons qu’un hôpital découvre une erreur de bâtiment dans une lettre de rendez-vous préparée avec l’IA. Le service de consultation a déménagé, mais un ancien répertoire des lieux figurait encore parmi les documents accessibles à l’application. Une collègue remarque l’erreur avant l’envoi. Un autre hôpital travaille avec un fournisseur différent, mais utilise lui aussi plusieurs répertoires. Quelles informations aideraient son équipe à déterminer si cet avertissement concerne ses propres activités ?

Cet exemple est fictif. Un récit suffisamment précis permettrait d’examiner la défaillance possible : quelles informations étaient disponibles, ce que l’application a produit, où l’écart a été remarqué et ce qui reste inexpliqué. Transmettre la lettre originale soulèverait une question supplémentaire de protection des données des patients. Se contenter de dire que « l’IA a donné une mauvaise adresse » laisserait peu d’éléments à examiner à l’équipe destinataire.

Partir de la décision que doit prendre l’autre organisation

Un échange de Stanford de juin 2026 avec DJ Patil, Matthew Lungren et Justin Norden sur l’IA en santé m’a inspiré cette question : comment rendre une expérience utile au-delà de l’organisation qui l’a acquise ? [1]

En tant que médecin et fondateur développant une IA pour le travail clinique, je vois une raison pratique de préciser cette question. Un fournisseur a besoin d’informations suffisantes pour examiner un problème. Un hôpital doit comprendre si les mêmes conditions existent dans ses propres activités. Un signalement extérieur devrait permettre à chacun de préciser ce qu’il sait, ce qu’il suppose et ce qu’il compte examiner ensuite.

Ma proposition porte sur cet échange. Elle n’a pas été évaluée comme un programme complet de sécurité. La protection immédiate sur place, l’enquête et les éventuelles obligations de signalement passent par les voies prévues. Préparer un récit pouvant être partagé ne doit jamais retarder ces démarches.

Donner au nombre de signalements sa juste place

Les orientations de l’OMS de 2020 rappellent que les écarts entre nombres de signalements peuvent refléter des pratiques de déclaration différentes. Comprendre un événement et démontrer une réduction ultérieure du risque sont deux étapes distinctes. Ce texte n’évalue pas la proposition relative à l’IA présentée ici. [2]

Supposons, toujours de manière fictive, qu’un hôpital relève douze préoccupations liées à l’IA et un autre trois. Le premier utilise peut-être davantage l’IA, recherche plus activement les problèmes ou facilite leur signalement. Le second rencontre peut-être moins de problèmes ou en reconnaît moins. Les totaux seuls ne permettent pas de départager ces explications. Un classement imposerait une réponse que ces données ne fournissent pas.

Ajouter le nombre d’utilisations précise la description, mais la manière de recueillir les signalements reste importante. Diviser douze signalements par dix mille utilisations donne un rapport entre signalements et utilisations. Sans connaître les modalités de détection et de sélection, qualifier ce rapport de taux d’erreur irait au-delà de ce qu’il signifie. Les événements évités avant utilisation doivent aussi rester distincts de ceux ayant eu des conséquences observées.

La FDA précise cette limite pour sa base américaine de signalements concernant les dispositifs médicaux : les déclarations incomplètes et les données d’utilisation manquantes empêchent d’en déduire seules une incidence ; un signalement n’établit pas non plus la causalité. Ces indications ne définissent aucune obligation allemande de déclaration. [3]

Décrire une défaillance qui puisse être examinée

Pour la lettre fictive, je préparerais un bref récit destiné à l’apprentissage, à partir des questions de l’équipe destinataire. Quelle tâche l’application devait-elle accomplir ? Quelles versions des répertoires pouvait-elle consulter ? La mauvaise adresse figurait-elle dans le brouillon produit ou a-t-elle été introduite lors d’une modification ultérieure ? Comment l’écart a-t-il été découvert ? Que s’était-il passé à ce moment-là ?

Ces questions aident à préserver le statut d’hypothèse d’une explication commode. L’ancien répertoire peut être pertinent, mais sa seule présence ne prouve pas quel document a fourni l’adresse. Si la trace nécessaire manque, le récit doit le préciser. « Le résultat contenait une adresse périmée ; le chemin exact de recherche reste à confirmer » offre à une autre équipe un point de départ plus utile qu’un diagnostic non étayé du modèle.

Le cadre de l’OCDE de février 2025 décrit les informations nécessaires à des signalements d’incidents d’IA interopérables : système, préjudice et éléments probants, notamment. Il distingue préjudices et dangers, et ne prescrit pas de procédures correctives. Ce cadre de signalement ne démontre aucune efficacité clinique. [4]

J’ajouterais à ce récit une question pratique de transposition : dans quelles conditions une défaillance comparable pourrait-elle survenir ailleurs ? Ici, plusieurs répertoires disponibles, des indications de validité contradictoires et une adresse présentée comme faisant autorité se combinent. Une autre organisation peut examiner cette combinaison même avec un logiciel et un fournisseur différents.

Partager le mécanisme avec un degré de détail approprié

Je séparerais les éléments nécessaires à l’enquête locale autorisée du récit dont la diffusion a été approuvée. L’enquête peut nécessiter des documents originaux et des détails techniques à accès restreint. Le récit partagé devrait contenir uniquement les informations justifiées par son objectif et autorisées pour ses destinataires. Retirer les noms ne suffit pas à déterminer si un cas reconnaissable ou un détail technique peut être partagé sans risque.

Dans notre exemple, une lettre construite avec des noms et des lieux inventés pourrait illustrer le conflit entre un répertoire actuel et une ancienne copie conservée. Elle doit être présentée comme une reconstitution. Toute simplification susceptible de modifier l’explication doit être indiquée à côté. L’équipe destinataire peut ainsi examiner le mécanisme en sachant qu’elle ne dispose pas des preuves originales.

Les responsables de la sécurité des patients, de la protection des données et de la sécurité de l’information devraient convenir du canal et du public appropriés pour ces éléments précis. Une enquête confidentielle avec le fournisseur, un groupe d’échange professionnel et un article public peuvent nécessiter des informations différentes. Une synthèse publique devrait reconnaître les détails non communiqués et les questions ouvertes. La confidentialité exige une décision explicite ; une présentation soignée ne rend pas automatiquement la divulgation licite.

Permettre à l’hôpital destinataire de décider de la suite

Le second hôpital examine d’abord si le cas s’applique à son fonctionnement. Son système recherche-t-il aussi les lieux dans plusieurs sources ? Qui détermine quel répertoire est actuel ? L’adresse est-elle sélectionnée automatiquement, copiée dans un brouillon ou modifiée par un membre du personnel ? Décrire ces différences peut justifier une enquête locale plus restreinte ou plus large.

Si la condition semble pertinente, l’équipe responsable peut l’examiner avec des cas synthétiques ou autrement autorisés, dans un environnement d’essai approprié. La question est précise : lorsque des versions contradictoires des répertoires sont disponibles, quelle adresse arrive dans la lettre ? Les fonctions localement responsables déterminent les preuves nécessaires et décident de la poursuite éventuelle de l’utilisation. Un résultat rassurant sur quelques cas construits laisserait ouvertes les questions de fréquence et de conséquences cliniques dans l’usage ordinaire.

Je demanderais au destinataire une réponse brève : conditions pertinentes retrouvées, conditions absentes avec justification, ou informations insuffisantes pour conclure. Si une action suit, il faut consigner la modification et la manière dont son effet a été examiné. Cet échange peut enrichir le récit initial. Le second hôpital pourrait, par exemple, découvrir que les indications de validité existaient, mais étaient invisibles au moment de la vérification.

Laisser le récit ouvert aux corrections

Le récit partagé devrait disposer d’un identifiant stable, d’un contact responsable et de versions datées. Lorsque plusieurs personnes signalent le même événement, relier leurs récits permet de conserver les désaccords significatifs. Si une enquête ultérieure modifie l’explication envisagée, les premiers destinataires doivent en être informés. La nouvelle version devrait préciser le constat modifié et la recommandation antérieure qu’il faut éventuellement réexaminer.

À la direction, je vérifierais si les signalements importants ont atteint les bonnes équipes, si leur pertinence locale a été examinée et si les modifications proposées ont fait l’objet d’un suivi approprié. Ce sont des observations sur le processus d’apprentissage. Affirmer une diminution des préjudices exige des données de résultat distinctes et une comparaison défendable.

L’intérêt de cet échange tient à la possibilité, pour une autre organisation, de poser une meilleure question, vérifiable, sur ses propres activités. Un récit sincère peut y contribuer alors que la cause demeure incertaine. Il lui faut assez de contexte pour permettre une enquête, assez de retenue pour protéger les personnes et assez de continuité pour qu’une correction atteigne celles et ceux qui se sont appuyés sur la première version.