← Réflexions et guides

Réflexion

La responsabilité derrière un texte produit par une IA

Un texte fluide peut accélérer la préparation d’un document. Il transforme aussi le travail de la personne qui devra répondre de son contenu.

Par Dr. Sven JungmannDate de référence rétrospective: · Publié: · Vérifié:
Un stylo-plume posé sur une feuille projette l’ombre d’une main qui écrit.

L’essentiel

  • Un brouillon d’IA utilisable doit montrer ses preuves, ses lacunes et les limites de ses affirmations.
  • La vérification doit porter sur les affirmations et les omissions qui peuvent avoir des conséquences.
  • Des références précises et des modifications ciblées peuvent faciliter le contrôle humain ; leur efficacité doit être évaluée dans chaque usage.

Un texte terminé a une propriété étrange : il donne l’impression que le travail de réflexion est déjà accompli. Les paragraphes sont ordonnés, les termes conviennent, la recommandation paraît raisonnable. Pourtant, une autre tâche commence pour la personne qui apposera son nom au bas du document. Elle doit déterminer quelles affirmations elle peut réellement assumer.

Ce passage de la rédaction à la responsabilité m’intéresse particulièrement. Médecin et fondateur d’une entreprise qui développe de l’IA pour la santé, j’examine un brouillon depuis ces deux perspectives. Une rédaction rapide a de la valeur. La possibilité, pour la personne responsable, d’en comprendre le fondement avec un effort raisonnable en a tout autant.

Un système peut produire beaucoup de texte. L’attention des personnes qui le vérifient reste limitée. Cela pose une question de conception : le brouillon doit permettre de repérer les erreurs lourdes de conséquences. Une mention générale du contrôle humain n’accomplit pas ce travail.

Une affirmation doit permettre de remonter à sa source

Imaginons une note de décision fictive pour un groupement hospitalier. Elle résume trois publications et recommande d’essayer une nouvelle méthode. Un paragraphe affirme que les études démontrent une diminution de la charge de travail. À la relecture des sources, on constate que l’une a mesuré la durée de traitement, une autre la satisfaction et la troisième la fréquence d’utilisation.

Chacune de ces mesures peut être instructive. Réunies, elles ne prouvent pas automatiquement l’affirmation formulée. La personne qui ne lit que le paragraphe fluide doit découvrir elle-même ce glissement. Un brouillon bien conçu distinguerait déjà les différents indicateurs et renverrait directement aux passages correspondants.

Dans son profil de risques pour l’IA générative, l’organisme américain NIST décrit notamment les justifications et les références inventées. Elles peuvent renforcer la crédibilité apparente d’affirmations fausses. La conséquence pour la vérification est simple : une référence bibliographique doit elle aussi correspondre au contenu affirmé. Sa seule existence ne suffit pas. [1]

Pour les synthèses exigeantes, je demanderais donc un petit tableau de preuves : affirmation, source associée, passage précis et limite de l’affirmation. Cette forme de travail doit faire ses preuves dans chaque situation. Elle me paraît particulièrement utile lorsque plusieurs documents sont condensés en une recommandation.

Ce qui manque apparaît rarement comme une erreur

Les omissions constituent une seconde difficulté. Un texte peut ne contenir que des phrases exactes et rester une base inadaptée pour décider. Une restriction concernant la population étudiée a peut-être disparu. Une source divergente a peut-être été écartée. Le caractère provisoire des chiffres utilisés est peut-être resté dans l’ombre.

Reprenons l’exemple hospitalier fictif : si la note généralise à tout le groupement une étude menée dans un groupe très sélectionné, son sens change. La vérification doit donc partir aussi de la mission et des documents d’origine. Parcourir seulement le brouillon ne donne accès qu’à ce qui y est entré.

Les recherches sur le traitement des longues entrées par les modèles de langage donnent une autre raison d’y prêter attention. En 2024, Nelson Liu et ses collègues ont montré, pour les tâches étudiées, que la position de l’information pertinente pouvait influencer la performance. Ce résultat ne fixe aucune limite immuable aux modèles actuels. Il justifie néanmoins une vérification spécifique de l’exhaustivité du traitement des informations. [2]

Je proposerais d’ajouter à la consigne une recherche explicite des lacunes. Quelles informations manquent ? Quelles sources se contredisent ? Que faudrait-il savoir avant de transformer la synthèse en recommandation ? Ces questions restent utiles même lorsque le modèle a déjà livré un texte convaincant.

La vérification commence avant la première phrase

Pour faciliter la validation, on peut délimiter davantage la mission dès le départ. Quel objectif doit-elle remplir ? À qui le document est-il destiné ? Quels documents font autorité ? Quelles conclusions le système peut-il tirer ? Un aperçu interne et une note préparant une décision lourde de conséquences demandent des précautions différentes.

La forme compte aussi. Un brouillon court, organisé en sections claires, ne se vérifie pas comme plusieurs pages de prose. La recommandation, sa justification et l’incertitude restante devraient se distinguer nettement. Le lectorat peut alors examiner précisément ce qu’il reprend et ce qui exige encore une clarification.

Pour les modifications, j’appliquerais un autre principe : garder aussi stables que possible les contenus déjà vérifiés. Lorsqu’une seule référence doit être corrigée, régénérer tout le document est souvent inutile. Cela peut introduire de nouveaux écarts et réduire la valeur de la vérification antérieure. Une modification limitée, accompagnée d’une comparaison visible, facilite la nouvelle validation.

C’est une recommandation pratique de conception des processus. On peut tester, sur des tâches réelles, si elle fait gagner du temps et améliore la détection des erreurs. Il faut aussi inclure les cas où le travail doit s’arrêter parce que les informations de départ ne permettent pas une conclusion solide.

Le contrôle humain a besoin de conditions de travail

Pour les grands modèles multimodaux en santé, l’Organisation mondiale de la Santé souligne l’importance de tâches clairement définies, d’une exactitude et d’une fiabilité adaptées, ainsi que de la participation des personnes concernées. J’y associe une question : dans quelles conditions ces personnes devront-elles évaluer un résultat ? [3]

Une médecin peut mieux vérifier une synthèse si les observations cliniques déterminantes sont accessibles. Une responsable peut mieux évaluer une recommandation si ses hypothèses et ses incertitudes sont visibles. Un membre de l’équipe peut plus facilement exprimer un désaccord si un jugement divergent est explicitement prévu, sans devoir justifier d’abord pourquoi il se méfie de l’IA.

Une vérification automatisée supplémentaire peut aider. Un second système peut rechercher des contradictions ou des preuves manquantes. Son accord ne devrait toutefois pas être considéré comme une preuve indépendante si les deux systèmes utilisent les mêmes informations insuffisantes ou des hypothèses erronées semblables. La qualité du contrôle dépend de ce à quoi il accède réellement et de ce qu’il peut comparer.

Avant de décider un déploiement, je mesurerais donc deux durées : le délai jusqu’au brouillon et le délai jusqu’à une utilisation que l’on peut assumer. J’ajouterais le type de corrections et les erreurs passées inaperçues. Si seule la première durée s’améliore, le reste du processus mérite un examen attentif.

La question la plus exigeante que je pose à un brouillon d’IA est la suivante : la personne responsable peut-elle comprendre sur quoi elle s’appuie ? Un document qui rend visibles ses preuves, ses limites et ses questions ouvertes lui donne une meilleure base. Cette propriété devrait compter dès le choix et la conception du système.

Sources et lectures complémentaires

  1. Risques de l’IA générative : contenus et sources inventésNational Institute of Standards and Technology

    Décrit les contenus, raisonnements justificatifs et références inventés parmi les risques de l’IA générative.

  2. Comment les modèles de langage utilisent l’information dans de longues entréesTransactions of the Association for Computational Linguistics

    Étudie l’effet de la position des informations dans de longues entrées sur la performance des modèles alors évalués.

  3. Orientations pour un usage responsable des grands modèles multimodaux en santéOrganisation mondiale de la Santé

    Recommande des tâches clairement définies, une fiabilité adaptée et la participation des personnes concernées aux usages de l’IA en santé.

Perspective et intérêts

Je suis fondateur et dirigeant d’aiomics. Mon regard professionnel est façonné par le développement et le déploiement de l’IA dans la santé.

Cet article a été élaboré avec l’aide de l’IA. Il relie les sources citées à ma perspective professionnelle ; les situations données en exemple sont signalées comme telles.

Poursuivre la lecture

Quelles questions souhaitez-vous aborder lors de votre événement ?

Présentez-moi votre public, l’occasion et la date envisagée. Nous pourrons construire une conférence autour des questions qui comptent pour vous.

Proposer une conférence