Des clients simulés peuvent-ils éclairer votre prochaine décision produit ?

Une entreprise fictive de technologie médicale doit choisir la prochaine fonction de son portail client. Une option affiche le suivi des livraisons. L’autre donne accès aux documents de maintenance. L’équipe demande à un modèle d’IA de répondre comme des responsables des achats, génère mille réponses et obtient une préférence nette. Elle souhaite maintenant engager le budget de développement.

Avant cet engagement, je demanderais ce que l’exercice établit sur les personnes qui utiliseront réellement le portail. Mille réponses générées décrivent la production de la procédure choisie. La décision commerciale concerne des clients avec des responsabilités concrètes, des solutions existantes et un temps limité. Relier les deux demande des éléments probants.

En tant que fondateur d’aiomics, je m’intéresse à la décision d’allocation sous-jacente : que pouvons-nous apprendre à peu de frais avant de mobiliser du temps de développement, et quelle incertitude exige encore de rencontrer les utilisateurs visés ? Des conversations simulées peuvent être une manière proposée d’explorer des questions. Leur statut doit rester visible lorsque cette exploration arrive à une réunion budgétaire.

Définir la décision que la simulation peut éclairer

Pour le portail fictif, je distinguerais trois usages possibles. L’équipe pourrait imaginer des objections à chaque fonction, préparer un entretien ou estimer la préférence des clients. Ces usages appellent des preuves différentes. Une objection imaginée peut devenir une question à examiner. Une estimation présentée comme une préférence des clients exige un lien défendable avec ces personnes.

Supposons que la responsable des achats simulée juge le suivi des livraisons important parce que ses collègues l’appellent constamment au sujet de commandes en retard. Cela suggère une question d’entretien : quand cette interruption a-t-elle eu lieu pour la dernière fois, quelle information manquait et comment a-t-elle été obtenue ? La fréquence de cette situation parmi les clients reste inconnue. L’étape utile consiste à examiner le mécanisme supposé.

Je désignerais donc l’exercice comme une production d’hypothèses pour des entretiens clients. Si l’équipe veut ensuite présenter un pourcentage au conseil d’administration, elle doit justifier cet usage supplémentaire. Répéter la génération ne fournit pas, à lui seul, de nouvelles observations de clients.

Lire la recherche à l’échelle de la tâche étudiée

Argyle et ses collègues ont reproduit certains profils de réponses d’enquêtes politiques américaines avec GPT-3, guidé par les caractéristiques de personnes interrogées. Leur étude de 2023 subordonne la fidélité au contexte et à la population. Elle n’établit aucune précision pour notre portail. [1]

Bisbee et ses collègues ont comparé ChatGPT 3.5 Turbo à 7 530 profils d’enquêtes politiques américaines de 2016 et 2020. Leur article de 2024 décrit des moyennes globales proches, une dispersion réduite et des relations déformées. Il n’évalue aucun produit actuel d’étude de marché. [2]

Les modèles, les questions et les procédures diffèrent entre ces études. Pour l’acheteur, une question pratique demeure : quelle évaluation soutient précisément l’usage proposé ? Une démonstration de dialogue fluide permet d’examiner ce dialogue. L’affirmation commerciale envisagée demande encore sa propre vérification.

Demander une comparaison susceptible de modifier le choix

Pour l’exemple du portail, je propose une courte fiche de justification en cinq points. Il s’agit de ma propre méthode organisationnelle, sans effet démontré ici sur la qualité des décisions. Un spécialiste des méthodes d’enquête devrait contribuer à concevoir la validation et à déterminer la taille de l’échantillon.

Premièrement, préciser la décision. Choisissons-nous une fonction à explorer, un prototype à essayer ou une fonction à développer ? Consigner le coût d’une erreur et le moment où le choix devient difficilement réversible. Une exploration initiale et un engagement de développement important ne devraient pas hériter automatiquement du même niveau d’exigence.

Deuxièmement, identifier les personnes. Qui passe les commandes, qui a besoin des informations de livraison et qui autorise les dépenses ? Dans notre exemple, ces rôles pourraient être distincts. Un personnage généré appelé « responsable des achats » peut laisser ces différences indéterminées. Préciser la population visée, ses caractéristiques réellement connues et l’origine de cette connaissance.

Troisièmement, décrire la comparaison. Demander au fournisseur de confronter ses prédictions à des réponses humaines pertinentes réservées à l’évaluation. Ces réponses ne doivent avoir servi ni à produire les prédictions ni à ajuster la procédure évaluée. Demander aussi ce qui est connu d’un éventuel recoupement avec les données d’entraînement antérieures. Si cela reste invérifiable, conserver cette incertitude dans le rapport.

Quatrièmement, convenir du résultat acceptable avant d’en prendre connaissance. Pour ce choix, je voudrais savoir si la méthode retient la même fonction et si des groupes importants d’utilisateurs conduisent à des choix différents. L’évaluation devrait examiner l’incertitude et la quantité d’éléments disponibles pour chaque groupe. Un accord global peut coexister avec une décision encore incertaine pour un groupe plus petit.

Cinquièmement, consigner la conséquence autorisée. Un résultat pourrait justifier l’emploi de la simulation pour préparer des entretiens, tandis que le choix de la fonction resterait lié à une enquête auprès des clients. Une comparaison locale plus solide pourrait soutenir un usage précisément délimité. Conserver la version du modèle, les instructions, les données d’entrée et la date d’évaluation, afin qu’un changement ultérieur déclenche une décision sur une nouvelle vérification.

Rendre visibles les unités comptées

Imaginons que 700 des mille réponses générées préfèrent le suivi des livraisons. Dans ce calcul fictif, 70 % décrit des réponses produites par la procédure indiquée. Écrire « 70 % des clients préfèrent le suivi des livraisons » change la population décrite. Une affirmation sur les clients exige des preuves de la manière dont la procédure estime les préférences de cette population, avec l’incertitude de cette estimation.

Générer mille réponses supplémentaires peut aider à examiner la variabilité de la procédure. Cela n’ajoute pas mille clients observés indépendamment. De même, un intervalle très étroit autour d’une proportion générée laisserait ouverte la question de son rapport avec les préférences réelles. Je demanderais à l’analyste d’expliquer séparément ces deux questions.

Même une enquête humaine bien menée laisse subsister une autre distinction : l’option que les personnes déclarent préférer et celle qu’elles utilisent lorsqu’elle devient disponible. Pour notre décision fictive, un essai limité du prototype pourrait examiner l’usage avant un engagement plus important. La pertinence de cette étape proposée dépend du produit et de la décision.

Conserver l’origine lors de la présentation

Le Code ICC/ESOMAR de 2025 exige d’informer les clients de l’usage de données synthétiques et de la supervision humaine ; ses dispositions sur la publication imposent une transparence méthodologique. Ce code professionnel ne confère aucune validité prédictive par cette seule divulgation. [3]

Je joindrais la fiche de justification à toute diapositive présentant le résultat. Chaque collègue devrait pouvoir identifier la part générée, la comparaison humaine, les lacunes restantes et la décision autorisée. Cette indication devrait subsister lorsque la diapositive est reprise dans une autre présentation.

Pour la prochaine réunion produit, la question immédiate devient concrète : quelle décision modifierions-nous à cause de ces réponses simulées, et quelle observation soutient ce changement ? Là où la réponse reste ouverte, la simulation peut fournir des questions pour l’enquête suivante. Le budget de développement peut alors suivre ce que cette enquête établit réellement.