Utilisateurs synthétiques en études qualitatives : quatre retours d'expérience et un contre-exemple

J'ai voulu creuser le sujet des synthetic users en faisant une distinction entre les études quali et quanti, car cela n'a rien à voir d'un point de vue méthodologique.

Cet article s'appuie sur quatre expérimentations documentées publiquement aux États-Unis et au Royaume-Uni, par des acteurs de nature très différente : un éditeur d'outil de test utilisateur, un cabinet de recherche UX, une agence de communication et une équipe universitaire.

Dans le cadre des études qualitatives, la promesse des utilisateurs synthétiques est particulièrement séduisante : des entretiens en profondeur sans recrutement, des focus groups en une nuit, des verbatims prêts à coller dans un rapport, des tarifs très agressifs et des rapports très percutants (notamment dans la forme, les punch lines…).

Dans les études quali, le risque est très important, car il est invisible !

Dans les études quanti, vous pouvez confronter une réponse synthétique à une réponse humaine, à des groupes tests et calculer des écarts. Vous pouvez alors agir sur ces écarts en appliquant des indices de correction, c'est ce que font les instituts de sondage depuis toujours.

En quali, la valeur d'un entretien tient à ce que vous n'aviez pas anticipé. Comment mesurer l'écart entre ce qu'un entretien simulé vous a raconté et ce qu'un vrai utilisateur vous aurait révélé, si vous n'avez jamais mené ce vrai entretien ?

Impossible à dire : l'erreur ne se manifeste pas par un mauvais chiffre, elle se manifeste par une absence. Et une absence ne laisse pas de trace dans le livrable.

Mais plutôt que de théoriser, regardons ce que donnent les expériences réelles. Quatre équipes ont documenté publiquement ce qu'elles ont obtenu. Elles ne se connaissent pas, elles ne travaillent pas dans les mêmes secteurs, et pourtant elles arrivent aux mêmes conclusions. Un cinquième cas, le plus cité de tous, mérite un traitement à part : il se présente comme un cas d'étude quali, alors qu'il n'en est pas un.

1. Userbrain : cinq utilisateurs synthétiques contre cinq vrais

L'expérience la plus honnête que j'ai trouvée, publiée en avril 2026 par un éditeur d'outil de test utilisateur qui signale lui-même son conflit d'intérêts.

Le protocole.

L'éditeur réalise cinq sessions « réelles » contre cinq sessions « synthétiques » (ChatGPT) pour analyser sa propre page de tarifs : celle-ci propose plusieurs paliers d'abonnement, un menu déroulant de packs de testeurs, des états au survol, un tableau comparatif sous la ligne de flottaison.

Instruction donnée aux testeurs : trouver l'option tarifaire la moins chère selon deux scénarios.

Le problème apparaît avant les résultats. Avec un prompt un peu rapide, le modèle se comporte comme un comptable méticuleux qui calcule toutes les combinaisons possibles. Aucun humain ne fait ça. Un papier CHI 2025 sur les agents en test d'utilisabilité retrouve les mêmes divergences de comportement : les agents IA suivent des chemins nets pendant que les humains errent, doutent, reviennent en arrière et abandonnent. Note : ce sujet est intéressant en soi, et doit nous amener, en tant que designer, à penser aussi à faciliter le travail des agents IA quand ils analysent une page, mais cela fera l'objet d'un autre article ;)

Le résultat en deux temps est le plus instructif.

Tâche 1 : quelle est l'option la moins chère pour 20 testeurs qualifiés par mois ? Cinq testeurs synthétiques sur cinq trouvent. Trois vrais utilisateurs sur cinq seulement.

Tâche 2 : quelle est l'option la moins chère pour 15 testeurs sur un projet ponctuel. Le bon chemin était « miné ». Il fallait repérer le sélecteur de périodicité de facturation, changer la période, choisir un pack peu évident, puis y ajouter des testeurs supplémentaires. Donc croiser deux zones de la page et faire un calcul que l'interface ne proposait nulle part.

Les cinq vrais utilisateurs n'atteignent pas l'objectif. Trois synthétiques sur cinq passent à côté aussi, en arrivant à un mauvais montant, mais en faisant le même calcul : 15 × 45 $ = 675 $ en formule gratuite avec paiement à l'unité. Les deux groupes se sont fixés sur le tarif à l'unité visible à l'écran et ont ignoré l'option combinée.

Donc 2 synthétiques sur 5 ne sont pas tombés dans le piège, là où aucun humain n'y est arrivé.

C'est le vrai enseignement, et il est plus dérangeant qu'un simple « ça ne marche pas ». Les utilisateurs synthétiques ont fait mieux que les humains sur les deux tâches. Le problème n'est pas qu'ils échouent, c'est qu'ils sont systématiquement trop bons. Ils passent à travers la friction qui bloque les vrais gens, et cette friction est l'objet même du test.

Une équipe qui n'aurait regardé que ces taux de réussite aurait conclu que la page fonctionnait très bien.

Le seul signal exploitable de toute l'expérience, c'est la correspondance qualitative : trois modèles se sont trompés exactement comme les humains, sans avoir accès à leurs sessions.

Quels sont les enseignements, selon l'éditeur qui a réalisé l'étude ? Le prompt améliore les choses.

Mais il n'existe aucun standard pour savoir quand il est assez bon. Le seul contrôle valable consiste à faire tourner de vraies sessions en parallèle et comparer. Le test synthétique a donc besoin du test réel pour être validé, ce qui limite mécaniquement le gain de temps annoncé.

L'éditeur est honnête, il souligne lui-même les limites de son étude : cinq testeurs par groupe c'est très peu. On peut donc dire que l'échec de ce test n'est pas une preuve statistique, mais c'est un signal fort à ne pas négliger. C'est d'autant plus vrai que la comparaison de tarifs est un exercice très logique, c'est donc une thématique très « confortable » pour une IA. Sur une tâche plus ouverte ou plus émotionnelle, l'écart de comportement serait probablement plus large.

La conclusion : sans utilisateurs réels, vous ne pouvez pas savoir si les enseignements de votre test sont pertinents, ou pas.

2. MeasuringU : quand l'IA analyse de vraies sessions

Cette expérience mérite une place à part, parce qu'elle inverse la question. Ici l'IA ne joue pas le participant, elle analyse des vidéos de sessions réelles pour identifier les problèmes d'utilisabilité. Le participant est humain, seul l'analyste est artificiel.

Précision qui a son importance quand on parle d'obsolescence : les modèles testés sont ChatGPT-5.4 Thinking et Gemini 3 Flash Thinking, donc de dernière génération, et la vidéo est passée quatre fois dans chacun.

Le résultat est plus encourageant, mais ses limites sont plus intéressantes encore.

Les IA retrouvent 3 des 4 problèmes réels repérés par le chercheur. Disons que c'est « correct » pour un premier jet, mais un quart des défauts leur échappe. Et le problème manqué ne l'est pas de justesse : il n'a été détecté par aucune des deux IA, sur aucun des quatre passages.

Dans l'absolu, ce n'est pas si surprenant, car de nombreux défauts ne sont pas verbalisés, mais sont identifiés par le modérateur.

Beaucoup plus problématique : les IA remontent en plus six problèmes qui n'en sont pas. Au total, dix problèmes uniques ont été recensés en cumulant le travail du chercheur et celui des IA. Le chercheur en a identifié quatre. Les six qui viennent uniquement des IA sont tous des fausses alertes.

Nuance importante : ce ne sont pas des hallucinations, ce sont des affirmations vraies en soi, mais sans lien avec ce que le participant a fait ou dit à l'écran.

ET voici la conclusion des auteurs sur cet analyste digital : un junior très enthousiaste, pas un expert de confiance.

Personnellement, j'en tire 2 conclusions (provisoires).

• D'abord, la ligne de partage utile n'est pas « IA ou pas IA », mais « qui fait quoi ».
• Faire analyser un vrai utilisateur par une IA est un usage qui peut se défendre, mais il faut intégrer cette problématique des faux bruits. Quand six des dix problèmes remontés sont des fausses alertes, il faut être en capacité de trier et de hiérarchiser (ce qui suppose d'avoir analysé le test en réel). Car livrée telle quelle à un comité, l'étude produit une liste de problèmes majoritairement imaginaires.

3. Four Agency : le focus group synthétique, et la phrase qui dit tout

L'agence britannique a documenté son dispositif complet (c'est bien sympa de leur part !)

La méthode. D'abord, des personas détaillés sont rédigés par les stratèges de l'agence, puis enrichis par IA. D'autre part, l'IA a accès à une base documentaire étoffée : leurs études YouGov, leurs transcriptions de focus groups passés, leurs données de social listening. Tous ces documents sont indexés dans une base vectorielle que le modèle consulte avant de répondre. Puis les personas réagissent aux créations, se répondent entre eux, et un rapport est agrégé.

Le cas d'étude. Mai 2025, un organisme national de promotion alimentaire veut arbitrer entre deux directions créatives pour une campagne sur des recettes à base d'agneau. Des visuels et des accroches sont soumis aux personas.

En une nuit, l'IA produit un retour détaillé : l'angle moderne et santé séduit le jeune persona sportif mais laisse insensible la cuisinière traditionnelle, la direction plus classique fait l'inverse. L'agence recommande de fusionner les deux en ajoutant un récit familial à l'angle moderne. Le client valide, la campagne sort, l'engagement social est bon.

Le résultat commercial est jugé correct, avec un temps d'étude divisé par dix, des frais réduits (pas de recrutement ni d'incentives).

Au niveau méthodologique, ils en concluent que c'est comme de la soufflerie. Ce n'est pas le monde réel, mais c'est un bon environnement expérimental pour éliminer les problèmes évidents.

Et puis il y a le verbatim du client (réel celui-ci), qui est cité par l'agence comme un compliment : les commentaires des personas étaient « étrangement proches de ce que disent nos clients, comme si vous aviez lu notre dernier rapport de focus group et ramené ces gens à la vie ».

C'est littéralement ce qui s'est passé. Le système interroge par RAG les transcriptions de leurs anciens focus groups. Le client n'a pas entendu ses clients, il a entendu la restitution de sa dernière étude, reformulée à l'oral, et adaptée au nouveau cas d'analyse.

Ma conclusion : le dispositif d'étude était solide, bien construit et honnête sur ses sources. Mais on pointe ici la limite exacte de l'outil, exprimée par un utilisateur satisfait : il vous rend, en mieux formulé, ce que vous saviez déjà.

L'approche peut être utile pour arbitrer vite entre deux directions créatives, et inutile pour découvrir quoi que ce soit.

4. Carnegie Mellon : dix-neuf chercheurs confrontent l'IA à leurs propres entretiens

Publié à CHI 2025 avec une mention honorable, ce travail est le plus dérangeant des quatre parce qu'il ne parle pas de performance mais de ce qu'on peut légitimement appeler une connaissance.

Un protocole particulier, assez astucieux.

Entre mars et juin 2024, une équipe de Carnegie Mellon mène des entretiens de 90 minutes avec 19 chercheurs qualitatifs expérimentés.

Chaque chercheur devait apporter la transcription anonymisée d'un entretien réel issu d'une de ses propres études et la garder ouverte devant lui. On lui donnait un outil prototype en trois zones : une consigne système où il décrit lui-même le participant à incarner, une zone d'entretien, et un historique.

Concrètement, le gabarit fourni était : « je mène un entretien semi-directif sur tel sujet, imagine que tu es tel participant, réponds comme ce participant, partage ton vécu, sois détaillé et non générique, pas de listes à puces. » Puis chacun complétait avec les caractéristiques de sa propre population. Les descriptions comportaient le plus souvent un parcours professionnel, une localisation, un âge, un genre, parfois une origine, un statut migratoire ou un handicap. Par exemple, on pouvait trouver des détails réalistes comme : une thérapeute qui rentre des États-Unis et publie du contenu en langue des signes sur la santé mentale, un homme qui vit seul et aime le surf et la mer, une personne qui utilise TikTok quotidiennement avec un fil en anglais et en espagnol.

Ensuite, le chercheur posait ses propres questions d'entretien, celles de son étude réelle, en pensant à voix haute. À la fin, il comparait la production du modèle à sa vraie transcription : profondeur des réponses, fluidité de la conversation, intérêt de la session.

Dimensionnement de l'étude. L'ensemble a produit 179 tours de conversation avec l'IA et 44 descriptions de participants. Soit environ 9 échanges par chercheur, et un peu plus de deux personas testés chacun. Les réponses du modèle font en moyenne 356 mots, et montent jusque 679.

La première réaction est la surprise. Initialement sceptiques, les chercheurs retrouvent des narratifs très proches de ceux de leur étude d'origine. C'est troublant, et c'est exactement ce que tout le monde ressent au premier essai. Plusieurs saluent le niveau de détail.

Mais le détail n'est pas synonyme de profondeur : plusieurs chercheurs soulignent que l'IA vous noie sous le texte, deux chercheurs disent clairement leur agacement devant cette abondance. Et comme les réponses arrivent déjà exhaustives sans qu'on ait rien demandé, les chercheurs ont dû modifier leur façon d'interroger, poser des questions plus dirigées, et surtout se passer de la phase où l'on met un participant en confiance. Cette phase n'a plus d'objet, ce qui devrait déjà alerter.

Puis, au fil des itérations, tout se fissure. Trois cas illustrent cela très concrètement.

Le premier cas est une expérience A/B menée en direct.

Une chercheuse travaillant sur l'accès à l'enseignement supérieur écrit deux descriptions de participant pour la même étude.

La première est détaillée : une jeune femme de 18 ans, latino-américaine, originaire du sud-est du Texas, qui vient d'être admise dans une université prestigieuse du nord-est, se déclare à faible revenu et sera la première de sa famille à faire des études supérieures.

La seconde est volontairement dépouillée, pour reproduire le cas où l'on ne sait pas grand-chose de ses participants avant de les interroger : un candidat admis dans une université prestigieuse, point.

Les résultats divergent nettement. Le persona sans caractéristiques produit le portrait de quelqu'un qui s'y est pris tôt, disposait de ressources, faisait des activités extrascolaires et bénéficiait du soutien de sa famille, avec pour seule difficulté de concilier son travail scolaire et ses échéances. Le persona détaillé, lui, produit un récit construit sur le manque (« deficit framing »), dans lequel la communauté d'origine apparaît comme un handicap (oups, pas bon…)

La chercheuse relève alors deux problèmes d'un coup : le modèle renforce les stéréotypes et efface les ressources réelles de cette communauté. Et le persona neutre véhicule une vision méritocratique que ses vrais participants passaient précisément leur temps à contester dans son étude.

Un autre chercheur avait rempli sa description avec énormément de contexte. Résultat : le modèle lui a simplement récité son persona en retour. Amusant, dit-il, mais sans aucune utilité.

Les deux ensemble forment une double contrainte dont on ne sort pas. Trop peu de détails, et le modèle comble les trous avec les stéréotypes de ses données d'entraînement. Trop de détails, et il vous renvoie votre propre hypothèse mise en forme.

Dans les deux cas vous n'apprenez rien, mais dans le premier vous croyez apprendre quelque chose.

2ème cas intéressant

Un chercheur travaillant sur le point de vue des salariés face au management algorithmique constate que le modèle fusionne le point de vue des travailleurs fictifs avec celui du management. Ce que le modèle présente comme les bénéfices de la technologie correspond à ce dont les managers ont été convaincus, pas à ce que les salariés vivent au quotidien.

Autrement dit : le modèle vous restitue l'argumentaire du fournisseur en le faisant passer pour la voix de l'utilisateur. C'est le pire résultat possible pour une étude censée donner un point de vue utilisateur.

3ème cas.

Une chercheuse étudie les besoins en informations des travailleurs de plateformes type Uber, et avait construit son étude sur l'hypothèse que les applications ne fournissaient pas suffisamment d'informations aux chauffeurs.

En entretien réel, plusieurs chauffeurs l'ont contredite : ils obtenaient toutes les informations dont ils avaient besoin sur leur historique de travail. L'IA, elle, range les réponses dans les catégories attendues sans jamais contester l'hypothèse de départ.

C'est le cœur du sujet. La valeur de cet entretien n'était pas la réponse, c'était le fait qu'un humain ait refusé la question. Une autre chercheuse compare l'IA à un comédien d'improvisation, tenu d'accepter tout ce que dit son partenaire, alors que ses participants « humains » la contredisent en permanence quand ils n'aiment pas sa formulation ou n'ont pas vécu ce qu'elle suppose.

Les chercheurs constatent enfin que les réponses du modèle agrègent les arguments de plusieurs participants réels de leur étude en une seule réponse consolidée. D'où l'expression employée par l'une d'elles, qui donne son titre au papier : un « simulacrum of stories », un simulacre d'histoires que des gens avaient partagées.

Le modèle ne fabrique pas un participant. Il fusionne plusieurs personnes réelles en une moyenne éloquente. Toutes les singularités sont là, mélangées, donc aucune n'est identifiable. Or en qualitatif, la singularité est le matériau. Cinq personnes qui disent la même chose pour cinq raisons différentes, c'est cinq insights, donc cinq leviers d'action. Réduites à un verbatim bien tourné, c'est zéro.

Conclusion : les biais ou risques d'erreur sont nombreux, structurels, et non pas liés à la qualité d'un prompt (qualité qui est d'ailleurs impossible à vérifier). Il faut les avoir en tête quand on utilise ces outils.

The Times, ou le sondage habillé en focus group

Ce cinquième cas est le plus cité du marché, et c'est celui qu'un fournisseur vous mettra sous le nez pour vous vendre du qualitatif synthétique. Le cas est solide et bien argumenté, mais ce n'est pas du quali !

Un dispositif d'étude très sérieux. Le journal britannique travaille pendant environ neuf mois avec Electric Twin, une solution « d'audience synthétique ». À partir d'un panel de lecteurs issu de sa base de 642 000 abonnés, il a fait construire une simulation, plus un second panel modélisant la population britannique qui lit la presse. Les équipes du prestataire sont restées plusieurs mois intégrées aux équipes data et insights, avec un travail en parallèle : le journal posait une question à son panel, le prestataire posait la même à son audience synthétique.

Techniquement, le protocole est carré. L'équipe du Times constitue un groupe de contrôle de 10 % mis de côté sur leur propre audience, celle qu'ils connaissent. Score obtenu : 0,918, soit environ 92 %, contre 93 % pour une étude classique. Très peu de fournisseurs présentent une méthode aussi propre.

Et pourtant, regardez ce qui est réellement mesuré. Le cas d'usage est de choisir le nom d'un nouveau podcast économique parmi quatre candidats. Le gagnant, « The Business », est sorti très haut sur la cible visée. Classer quatre options, c'est une tâche structurée. La directrice générale décrit d'ailleurs la mécanique sans détour : ils interrogent leur panel humain et son clone en parallèle, et comparent les réponses. C'est du sondage.

Digiday titre sur des « focus groups synthétiques ». La substance est un panel interrogé par questions fermées et validé par un score de corrélation.

Pourquoi il est utile de garder la méthodologie en tête ? Parce que le 92 % va voyager. Il est obtenu sur un classement d'options, et il sera cité pour justifier des entretiens simulés. Or la précision des dispositifs synthétiques dépend entièrement du type de tâche : autour de 85 à 94 % sur du classement, du tri de messages ou des fourchettes de prix, et faible ou inventée dès qu'il s'agit du « pourquoi » derrière une décision, de la nuance émotionnelle ou du contexte culturel. À ce jour, personne n'a publié de score comparable sur de l'entretien en profondeur.

La règle : ne jamais laisser un chiffre passer d'un type de tâche à un autre. C'est le tour de passe-passe le plus fréquent des argumentaires commerciaux, et il est difficile à voir parce que les deux choses portent le même nom.

Deux détails utiles à garder en tête quand même :

D'abord, la directrice générale du Times refuse l'expression « audiences synthétiques » et impose « recherche synthétique ». Ce n'est pas une audience, c'est une méthode.

Par ailleurs, à la question de savoir ce qui les rendrait plus engagés vis-à-vis du Times, les abonnés fidèles ressortent très sceptiques vis-à-vis de l'IA, quand le panel modélisant les prospects réclame des résumés, des explicatifs IA et de la vidéo. Une divergence forte entre deux populations, sur un sujet où il faut justement se méfier.

Car sur ce type de question, la prudence s'impose : l'étude publiée dans Science Advances sur les jumeaux numériques a documenté chez ces modèles une attitude systématiquement pro-technologie et un favoritisme envers l'IA. Interroger un panel simulé sur son appétence pour l'IA est le pire cas de figure possible.

Ce que ces expériences ont en commun

Elles convergent sur quatre points, et aucun n'est lié à la maturité technologique.

1. La flagornerie est structurelle, pas paramétrable. Les travaux disponibles documentent chez les personas générés une forte tendance à dériver vers ce que le cadrage de la question suggère, et une convergence vers l'opinion majoritaire nettement supérieure à celle des vrais répondants. Le Nielsen Norman Group le mesure autrement : les synthétiques félicitent des concepts que de vrais utilisateurs ont ensuite questionnés ou rejetés. Vous ne prompterez pas votre sortie de ce biais, il vient de l'entraînement.

La règle pratique qui en découle est contre-intuitive et devrait devenir un mantra : si votre panel synthétique adore le concept, c'est le signal d'aller vérifier, pas de lancer.

2. L'agrégation écrase ce qu'on vient chercher. C'est le point du simulacre d'histoires. La recherche qualitative gagne sa crédibilité sur l'objection et l'exception, pas sur le consensus. Un dispositif qui lisse vers la majorité masque précisément le désaccord qui tue un lancement.

3. Le plafond, c'est ce que vous avez déjà fourni. Le cas Four Agency le montre au grand jour, mais il est présent partout. Un dispositif bien construit vous restitue vos propres études, en plus fluide. C'est de la reformulation, pas de la prédiction. D'où la question à poser avant de commander quoi que ce soit : la réponse était-elle déjà connue avant qu'on la teste ?

4. Le mot « qualitatif » est employé pour des choses qui n'en sont pas. C'est la leçon du cas Times, et elle vaut pour tout le marché. Un panel interrogé par questions fermées et validé par un score de corrélation reste un sondage, même quand on l'appelle focus group synthétique. Des personas qui réagissent à une création se rapprochent du qualitatif, mais restituent le corpus qu'on leur a fourni. Avant d'évaluer un dispositif, il faut donc trancher ce qu'il fait réellement : classer, réagir, ou raconter. Les trois n'ont ni la même fiabilité ni le même prix.

En conclusion : beaucoup de prudence, et la veille reste ouverte

Ces quatre expérimentations ne disent pas que l'outil est inutile. Elles disent qu'il ne tient aucune des trois promesses sur lesquelles il est vendu.

Ni la qualité. Les biais constatés sont structurels et ne se règlent pas par un meilleur prompt. Le modèle est trop d'accord avec vous, il fusionne vos utilisateurs en une moyenne bien écrite, et il ne restitue que ce que vous lui avez fourni. S'ajoute une limite que rien ne compense : une IA ne capte pas le non-verbal. En session réelle, une grande partie de ce qu'on apprend n'est jamais verbalisée. C'est l'hésitation, le silence, le soupir, la main qui reste suspendue au-dessus du bouton. C'est d'ailleurs une des explications du quart de défauts manqués dans l'étude MeasuringU : beaucoup de problèmes ne se disent pas, ils se voient.

Ni le gain de temps, ou en tout cas pas celui qu'on annonce. Comme aucun standard ne permet de savoir si un prompt est assez bon, il faut faire tourner de vraies sessions en parallèle pour valider. Et quand l'IA analyse, il faut trier six fausses alertes sur dix problèmes remontés, ce qui suppose d'avoir suivi le test en réel. À chaque fois, le contrôle humain revient par la fenêtre et reprend le temps qu'on croyait avoir gagné.

Et surtout, ça peut induire en erreur. C'est le point le plus important, parce qu'il est contre-intuitif. Le danger n'est pas d'obtenir un mauvais résultat, ça se repère. Le danger, c'est d'obtenir un très bon résultat : une synthèse fluide, des verbatims mieux écrits que les vrais, des taux de réussite flatteurs. Chez Userbrain, une lecture rapide des scores aurait validé une page qui piégeait en réalité tous les utilisateurs humains. Un livrable synthétique est plus convaincant qu'un livrable réel, et c'est exactement ce qui devrait vous alerter.

Donc prudence. Beaucoup de prudence. Ces outils peuvent avoir un intérêt en amont, pour préparer, dégrossir, se faire une idée avant d'aller sur le terrain. Ils n'ont pas, aujourd'hui, la fiabilité qu'il faudrait pour fonder une décision.

Cela dit, cet article est probablement déjà en partie obsolète. L'IA progresse à une vitesse qui rend toute conclusion provisoire : une partie des travaux cités reposent sur des modèles qui ont déjà une ou deux générations de retard. C'est pour ça que nous restons en veille active sur le sujet, et surtout très intéressés par les retours d'expérience.

Vous avez testé des utilisateurs synthétiques sur une de vos études ? Ce que vous en avez tiré m'intéresse, en bien comme en mal.

---

Les sources

Les quatre expérimentations

1. Userbrain (Autriche), avril 2026 Stefan Rössler, « We Ran an Experiment with Synthetic Users: Here's What We Found » https://www.userbrain.com/blog/synthetic-users-experiment/

2. MeasuringU (États-Unis), 11 août 2026 Jim Lewis et Jeff Sauro, « Using AI To Find Usability Problems: A Replication » https://measuringu.com/does-ai-find-real-usability-problems-a-replication/ L'étude de cas initiale, sur la réservation de restaurant : https://measuringu.com/does-ai-find-real-ui-problems-or-just-hallucinations/

3. Four Agency Worldwide (Royaume-Uni) « AI-Assisted Creative Testing: Synthetic Focus Groups » https://www.four.agency/news-insights/ai-assisted-creative-testing-synthetic-focus-groups

4. Carnegie Mellon University (États-Unis), CHI 2025 Shivani Kapania, William Agnew, Motahhare Eslami, Hoda Heidari et Sarah Fox, « "Simulacrum of Stories": Examining Large Language Models as Qualitative Research Participants » Actes de la conférence CHI 2025, mention honorable : https://dl.acm.org/doi/10.1145/3706598.3713220 Preprint en accès libre : https://arxiv.org/abs/2409.19430

Le contre-exemple

5. The Times et Electric Twin (Royaume-Uni), novembre 2025 Tim Peterson, « How The Times is using AI to model synthetic focus groups from human audiences », Digiday https://digiday.com/media/how-the-times-is-using-ai-to-model-synthetic-focus-groups-from-human-audiences/ L'étude de cas du prestataire : https://www.electrictwin.com/case-studies/times

Les travaux cités en appui

Sur le comportement des agents IA en test d'utilisabilité « UXAgent: A System for Simulating Usability Testing of Web Design with LLM Agents », CHI 2025 https://arxiv.org/html/2504.09407v2

Sur les biais des jumeaux numériques « Digital twins are funhouse mirrors: Five systematic distortions », Science Advances https://www.science.org/doi/10.1126/sciadv.aeh8260 Version en accès libre : https://arxiv.org/abs/2509.19088

Sur la flagornerie et la superficialité des réponses synthétiques Nielsen Norman Group, « AI Simulations of User Studies » https://www.nngroup.com/articles/ai-simulations-studies/

Pour aller plus loin, deux revues de la littérature MeasuringU, « A Review of Experiments with Synthetic Users » (12 études à comité de lecture) https://measuringu.com/review-of-experiments-with-synthetic-users/ Eduard Kuric, Peter Demcak et Matus Krajcovic, « Synthetic Participants Generated by Large Language Models: A Systematic Literature Review » (182 études) https://www.researchgate.net/publication/401777396_Synthetic_Participants_Generated_by_Large_Language_Models_A_Systematic_Literature_Review

L'état de la pratique chez les chercheurs User Interviews, « The State of Synthetic Users », mai 2026 (150 chercheurs interrogés) https://www.userinterviews.com/state-of-synthetic-users-report