Avec Carte Blanche, Market Research News donne la parole à des personnalités de l’univers des études et des insights, dans un espace ouvert aux partis pris, aux idées qui bousculent et au débat. La première chronique de Laurent Florès, entrepreneur et ancien président mondial d’ESOMAR, a suscité des échanges sur LinkedIn : merci à toutes celles et ceux qui y ont contribué ! Ces réactions et ces discussions font pleinement partie de l’esprit de cette nouvelle rubrique.
Pour ce deuxième rendez-vous d’IA-conoclaste, Laurent poursuit son exploration des répondants synthétiques en s’attaquant à un chiffre qui attire l’attention : ils reproduiraient 85 % des réponses humaines. Une promesse séduisante, mais que mesure-t-elle exactement ? Derrière ce chiffre, quels résultats, quelles méthodes et quelles confusions possibles ?
LA CHRONIQUE DE LAURENT FLORES
IA-CONOCLASTE #2
Vous l’avez forcément vu : sur une plaquette, dans un salon, dans un post LinkedIn.
« Nos personas synthétiques reproduisent 85 % des réponses humaines. »
Le chiffre existe, l’étude dont il sort est sérieuse, mais elle ne dit pas ça. Et le 30 septembre dernier, le Pew Research Center, l’une des références mondiales de l’enquête d’opinion, répondait à la question « l’IA peut-elle remplacer les sondés ? » par un « pas vraiment ».
Contradiction ? Non. Ces deux résultats ne mesurent pas la même chose. C’est là que commence la grande confusion qui entoure l’IA dans les études.
Un bon chiffre mal cité devient une mauvaise promesse.
D’où vient ce 85 % ?
D’une étude conduite par Joon Sung Park et une équipe de Stanford, avec des chercheurs de Google DeepMind et d’autres universités (mise en ligne fin 2024, révisée depuis). Un cabinet de recrutement a constitué un échantillon de 1 052 Américains, par quotas, pour approcher la population adulte du pays.
Chacun d’entre eux a passé un entretien d’environ deux heures, conduit non par un chercheur mais par un “intervieweur IA”. Dans la première version de l’étude, celle d’où vient le 85 %, les chercheurs ont construit à partir de chaque transcription un agent : un par personne, nourri de ses propres mots. Puis ils ont comparé les réponses de chaque agent à celles de la personne dont il était issu.
Et ils ont eu une excellente idée : rapporter ce résultat à la constance des participants eux-mêmes. Deux semaines plus tard, ceux-ci ont repassé les mêmes questionnaires et expériences, et n’ont bien sûr pas fourni exactement les mêmes réponses. C’est trop souvent oublié, mais (fort heureusement) les gens changent d’avis. Les mêmes questions posées aux mêmes individus à une ou deux semaines d’intervalle ne donnent pas forcément les mêmes résultats. Par exemple, sur les questions de la “General Social Survey”, la grande enquête sociale américaine, les agents retrouvaient la réponse de leur modèle humain dans 69 % des cas ; les participants retrouvaient leur propre réponse dans 81 % des cas. 69 rapporté à 81 : voilà le 85 %. Sur la personnalité et sur d’autres questions diverses, mesurées autrement, le ratio équivalent tombait à 0,80 et 0,66.
85 % d’un plafond, ce n’est pas 85 % de la vérité.
Le constat ici, c’est que les agents reproduisent les réponses humaines dans 69 % des cas. Le chiffre de 85 % indique lui tout autre chose : il exprime cette performance relativement à la stabilité des réponses des participants eux-mêmes. Dit autrement, le 85 % n’est qu’une performance relative, rapportée à ce que chacun parvient à faire avec lui-même : un repère humain, qui sert de plafond pratique. Et c’est la manière la plus honnête de mesurer. Un modèle qui vous « collerait » mieux que vous-même ne serait pas forcément meilleur : il faudrait d’abord se demander pourquoi.
Trois confusions dans un seul chiffre
1. La confusion d’objet. Le 85 % concerne des agents construits individu par individu, à partir de deux heures d’entretien. On est bien plus près du jumeau numérique que du persona synthétique bâti sur un profil de population. Dans la dernière version de l’étude, sur des questions de la General Social Survey qui n’avaient pas servi à les construire, les agents nourris d’entretiens, de questionnaires ou des deux atteignent respectivement 83, 82 et 86 % de ce repère ; ceux construits à partir de la seule démographie, 74 %. Le chiffre des premiers sert pourtant souvent à vendre tout autre chose.
Et le vocabulaire n’aide pas. La note de position de Syntec Conseil (juin 2025) distingue quatre usages bien différents : l’imputation de non-réponses chez de vrais répondants, l’extrapolation de questions non posées, l’augmentation d’échantillon et les répondants entièrement virtuels. Elle constate aussi que les mots changent « selon les méthodes et les prestataires » : agents IA, persona bots, jumeaux digitaux, clones… Pew prend d’ailleurs soin de le préciser : son étude porte sur l’IA qui remplace le sondé, pas sur l’imputation de valeurs manquantes.
Même mot, produits différents, preuves différentes.
2. La confusion de mesure. Un autre « 85 » circule. Dans sa version préliminaire de 2024, une étude publiée depuis dans Nature (juillet 2026) annonçait que les effets simulés par GPT-4 sur 70 expériences de sondage américaines corrélaient à 0,85 avec les effets réellement observés.
Remarquable. Mais une corrélation n’est pas un taux de bonnes réponses. Une corrélation élevée indique simplement que les effets prédits et observés varient de façon similaire ; elle ne garantit ni leur ampleur exacte ni, pour chaque expérience, leur direction.
Les prédictions surestimaient d’ailleurs systématiquement l’ampleur des effets. Quant aux taux de « concordance » de 85 à 95 % qu’affichent certaines plaquettes, demandez ce qui est comparé : des moyennes, des distributions, des réponses individuelles ? Comparer des moyennes, c’est la partie facile.
3. La confusion de niveau. Des moyennes justes ne font pas un panel juste. Si les répondants simulés se ressemblent trop, les moyennes peuvent rester correctes, mais le désaccord disparaît. C’est la sous-dispersion, évoquée dans ma précédente chronique, et Pew en donne une démonstration frappante : sur près d’une question sur deux, au moins une réponse n’a été choisie par aucun répondant synthétique. Les groupes tournent même à la caricature : selon l’IA, 97 % des Hispaniques (vivant aux Etats-Unis) seraient susceptibles de suivre la Coupe du monde, contre 43 % en réalité. Or un test de concept, un prétest se lisent précisément sur les écarts entre options : un panel trop homogène déforme la lecture de ces écarts et de leur incertitude.
« Pas vraiment »… mais pas rien non plus
L’étude de Pew est l’une des évaluations publiques les plus complètes à ce jour : un jumeau numérique pour chacun des panélistes retenus, nourri de son profil et de ses réponses à une précédente enquête de Pew ; trois vagues d’enquête, près de 300 questions, les mêmes consignes que pour les humains.
Le verdict tient, même avec le meilleur des modèles testés : 12 points d’écart en moyenne sur les pourcentages, des jumeaux qui en savent plus que les vraies gens et choisissent environ quatre fois moins souvent « je ne sais pas ». Avec de tels écarts, publier ces pourcentages comme une mesure de l’opinion, c’est non !
Mais Pew a fait mieux que conclure : il a publié la comparaison complète, question par question et réponse par réponse (pas les réponses individuelles des jumeaux). J’ai rebalayé celle-ci en utilisant un autre prisme de lecture. J’ai mis de côté la question « le pourcentage est-il juste ? », pour m’intéresser plutôt au sens de l’histoire qui se dégageait des chiffres. Les deux sets de données racontent-ils peu ou prou la même histoire ? Et là, ma vision est qu’il y avait une cohérence « relative ». La hiérarchie entre les différents items était globalement respectée sans être parfaitement identique. L’item qui venait en N°1 dans les réponses des humains passait parfois à la 2ème place dans celles des répondants synthétiques. Les pourcentages diffèrent donc, on pouvait s’en douter, mais la hiérarchie des réponses n’était pas strictement iso.
C’est une relecture exploratoire, sur un seul modèle et des questions d’opinion, pas de marketing. Mais elle montre bien que le niveau d’exigence dépend de l’usage envisagé ; encore faut-il vérifier que le modèle y répond.
La seule question qui vaille : « 85 % de quoi ? »
Je ne demande à personne de jeter ces chiffres. Je demande simplement qu’ils voyagent avec leur définition.
Trois questions suffisent, à poser à tout fournisseur — nous compris :
- De quel objet parle-t-on ? Un jumeau construit sur les réponses d’une personne réelle ? Un persona construit sur des données de population ? Une imputation sur de vrais répondants ? Si la réponse change au cours de la discussion, c’est déjà une réponse ;), non ?
- Comparé à quoi, sur quelle population, quand, et avec quel modèle ? Pas « mieux qu’un modèle généraliste ». Face à de vrais répondants, dans le pays et la cible que vous achetez, avec une date. Un calibrage américain ne se transpose pas d’office à une étude française. Et chez Pew, testés sur les mêmes questions, deux modèles de pointe déformaient l’opinion en sens inverse.
- Puis-je voir les réponses individuelles ? C’est le moyen le plus direct de vérifier que des répondants du même profil sont aussi partagés que de vraies personnes.
Et le glossaire ?
On me demande souvent un glossaire.
Il existe, avec une page par terme : le glossaire des études synthétiques.
Mais soyons iconoclastes jusqu’au bout : la confusion ne vient pas seulement des définitions.
Les mots sont souvent justes ; c’est leur usage qui est trompeur.
Un glossaire vous dira ce qu’est un jumeau numérique. Il ne vous dira pas quand le chiffre d’un jumeau sert à vendre un persona.
Un chiffre ne décide pas à votre place. Il éclaire — à condition de savoir ce qu’il mesure.
Et vous, quel « 85 % » vous a-t-on présenté cette année ?
Avez-vous demandé : 85 % de quoi ?
Dites-le-moi !
***
Pour aller plus loin
- Can AI Stand In for Human Survey-Takers? What Pew’s Study Shows (en anglais)
- 85% of What? The Number Synthetic Research Keeps Getting Wrong (en anglais)
- Synthetic Respondents: What a Vendor’s Claim Actually Tells You (en anglais)
- Les répondants synthétiques sont-ils fiables ? Nos chiffres, huit marchés
Sources
- Pew Research Center (Chapekis A., Lau A., Bestvater S., Shah S., Mercer A., Smith A.), « Can AI Stand In for Human Survey-Takers? Not Really », 30 septembre 2026.
- Park J. S. et al., « LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals », arXiv 2411.10109 (v1 nov. 2024, v3 juin 2026).
- Ashokkumar A., Hewitt L., Ghezae I., Willer R., « Large language models can predict the results of social science experiments », Nature, 2026 (en ligne le 8 juillet ; le r = 0,85 provient de la version préliminaire de 2024).
- Syntec Conseil, « Données synthétiques et études marketing & sondages d’opinion », note de position, juin 2025.
POUR ACTION
• Échanger avec l’auteur : @ Laurent Florès
