L’arrivée de ChatGPT en novembre 2022 a été un choc pour de nombreux secteurs, avec d’énormes opportunités mais aussi de nombreuses craintes. Beaucoup de sociétés d’études n’hésitent pas à revoir complètement leurs modes de production pour y intégrer de l’IA générative. La facilité d’accès à ChatGPT bouleverse aussi les pratiques côté client en renforçant les possibilités d’internalisation des études. Philippe Guilbert, expert Etudes auprès des organisations professionnelles (SYNTEC Conseil, ESOMAR Professional Standards Committee), refait le point un an après la sortie de ChatGPT sur son impact sur les études internalisées.
(Mise à jour de l’article initialement publié en mars 2023)
L’ANALYSE DE PHILIPPE GUILBERT
Le digital a permis de nombreux progrès dans les études, en matière de rapidité, coût, diversité des données et capacités d’analyse. Les instituts se sont transformés pour mieux utiliser ses avantages, tout en étant confrontés à la concurrence des solutions d’internalisation rendues possibles par la révolution numérique. L’Intelligence artificielle générative (IA Gen) va-t-elle reproduire cette évolution en suscitant à la fois un renforcement de l’offre des instituts et celle des solutions Do-It-Yourself ? Revenons sur les transformations passées avant d’envisager celles à venir.
Le digital a permis de nombreux progrès (…). Les instituts se sont transformés pour mieux utiliser ses avantages, tout en étant confrontés à la concurrence des solutions d’internalisation rendues possibles par la révolution numérique. L’Intelligence artificielle générative (IA Gen) va-t-elle reproduire cette évolution en suscitant à la fois un renforcement de l’offre des instituts et celle des solutions Do-It-Yourself ?
Au cours des années 2000, la collecte par Internet s’est banalisée dans les études marketing dans de nombreux pays avec des access panels regroupant des millions d’internautes acceptant de participer aux enquêtes. Des entreprises ont commencé à acheter directement aux access panels un terrain en ligne pour économiser du temps et optimiser leur budget. Des enquêtes simples, répétitives et avec une méthodologie déjà définie (questionnaire, échantillonnage) ont été confiées à des prestataires de collecte s’occupant de programmer le questionnaire, gérer les répondants et fournir quelques tableaux et graphiques.
L’automatisation du terrain et traitement permet le boom DIY des années 2010
Une étape clé est franchie à partir de la fin des années 2000 en connectant la programmation de questionnaire à des access panels. Les utilisateurs peuvent ainsi directement créer leur questionnaire, définir leur échantillon, lancer et suivre leur terrain, et accéder aux résultats en ligne sur des cibles grand public, et pas seulement sur ses propres contacts (base clients, site web…). L’ensemble d’une enquête est devenu possible en DIY ! Les solutions conçues spécialement pour les études intègrent de manière intuitive des fonctionnalités cruciales de questionnaire : principaux types de question, visuels/vidéos, réponses multiples ou exclusives, rotation aléatoire, filtres… De même, l’échantillonnage des solutions DIY de référence propose les principaux critères de quotas et la possibilité de redresser les données brutes. Enfin, le dépouillement est automatisé afin de sortir les tableaux et graphiques en choisissant seulement les variables à analyser.
Une étape clé est franchie à partir de la fin des années 2000 en connectant la programmation de questionnaire à des access panels. Les utilisateurs peuvent ainsi directement créer leur questionnaire, définir leur échantillon, lancer et suivre leur terrain, et accéder aux résultats en ligne sur des cibles grand public, et pas seulement sur ses propres contacts (base clients, site web…). L’ensemble d’une enquête est devenu possible en DIY !
Bien sûr, ces solutions ne sont pas destinées à des programmeurs professionnels et l’automatisation impose de restreindre les fonctionnalités afin de préserver la convivialité et rapidité. Des questionnaires complexes (analyse conjointe, carnets de consommation…) et les méthodes statistiques avancées (typologie, modélisation…) sont exclus. Toutes les études ne peuvent donc être réalisées ainsi, et la restitution se contente des résultats de base.
A ces limites de fonctionnalités s’ajoutent des craintes sur la fiabilité, faute d’intervention humaine pendant le terrain. Des études réalisées via ces solutions ont publié leurs résultats pour montrer la cohérence avec les sources classiques : élections américaines (SurveyMonkey), soldes et achats de Noël en France (Toluna QuickSurveys pour le magazine LSA)… Lorsque les bonnes questions sont utilisées et les limites des outils maitrisées, la fiabilité est préservée. Le DIY séduit ainsi des entreprises de toute taille, des leaders mondiaux aux PME. SurveyMonkey est classé comme licorne en 2015. Bien sûr, toutes les solutions DIY n’ont pas le même succès : Google Surveys s’est arrêté fin 2022, ses fonctionnalités réduites n’ayant pas convaincu…
Dans les années 2010 aussi, l’automatisation permet de développer les communautés en ligne dédiées aux études (Market Research Online Communities, MROC). De nombreuses marques adoptent des plates-formes de panels propriétaires afin de gérer simplement leurs propres études sur des cibles variées (clients, marché, national représentatif…).
Dans les années 2010 aussi, l’automatisation permet de développer les communautés en ligne dédiées aux études… De nombreuses marques adoptent des plates-formes de panels propriétaires afin de gérer simplement leurs propres études sur des cibles variées.
Les méthodologies automatisées font passer du DIY au self-service
Le DIY impose notamment de définir son questionnaire et son traitement, et s’est d’abord développé pour les études ad hoc. Les utilisateurs peuvent bien sûr sauvegarder leur questionnaire pour le relancer, mais ils doivent reprendre leur traitement restreint fréquemment aux résultats de base.
Pour répondre aux demandes d’utilisateurs, les solutions automatisées ont alors mis en place des exemples et modèles de questionnaire par type d’étude. Des approches plus packagées avec rapport automatisé par type d’étude (satisfaction, image, concept, prix, test publicitaire…) sont apparues en quelques années. L’utilisateur peut ainsi choisir en self-service un type d’étude, remplir ses champs spécifique (marques, logos…) pour lancer en quelques clics son enquête et accéder en ligne à un rapport standardisé, parfois assorti de commentaires et recommandations automatiques.
L’utilisateur peut ainsi choisir en self-service un type d’étude, remplir ses champs spécifique (marques, logos…) pour lancer en quelques clics son enquête et accéder en ligne à un rapport standardisé, parfois assorti de commentaires et recommandations automatiques.
En DIY, des outils sont proposés et la qualité du produit final dépend beaucoup de l’utilisateur et du contexte d’étude. A contrario, une étude self-service incorpore déjà un savoir-faire pour imposer des contraintes de questionnaire et d’analyse pour réduire les risques de mauvaise utilisation. Si le DIY a été d’abord proposé par des prestataires techniques (logiciels, access panels), les études en self-service sont maintenant intégrées dans l’offre de plusieurs grands instituts, qui peuvent y ajouter un accompagnement par leurs équipes d’études si besoin.
Aujourd’hui, le self-service ne couvre pas tous les types d’études et les statistiques avancées (typologie, analyses factorielles, modélisation) sont souvent restreintes. Les baromètres, qui imposent de conserver les vagues précédentes, et les études à phase (quali/quanti, test de produit…) ne rentrent généralement pas dans ces approches automatisées, ou de manière imparfaite. Le contrôle qualité des réponses peut être limité par rapport aux contrôles des terrains classiques (speeding, straight-lining, red hiring, cohérence…) : il est prudent de rester sur des questionnaires courts afin d’éviter la lassitude des répondants et une dégradation de la qualité des données.
Le rapport ESOMAR Global Users & Buyers of Insights 2023 indique que 48% des projets d’études sont internalisés en entreprise, et atteint même 50% hors d’Europe. Après la décennie 2010 d’essor rapide du DIY et self-service, le début des années 2020 est plutôt une phase de stabilisation… avant l’arrivée de ChatGPT !
IA Gen, de multiples enjeux et transformations en cours
Dès le milieu des années 2010, l’intelligence artificielle a été utilisée dans les enquêtes, notamment pour les questions ouvertes, la traduction automatique, l’analyse des données secondaires (données non-structurées issues du web, réseaux sociaux, mobile…) et pour résumer des informations issues de sources variées. Les utilisations de l’IA dans les études, externalisées comme internalisées, se développeront certainement encore dans les prochaines décennies.
Cependant, la sortie de ChatGPT en novembre 2022 a suscité beaucoup d’interrogations, les agents conversationnels LLM (Large Language Model) simplifiant grandement le recours à l’IA : plus besoin de coder pour bénéficier des dernières avancées de l’IA ! De nombreux tests ont montré les apports possibles de ChatGPT, d’autres ont en revanche souligné ses limites et ses biais… Même s’il est encore tôt pour trancher les débats en cours, des éléments de réponse peuvent être déjà notés.
ChatGPT peut-il aider à faire ses propres études ?
L’IA Gen ne peut à elle seule remplacer les outils self-service mais elle peut en lever quelques limites actuelles. ChatGPT peut ainsi proposer un questionnaire adapté à un secteur ou un produit, avec des listes de marques/produits par pays, alors que le modèle de questionnaire d’une solution self-service est standardisé pour répondre à des besoins généraux récurrents. ChatGPT peut également analyser et résumer le verbatim, mais il est probable que les solutions automatisées vont rapidement intégrer ces fonctionnalités. De même, l’IA Gen peut résumer des résultats et préparer un rapport : cette utilisation peut toutefois menacer la confidentialité de données personnelles et d’informations sensibles, plusieurs entreprises interdisent ou restreignent l’utilisation interne d’IA Gen. Les solutions self-service ont déjà des rapports automatisés, leurs fonctionnalités de reporting devraient se renforcer en intégrant davantage d’IA et éviter à leurs utilisateurs de transférer des données sur une autre solution.
ChatGPT peut-il remplacer l’expertise humaine ?
Paradoxalement, l’expertise humaine est encore plus nécessaire avec l’IA Gen pour poser les bonnes questions et vérifier les contenus proposés, alors que les solutions éprouvées en self-service offrent des contenus standardisés mais robustes. Un agent conversationnel ne prendra pas en compte les spécificités réglementaires ou méthodologiques d’un sujet (RGPD, mineurs, santé, politique…) si l’utilisateur ne l’interroge pas dessus… Même si l’IA Gen échange « naturellement » avec l’utilisateur, savoir bien formuler sa requête (prompt) est indispensable : il suffit de poser une question pour obtenir des réponses en IA Gen comme dans une enquête, mais poser les bonnes questions est un savoir-faire ! En l’état actuel, ChatGPT peut tenir partiellement le rôle d’un assistant mais pas celui du chargé d’études, même junior.
ChatGPT peut-il rendre les études obsolètes ?
Une étude déjà faite et analysée par IA Gen pourrait éviter de lancer inutilement une nouvelle enquête. Aller chercher des données existantes au lieu de lancer une enquête : l’idée reprend celle déjà avancée sur le big data qui rendrait les études inutiles. La dernière décennie a en fait montré l’inverse, données d’enquêtes et nouvelle data sont davantage complémentaires que concurrentes. Obtenir des données récentes est toujours nécessaire, notamment pour déceler des retournements de tendance ou étudier de nouveaux phénomènes. Qui plus est, ChatGPT identifie mal les sources de référence et les informations vraies : ChatGPT peut diffuser des fake news ou même en inventer (hallucinations). D’autres IA Gen comme Google Bard peuvent réduire ce risque en précisant les sources utilisées dans leurs réponses. Mais dans l’intérêt même de l’IA Gen, des données réelles, récentes et fiables doivent continuer à alimenter les modèles d’apprentissage IA pour éviter l’ouroboros, le mythe du serpent qui se dévore en mordant sa queue : des données synthétiques massives générées par IA pourraient rendre marginales les données réelles et compromettre leur pertinence…
ChatGPT peut-il tirer vers le bas la qualité et le prix des études ?
ChatGPT pourrait être utilisé pour concevoir gratuitement un questionnaire à lancer sur une source bon marché et peu fiable de répondants (fichiers d’emailing douteux, clickworkers…). Ces dérives sont possibles mais peut-être temporaires. L’arrivée de la collecte en ligne dans les années 1990 et de l’automatisation dans les années 2000-2010 a fait craindre aussi une baisse de qualité et une chute continue des prix. Les coûts ont un peu baissé, puis se sont stabilisés en quelques années, les études très bon marché et de mauvaise qualité ayant été discréditées. Les premières utilisations d’IA n’ont pas fait chuter la qualité et le coût des études, il devrait en être de même pour ChatGPT et les autres solutions d’IA Gen.
Avec l’intégration croissante d’IA Gen dans les outils classiques de l’entreprise (Copilot pour la bureautique Microsoft par exemple), l’expertise humaine et l’intelligence artificielle risquent d’être de plus en plus imbriquées… Savoir utiliser ces nouveaux outils sera sans doute indispensable dans de nombreux secteurs, cette nouvelle compétence digitale permettra à l’humain augmenté de ne pas perdre face à la machine !
IA Gen & self-service pour les études agiles, externalisation pour les études stratégiques ?
Pour notre secteur, l’IA Gen pourrait renforcer les enquêtes internalisées, notamment les études agiles en combinant l’individualisation du contenu fourni par les agents conversationnels et la standardisation du self-service. Mais l’IA fait aussi gagner du temps en institut et enrichit les contenus : dégagés des tâches répétitives, les chargés d’études peuvent mieux se consacrer à la compréhension des besoins, à préciser un protocole d’études, à affiner les analyses, interprétations et recommandations pour les études stratégiques.
Les études internalisées et externalisées devraient donc continuer à coexister, comme cela est déjà le cas dans les entreprises qui se sont lancées très tôt dans le DIY. Les études externes devront sans doute délivrer leurs insights plus rapidement pour aider à la décision, et éviter que des clients se contentent d’une réponse imparfaite mais rapide.
Les études internalisées et externalisées devraient donc continuer à coexister, comme cela est déjà le cas dans les entreprises qui se sont lancées très tôt dans le DIY. Les études externes devront sans doute délivrer leurs insights plus rapidement pour aider à la décision, et éviter que des clients se contentent d’une réponse imparfaite mais rapide.
Pour en savoir plus
- Questions clés avant de faire du DIY : https://www.quirks.com/articles/9-questions-to-ask-before-launching-into-diy-research
- Esomar AI taskforce : https://esomar.org/guidance/navigating-the-future-of-insights
- Esomar SWOT for AI : https://esomar.org/newsroom/a-swot-for-ai
- Questions Esomar pour les acheteurs de services IA (en consultation jusqu’au 24/11) : https://esomar.org/codes-and-guidelines/22-questions-to-help-buyers-of-ai-based-services-consultation-draft
- Guideline ESOMAR/GRBN sur les données secondaires (avec ou sans IA et ChatGPT) : https://esomar.org/code-and-guidelines/guideline-when-processing-secondary-data-for-research
- ChatGPT dans les études :
- Rapport sur les biais des algorithmes de la FRA (agence de l’UE pour les droits fondamentaux) : https://fra.europa.eu/fr/publication/2022/bias-algorithm
• Echanger avec l’auteur : @ Philippe Guilbert
• Retrouver tous les précédents opus de la série #Le Saviez-vous ?