Les études publiées sont omniprésentes dans les médias et participent d’une certaine façon à la vie de nos sociétés et aux nombreux débats qui l’animent. C’est pourquoi il est besoin d’assurer un miminum de transparence, notamment pour les sondages politiques mais aussi pour les études marketing, afin de faciliter une juste interprétation des résultats.
Mais, précisément, quelles sont donc les informations méthodologiques qui doivent être communiquées lors de la publication des résultats d’une étude ? C’est le thème de ce nouveau « Le saviez-vous ? » que nous propose Philippe Guilbert, expert Etudes auprès des organisations professionnelles (SYNTEC Conseil, ESOMAR), avec le rappel des règles essentielles à connaitre et les liens de référence pour aller plus loin…
L’explication de Philippe Guilbert
77% des Français sont contre…, + 6 points de popularité pour…, + 24% de ventes du Black Friday… Un résultat d’étude peut constituer un titre d’actualité, mais un nombre doit s’accompagner d’informations méthodologiques pour être interprété et utilisé à bon escient. Une simple évolution de chiffre d’affaires peut être calculée par rapport à la période précédente (jour, semaine, mois de l’année en cours), ou à la même période de l’année précédente ou encore à une période moyenne (moyenne des jours, semaines, mois de l’année en cours ou des 12 derniers mois). Les spécialistes des panels Distribution ne changent pas d’indices à chaque vague de publication, mais un communiqué d’une entreprise vantant ses mérites est parfois peu précis sur ses modes de calcul…
Un résultat n’est pas une vérité absolue, mais une estimation relative à une période, une cible, un contexte et une méthode. La formulation des questions et leur enchainement, les échelles de réponse, les listes utilisées (marques, personnes…), la possibilité de ne pas répondre peuvent influencer les estimations. La publication de résultats entraîne donc pour les professionnels un devoir de transparence avec des spécificités par type d’étude.
En France, la publication des sondages électoraux (intentions de vote en particulier) est encadrée depuis plus de quarante ans. La loi du 19 juillet 1977 (précisée et renforcée en 2002, 2016 et 2017) a créé la Commission des sondages pour contrôler le respect de cette réglementation. Un institut de sondage doit lui envoyer avant publication une notice comportant notamment :
- Les noms de l’institut, du commanditaire et de l’acheteur s’il est différent ;
- L’objet du sondage ;
- La méthode d’interrogation et d’échantillonnage ;
- Le nombre de personnes interrogées, la proportion de non-répondants, les incentives éventuels ;
- Les dates terrain ;
- Le texte intégral des questions ;
- Les critères de redressement ;
- Les marges d’erreur des résultats (par référence à la méthode aléatoire).
La notice d’un sondage électoral publié peut être consultée par toute personne sur le site de la Commission, tandis que le média a des obligations de publier plusieurs de ces indications (dont la mention précisant que tout sondage est affecté de marges d’erreur) lors de la première diffusion du sondage. Le rapport d’étude est souvent disponible aussi sur le site de l’institut avec les principales informations de cette notice. Cette obligation légale ne s’applique toutefois qu’aux sondages selon la définition juridique, et ne concerne pas les consultations en ligne (autosélection des participants), ni les analyses du web et des réseaux sociaux.
A l’international, l’obligation légale de transparence est souvent réduite, des pays préférant plutôt interdire les sondages électoraux sur des durées qui peuvent atteindre plusieurs semaines… Cependant, la directive ESOMAR / WAPOR (World Association for Public Opinion Research) sur les sondages d’opinion, en période électorale ou pas, établit une liste d’éléments à communiquer très proche de celle ci-dessus, seuls les incentives et les marges d’erreur ne sont pas cités. Les médias ne pouvant mentionner toutes ces indications dans le descriptif méthodologique de l’enquête, l’institut se charge de les communiquer dans le rapport publié ou un document spécifique accessible sur son site web dans les 24h après publication du sondage. Toutes ces informations doivent être publiées sur les sites web du média et de l’institut dans les 24h après publication du sondage. De plus, le public peut s’adresser à l’institut pour obtenir des renseignements complémentaires sur l’échantillonnage et le redressement, ainsi que la structure brute et redressée des répondants, les taux de réponse (lorsqu’ils peuvent être calculés) et les éventuels biais de réponse connus.
Cette transparence se limite-t-elle aux sondages politiques ? La réponse est clairement non puisque l’article 8 du Code ICC / ESOMAR concerne l’ensemble des études de marché, études sociales et d’opinion et de l’analytique de données. La publication de résultats entraine une responsabilité auprès du grand public pour :
- Donner accès à suffisamment d’informations de base pour évaluer la qualité des données utilisées et la validité des conclusions ;
- Répondre aux demandes de renseignements techniques supplémentaires pour évaluer la validité des résultats publiés (sauf cas d’interdiction contractuelle).
Bien sûr, les enquêtes marketing sont plus rarement destinées à publication. Une faible partie de l’enquête est généralement publiée, la majorité restant destinée aux clients qui reçoivent des informations méthodologiques détaillées (cf norme ISO 20252 « Études de marché, études sociales et d’opinion, y compris insights et analytique de données »). Cette partie publiée s’accompagne d’une note méthodologique dont le contenu peut être simplifié s’il s’agit d’un baromètre ou d’une étude récurrente ayant déjà diffusé ses informations méthodologiques. Pour une enquête, la note précise notamment la cible, le nombre de personnes interrogées, le mode de collecte, la méthode d’échantillonnage et les dates terrain.
S’il s’agit d’analytique de données existantes (sans collecte de données primaires), des précisions méthodologiques sont également nécessaires : le seul argument de volumétrie (post, likes…) ne peut garantir la fiabilité des analyses. Le recours à l’IA n’est pas non plus une garantie comme évoqué dans les débats sur les biais des algorithmes et la précédente rubrique « Le Saviez-vous ? » sur les données secondaires et mesures passives. Quelles que soient les méthodes de collecte et d’analyse utilisées, la publication de résultats implique pour les professionnels un devoir de transparence, même dans les pays sans obligations légales.
Certes, ces informations peuvent être complexes à utiliser pour le grand public, d’où le rôle crucial des médias pour sélectionner et contrôler les études qu’ils diffusent. ESOMAR, WAPOR et AAPOR se sont associés pour lancer un cours pour comprendre et interpréter les sondages politiques destinés aux journalistes. Même sans rentrer dans les détails, l’absence de note méthodologique et le refus de répondre aux demandes de renseignement doit conduire à la plus grande prudence vis-à-vis du chiffre communiqué : les fake news se propagent aussi avec de faux sondages !
Pour en savoir plus
Loi du 19 juillet 1977 relative à la publication et à la diffusion de certains sondages d’opinion (version consolidée) : https://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000000522846
Directive ESOMAR WAPOR sur les sondages d’opinion et enquêtes publiées : https://www.esomar.org/uploads/public/knowledge-and-standards/codes-and-guidelines/ESOMAR-WAPOR_Guideline-on-Opinion-Polls-and-Published-Surveys_French_August-2014.pdf
Code ICC / ESOMAR : https://www.esomar.org/uploads/public/knowledge-and-standards/codes-and-guidelines/ICCESOMAR_Code_French_.pdf
Norme ISO 20252:2019 : https://www.iso.org/obp/ui/fr/#iso:std:iso:20252:ed-3:v1:en
Ethique de l’IA : https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top
https://www.oecd.org/going-digital/ai/principles/
Faux sondages : https://www.challenges.fr/tribunes/comment-reperer-les-faux-sondages_655905
POUR ACTION
• Echanger avec l’auteur : @ Philippe Guilbert
