Annexe B. Méthodologie de l’enquête et statistiques de l’échantillon
Calendrier et sélection du prestataire d’enquête
En 2008 et 2011, l’OCDE a mené des enquêtes auprès des ménages à une échelle internationale afin de mieux comprendre les comportements vis-à-vis de l’environnement dans les domaines de l’énergie, des déchets, des transports et des choix alimentaires, ainsi que l’incidence des politiques publiques sur ces comportements (OCDE, 2013[1] ; OCDE, 2011[2]). La troisième édition de l’Enquête sur la politique de l’environnement et l’évolution des comportements individuels (EPIC) a été réalisée en 2022 dans neuf pays : Belgique, Canada, États-Unis, France, Israël, Pays-Bas, Royaume-Uni, Suède et Suisse. Le Tableau A B.1 donne des précisions sur le calendrier du projet.
En juin et juillet 2022, 1 800 ménages ont été interrogés dans chacun des neuf pays étudiés au moyen d’un questionnaire en ligne1. En raison des contraintes de longueur, les répondants ont été choisis de manière aléatoire pour remplir deux des quatre parties thématiques en plus des parties sur les caractéristiques des ménages et sur les attitudes à l’égard de l’environnement, qui ont été remplies par chaque ménage. Il en a résulté 900 observations par domaine thématique et par pays (1 635 aux États-Unis) et un échantillon ciblé total de 8 835 observations dans chacun des quatre domaines thématiques : consommation résidentielle d’énergie, production et recyclage de déchets, choix du mode de transport personnel et consommation alimentaire (Tableau A B.2).
Sélection du prestataire d’enquête
L’OCDE a lancé un appel d’offres pour sélectionner un prestataire spécialisé dans la réalisation de grandes enquêtes électroniques internationales à partir de panels de consommateurs en ligne constitués dans différents pays. Comme pour les éditions précédentes, il a été décidé de mener l’enquête en ligne, solution moins coûteuse par répondant et plus facile à mettre en œuvre simultanément dans plusieurs pays de l’OCDE. Les fournisseurs de services d’enquête ont été évalués en fonction de leur capacité avérée à obtenir un échantillon représentatif ; les principaux critères d’évaluation étaient : la taille des panels, les quotas par panel, les modalités de recrutement et de gestion des panels, l’expérience en matière d’application de la méthode des choix discrets (MCD), les fonctionnalités des questionnaires en ligne, la réactivité et l’optimisation des ressources. Sur la base de ces critères, l’OCDE a choisi Ipsos N.V. pour la réalisation de l’enquête. Les tâches à effectuer par le prestataire comprenaient notamment les suivantes : héberger et programmer le questionnaire électronique, sélectionner pour chaque pays un échantillon représentatif de répondants à partir de panels en ligne déjà constitués, ainsi que collecter et nettoyer les données.
Élaboration du questionnaire et enquêtes pilotes
Le questionnaire EPIC de l’OCDE pour 2022 comprend six parties. Deux d’entre elles sont consacrées aux caractéristiques sociodémographiques et aux attitudes personnelles, et les quatre autres sont des parties thématiques portant sur le comportement des ménages dans des domaines environnementaux à l’étude : la production et le recyclage de déchets, le choix du mode de transport personnel, la consommation résidentielle d’énergie et la consommation alimentaire. Le questionnaire est composé d’environ 90 questions fermées présentant une combinaison de questions binaires, de questions à échelle ordinale et de questions d’opinion (échelle de Likert). Chacune des quatre parties thématiques comporte également une question qui constitue une application de la MCD (une « expérience de choix »).
Le questionnaire a été élaboré à partir des questionnaires précédents et avec le concours d’un groupe de pilotage, d’un comité consultatif scientifique et d’un groupe de coordination interne. Le groupe de pilotage réunissait des représentants des autorités publiques des pays participant à l’enquête, le comité consultatif scientifique comprenait des spécialistes du sujet et des experts en méthodologie issus du monde universitaire, et le groupe de coordination interne incluait d’autres parties concernées de l’OCDE, en particulier la Direction des échanges et de l’agriculture, l’Agence internationale de l’énergie et le Forum international des transports.
S’il existe une certaine continuité des questions par rapport aux éditions précédentes de l’enquête2, des changements ont néanmoins été apportés à la version de 2022 pour tenir compte de l’évolution du contexte environnemental, économique et politique au cours des dix dernières années. Des questions portant sur la satisfaction à l’égard de l’environnement local et l’importance des espaces verts ont été incluses dans la partie relative aux attitudes. Dans la partie sur l’énergie, un plus grand nombre de questions mettait l’accent sur les comportements de réduction de la consommation ; en outre, la question fondée sur la MCD était axée sur les énergies renouvelables, lesquelles étaient le point de mire des éditions précédentes de l’enquête. Dans la section relative aux transports, par exemple, des questions ont été ajoutées concernant les véhicules électriques ainsi que d’autres options en matière de transport telles que les vélos et les scooters. La section qui traite des déchets comporte maintenant des questions sur le compostage, le matériel électronique de rebut et les déchets alimentaires, ainsi que sur les régimes de paiement associés à la collecte des déchets. La partie concernant les systèmes alimentaires a été élargie pour inclure une variété d’habitudes de consommation alimentaire au-delà des aliments biologiques. Afin de réduire la charge cognitive, les questions ont été simplifiées et abrégées lorsque c’était possible.
L’intégration de la MCD est une nouveauté méthodologique importante dans cette troisième édition de l’Enquête EPIC. Selon cette méthode, on demande aux sujets de faire des choix hypothétiques en sélectionnant une solution préférée dans un menu d’options (Bateman et al., 2002[3] ; OCDE, 2018[4]). Les données de préférences déclarées générées par la MCD permettent d’estimer dans quelle mesure les répondants accordent de la valeur aux différentes caractéristiques de l’option présentée. Ces caractéristiques peuvent concerner les produits (par exemple, le prix d’une énergie ou les émissions de GES qu’elle entraîne), les actions (comme la facilité d’utiliser des récipients jetables plutôt que réutilisables) ou les éléments directement touchés par les mesures environnementales (comme le coût et la commodité de posséder un véhicule électrique).
Les plans d’expérience associés à la MCD ont également été conçus avec le concours du groupe de pilotage, du comité consultatif scientifique et du groupe de coordination interne, ainsi que de chercheurs de premier rang en modélisation des choix. Des détails relatifs à chaque question fondée sur la MCD sont fournis dans chacune des parties thématiques. La même méthodologie générale a été appliquée à chacune de ces questions dans toutes les parties thématiques. La première étape de la conception des questions associées à la MCD a consisté à caractériser clairement le problème décisionnel, notamment l’ampleur des changements potentiels dans les attributs ainsi que les types de valeurs associés à ces changements. Ensuite, les attributs et leurs divers niveaux ont été choisis en fonction de leur crédibilité, de leur facilité de compréhension et de leurs propriétés d’estimation. Le cas échéant, les niveaux des attributs sont propres au pays participant ou au répondant, de telle sorte que les scénarios soient réalistes.
Des enquêtes pilotes ont été menées avant la réalisation de l’enquête proprement dite afin de vérifier la pertinence des attributs et des niveaux choisis, et de s’assurer que la variation des niveaux des attributs était adéquate pour l’identification des paramètres de préférence dans le modèle de choix. Une fois déterminés les attributs, les niveaux et le nombre d’options, la théorie des plans d’expérience a été utilisée pour combiner les niveaux des attributs en ensembles de choix. Un plan factoriel fractionnaire orthogonal a servi à déterminer les niveaux des attributs inclus dans les ensembles de choix pour la première enquête pilote. Les paramètres de préférence estimés à partir des données de cette première enquête ont été utilisés comme estimations a priori pour l’élaboration d’un plan statistiquement efficient (critère d’efficience D) basé sur les erreurs types prédites des estimations des paramètres. Si l’on possède quelque information que ce soit sur les a priori, ce genre de plan génère toujours une performance supérieure à celle des plans orthogonaux (ChoiceMetrics, 2018[5]). Afin d’accroître la robustesse du plan face aux erreurs de spécification des a priori, on a également utilisé un plan bayésien efficient spécifiant les distributions des paramètres plutôt que des estimations ponctuelles. Outre l’efficience D, l’équilibre des attributs constituait un important critère qui a été maintenu dans la conception des ensembles de choix. Lorsque plus de six scénarios de choix étaient requis pour l’identification du modèle économétrique, les questions étaient séparées en groupes et assignées de manière aléatoire aux répondants, de sorte que chaque répondant soit interrogé sur six scénarios par domaine thématique.
Une première enquête pilote auprès de 540 répondants, réalisée en avril 2022, a servi à affiner le questionnaire. Cette enquête pilote a été menée dans tous les pays participants et a permis de déceler les questions posant des problèmes à partir du temps moyen de réponse par question. Les réponses issues des questions fondées sur la MCD ont servi à optimiser les ensembles de choix pour la deuxième enquête pilote, conduite en mai 2022. Parmi les autres changements apportés au questionnaire après ce deuxième test, on compte un peaufinage supplémentaire des ensembles de choix, sur la base d’estimations actualisées des paramètres de préférence, ainsi que des révisions destinées à améliorer la lisibilité des énoncés complexes.
Technologie utilisée et traduction
Les questionnaires en ligne ont été programmés de telle sorte qu’il soit possible d’y répondre sur les navigateurs Internet courants depuis une variété d’appareils, dont les téléphones portables. La plateforme permettait l’utilisation de formats de réponse variés pour différentes questions. Par exemple, les répondants pouvaient indiquer à l’aide d’une barre de curseur le degré de probabilité qu’ils accordaient à certains événements, ou leur degré d’adhésion possible à une mesure publique. Le temps médian cible pour les réponses à l’enquête était d’environ 20 minutes. Une fois la version anglaise programmée, le questionnaire a été traduit en allemand, arabe, espagnol, français, hébreu, italien, néerlandais et suédois, puis 15 versions distinctes ont été établies pour tenir compte de la terminologie propre à chaque pays (par exemple, dans les versions anglaises pour les États-Unis et pour le Canada), ainsi que de leur devise et leur système d’unités de mesure. Les membres du groupe de pilotage ont été invités à effectuer un dernier contrôle des questionnaires traduits.
Sélection et recrutement des répondants et échantillonnage par quotas
L’échantillon cible est composé du grand public âgé de 18 ans ou plus qui est entièrement ou partiellement responsable des dépenses du ménage (par exemple, le règlement des factures des services publics ou l’achat d’une voiture ou d’électroménagers). Les répondants ont été recrutés dans les panels en ligne non probabilistes/volontaires d’Ipsos dans les pays participants, sur la base de leurs données de profil (âge, genre et région) et de la taille prédéfinie des sous-échantillons. Pour garantir la représentativité de l’échantillon, des quotas ont été fixés en ce qui concerne l’âge, le genre, la région géographique et le revenu (voir plus loin la section sur les modalités d’établissement des quotas). Une fois un quota atteint, les répondants qui présentaient les caractéristiques correspondantes ne pouvaient plus remplir le questionnaire. Les participants sélectionnés en fonction de ces caractéristiques étaient invités par courriel à répondre à l’enquête sans que les thèmes traités dans le questionnaire soient mentionnés en amont. Afin d’encourager leur participation aux sondages, les membres des panels se voient offrir des points de récompense lorsqu’ils prennent part à une enquête. Le nombre de points attribués pour chaque enquête varie en fonction d’un certain nombre de facteurs, dont la longueur et la complexité du questionnaire. Avant de commencer le questionnaire, les répondants potentiels devaient indiquer s’ils remplissaient le critère de sélection (influence dans les décisions financières du ménage). Lorsque ce n’était pas le cas, ils recevaient un message les remerciant du temps consacré à l’enquête et ils étaient retirés de l’échantillon. Malgré la rigueur apportée à la stratification et à l’échantillonnage par quotas, il est possible que certaines caractéristiques des répondants, corrélées avec l’utilisation d’Internet, n’aient pas été relevées. Cette corrélation peut avoir introduit un biais dans la sélection de l’échantillon. Il est donc recommandé aux chercheurs qui s’appuient sur ces données de bien étudier l’incidence que ce biais de sélection, lié à l’utilisation d’Internet, pourrait avoir sur les résultats de leurs travaux.
Contrôle de la qualité
La qualité des réponses au questionnaire a fait l’objet d’une étroite surveillance pendant le travail de terrain. Les questionnaires terminés ont été contrôlés en vue de déterminer les répondants rapides, les répondants donnant la même réponse à toutes les questions et les non-réponses. Les répondants rapides ont été définis comme étant ceux qui remplissaient une partie donnée en moins de la moitié du temps médian de réponse à cette partie. Si un répondant était signalé pour au moins deux des trois contrôles de la qualité, il était retiré de l’ensemble de données final. Le Tableau A B.3 décrit le processus de sélection appliqué par le prestataire d’enquête.
L’OCDE a procédé à un contrôle supplémentaire de la qualité des données à partir du seul critère de la rapidité et a exclu 506 autres répondants, soit 2.8 % de l’échantillon restant. Ces répondants avaient rempli les parties du questionnaire en moins du tiers du temps médian de réponse propre à la partie concernée et au pays. L’échantillon total final compte 17 216 répondants.
Temps de réponse et taux d’abandon
Le Tableau A B.4 montre les taux d’abandon par pays. Le taux d’abandon correspond à la part des répondants qui ont commencé à remplir le questionnaire, mais n’ont pas terminé. Les répondants potentiels qui ont été retirés pour cause de quota atteint ou après la question de filtrage ne sont pas inclus dans les calculs3. Le taux d’abandon total a été de 26 %.
Objectifs des quotas et statistiques de l’échantillon pondéré
Pour garantir un échantillon représentatif et éviter les biais, l’échantillon a été stratifié en fonction du revenu, de l’âge, du genre et de la région dans chacun des neuf pays. Les quotas d’échantillonnage ont été établis sur la base de données démographiques provenant de sources statistiques officielles4. Le revenu a été stratifié par quintiles de revenu après impôt. L’âge a été stratifié selon les groupes suivants : 18 à 24 ans, 25 à 34 ans, 35 à 44 ans, 45 à 54 ans, 55 ans et plus. Sur le plan du genre, la répartition entre hommes et femmes s’établissait approximativement à 50 %-50 % ; dans certains pays, la proportion de femmes était légèrement plus élevée. Les régions ont été stratifiées en 4 régions seulement aux Pays-Bas et en Belgique, et en plus de 12 régions au Royaume-Uni et en France. L’enquête a permis de collecter un ensemble de données unique de plus de 17 670 ménages dans neuf pays.
Pour corriger les déséquilibres entre les objectifs d’âge, de genre, de région et de revenu, des facteurs de pondération ont été calculés pour assurer la représentativité au niveau de la population. Les pondérations post-stratification ont été calculées pays par pays sur la base des variables d’âge, de genre, de région et de revenu. Pour les répondants n’ayant pas déclaré de revenu (environ 11 % de l’échantillon), le revenu a été imputé à l’aide d’un modèle logit multinomial. Le Tableau A B.5 compare les proportions de l’échantillon pondéré aux proportions de l’échantillon cible.
Source : OCDE (2022), Enquête sur les politiques de l’environnement et l’évolution des comportements individuels.
Source : OCDE (2022), Enquête sur les politiques de l’environnement et l’évolution des comportements individuels.
Source : OCDE (2022), Enquête sur les politiques de l’environnement et l’évolution des comportements individuels.
Références
[3] Bateman, I. et al. (2002), « Economic valuation with stated preference techniques: a manual. », Economic valuation with stated preference techniques: a manual..
[5] ChoiceMetrics (2018), « Ngene 1.2 User Manual and Reference Guide », http://www.choice-metrics.com (consulté le 5 août 2022).
[4] OCDE (2018), Cost-Benefit Analysis and the Environment Further Developments and Policy Use: PART I Discrete choice experiments, https://www.oecd-ilibrary.org/environment/cost-benefit-analysis-and-the-environment/discrete-choice-experiments_9789264085169-8-en (consulté le 17 février 2020).
[1] OCDE (2013), Greening Household Behaviour: Overview from the 2011 Survey, OECD Studies on Environmental Policy and Household Behaviour, Éditions OCDE, Paris, https://doi.org/10.1787/9789264181373-en.
[2] OCDE (2011), Politique de l’environnement et comportement des ménages, Études de l’OCDE sur la politique de l’environnement et le comportement des ménages, Éditions OCDE, Paris, https://doi.org/10.1787/9789264096776-fr.
Notes
← 1. Aux États-Unis, 3 270 ménages ont été interrogés.
← 2. Il convient de noter que les échantillons diffèrent d’une édition à l’autre de l’enquête.
← 3. Le taux d’abandon correspond à la proportion de répondants qui ont satisfait à la question de filtrage et ont commencé à répondre au questionnaire, mais n’ont pas poursuivi jusqu’à la fin.
← 4. Eurostat, 2020 ; American Community Survey (ACS) ; Statistique Canada, Estimations de la population ; 20-07421901 NATO Public Opinion MENA (OTAN, Opinion publique, Moyen-Orient et Afrique du Nord).