Exigences du CRIC sur la précision dans les sondages

Contexte

L’American Association for Public Opinion Research (AAPOR) a stipulé que le calcul de la marge d’erreur est approprié seulement pour les échantillons probabilistes, et que d’autres mesures doivent être utilisées pour les échantillons non probabilistes. D’autres associations professionnelles, comme la World Association for Public Opinion Research (WAPOR) et l’European Society for Opinion and Marketing Research (ESOMAR), ont aussi recommandé de ne pas utiliser de marge d’erreur dans les échantillons non probabilistes.

Au Canada, lorsqu’une entreprise utilise des échantillons non probabilistes, il est devenu pratique courante pour certaines d’entre elles de faire une comparaison avec la marge d’erreur associée à des échantillons probabilistes de taille semblable. Par contre, les médias considèrent que cette comparaison signifie que l’échantillon non probabiliste est essentiellement la même chose qu’un échantillon probabiliste. L’utilisation de la marge d’erreur est une plainte que le CRIC reçoit couramment, ce qui signifie que nous devons prendre une position officielle à cet égard.

Bien qu’aucune entreprise de recherche dans le monde ne limite explicitement l’utilisation de la marge d’erreur dans les échantillons non probabilistes, cette pratique est généralement considérée comme étant inappropriée et non recommandée par les organisations professionnelles du secteur de la recherche.

Exigences du CRIC

Échantillons probabilistes : pour les sondages utilisant un échantillon probabiliste, les résultats comprendront une estimation de l’erreur d’échantillonnage (marge d’erreur). De plus, il est important de divulguer, s’il y a lieu, les limites quant à l’erreur non liée à l’échantillonnage et la possibilité de biais dans les conclusions tirées à partir des données.

Échantillons non probabilistes : les résultats découlant des échantillons non probabilistes doivent clairement indiquer qu’il s’agit d’un échantillon non probabiliste. Ces résultats fourniront seulement les mesures de précision si elles sont définies et si elles sont accompagnées d’une description détaillée de la façon dont le modèle sous-jacent a été appliqué, dont les hypothèses ont été validées et dont les mesures ont été calculées. De plus, il est important de divulguer les limites liées à l’échantillon et la possibilité de biais dans les conclusions tirées à partir des données.

*Il est important de souligner que les normes du gouvernement du Canada en matière de recherche sur l’opinion publique stipulent que pour les sondages non probabilistes, aucune autre mesure de précision ne peut être citée et aucun énoncé ne peut être ajouté pour indiquer que la marge d’erreur de l’échantillon est équivalente à celle d’un échantillon de même taille.

Si une marge d’erreur pour un échantillon probabiliste est fournie aux fins de comparaison, il faut clairement indiquer que cette marge d’erreur ne peut pas être calculée pour un échantillon non probabiliste. L’énoncé doit être inclus dans la section sur la méthodologie seulement et non dans les résultats individuels. Si un tel énoncé est ajouté, la formulation doit être la suivante :

Une marge d’erreur ne peut pas être calculée pour un échantillon non probabiliste. Aux fins de comparaison, un échantillon probabiliste de ## répondants aurait eu une marge d’erreur de ## %, 19 fois sur 20.

De plus, il est important de décrire les procédures d’assurance de la qualité en place pour s’assurer que l’échantillon est représentatif de la population visée et pour décrire, s’il y a lieu, les limites et la possibilité de biais dans les conclusions tirées à partir des données. La méthodologie doit aussi comprendre la liste des panels d’où proviennent les données.

Un énoncé doit être ajouté dans toutes les publications pour indiquer le respect des normes du CRIC : « Company » est membre du Conseil de recherche et d’intelligence marketing canadien (CRIC) et par conséquent, les résultats du sondage sont fiables puisque les travaux de recherche ont été réalisés conformément aux normes du CRIC.

Exigences du CRIC pour les sondages à consultation ouverte

Contexte

Un sondage à consultation ouverte est un sondage accessible au moyen d’un lien communiqué publiquement, ce qui permet à quiconque d’y répondre. Cette méthodologie est devenue de plus en plus courante en tant qu’outil de mobilisation du public. Bien que cette approche ait certains avantages (comme la commodité, le coût et le nombre possiblement plus élevé de réponses), il y a des risques associés à ce type de sondage : le biais, la probabilité d’avoir des réponses de piètre qualité (notamment des réponses frauduleuses, pourrielles ou multiples ou encore des tentatives de manipulation des réponses par des groupes d’intérêt) et le manque de représentativité.

Exigences du CRIC

Les chercheurs doivent connaître ces risques et les limites de la création d’un sondage à consultation ouverte ainsi que les étapes pour réduire le biais (dans la mesure du possible), et assurer la qualité et l’intégrité des données recueillies. La méthodologie doit indiquer les limites et la possibilité de biais dans les conclusions tirées à partir des données.

Les données issues de sondages à consultation ouverte ne doivent jamais être jumelées à des données recueillies séparément dans le cadre d’un sondage probabiliste ou non probabiliste.