Jon Puleston, de l’ESOMAR, a récemment analysé plus de 31 000 sondages, de 473 scrutins, dans 40 pays, sur une période de 1936 à 2017, et a fait une découverte étonnante : à l’échelle mondiale, l’erreur moyenne associée aux sondages menés dans les sept jours précédant une élection est de +/- 2,5 %. L’étude a porté sur des sondages des quatre dernières élections fédérales canadiennes. Elle a révélé que les sondeurs canadiens ont obtenu des résultats satisfaisants, et que leur moyenne d’erreur était inférieure à la moyenne mondiale. Bien qu’il y ait eu un peu de spéculation sur la diminution potentielle de la précision des sondages, l’étude de l’ESOMAR a permis de conclure qu’en examinant les données sur la précision des sondages au fil des années, il n’y a aucune preuve démontrant la diminution à long terme de la précision des sondages.

« Puisque les sondages électoraux sont un test décisif pour l’ensemble de la recherche par sondage, les responsables de tous les secteurs doivent comprendre que les sondages, lorsqu’ils sont bien exécutés, demeurent une source importante d’information pour la prise de décisions, comme ils l’ont toujours été », a affirmé Barry Watson, président du CRIC.

La question visant à savoir comment surmonter les difficultés associées aux sondages était un des sujets centraux de la conférence, particulièrement à la lumière des ratés d’envergure dans le cadre desquels des sondages n’ont pas prédit le résultat des événements sur lesquels ils portaient. Les membres du groupe de discussion de la conférence ont convenu que les sondages mal exécutés, erronés ou trompeurs informent mal les électeurs et nuisent donc à la démocratie.

Bien que les spécialistes des sondages aient la responsabilité de produire des données impartiales et exactes, les associations de l’industrie (comme la WAPOR, le CRIC et l’ESOMAR) sont d’avis que le public doit établir des normes mondiales en matière de recherche et les respecter rigoureusement.

« Les spécialistes des sondages ont le devoir professionnel et éthique de s’assurer que les sondages qu’ils publient respectent les normes les plus rigoureuses et sont appuyés par des méthodologies exemplaires », a déclaré Marita Carballo, présidente de la WAPOR. « S’ils ne respectent pas les normes les plus élevées, c’est une erreur de diriger l’attention du public vers ces produits. »

Les élections de 2017 à Calgary en sont un exemple frappant : il a été présenté par Christopher Adams, recteur du St. Paul’s College de la University of Manitoba et coauteur d’une étude sur les sondages problématiques menés lors de ces élections. Les sondages d’une société de recherche étaient si éloignés de la réalité qu’ils ont éclipsé les campagnes électorales elles-mêmes et sont devenus l’histoire des élections. Un examen de ces sondages, effectué par un comité indépendant, a révélé d’importants problèmes liés à la méthodologie.

Claire Durand, de l’Université de Montréal, a aussi présenté un exemple de rate en matière de sondage : les élections provinciales de 2018 au Québec, au cours desquelles la Coalition Avenir Québec (CAQ) a remporté haut la main les élections (par une majorité écrasante de 12 points), malgré que les sondages démontraient une chaude lutte entre les deux partis en tête. Dans son analyse, Mme Durand a établi que ce raté était attribuable à un revirement en fin de campagne, en faveur de la CAQ, au fait que les répondants « discrets » ont finalement voté en plus grande proportion pour la CAQ que prévu et à l’effet, quoique faible, de la participation différentielle. À la conférence, Mme Durand a souligné la nécessité de trouver des façons d’anticiper ces facteurs et ainsi prévenir d’autres ratés.

Une des recommandations qui est revenue à plusieurs reprises au cours de la séance était l’importance que les spécialistes des sondages soient transparents. On incite les entreprises de sondage à faire part des détails concernant leurs méthodologies et à être honnêtes quant aux risques potentiels associés à leurs prédictions. Les journalistes sont encouragés à demander ces informations. Des ressources supplémentaires sur l’analyse des sondages et la publication d’articles connexes, notamment un cours en ligne gratuit sur la compréhension et l’interprétation des sondages, se trouvent au bas du présent communiqué. Le CRIC publiera un autre communiqué sur nos normes en matière de transparence et leur application, en vue des prochaines élections fédérales cet automne.

« Les sondages électoraux ne sont pas des spectacles; ce qui compte est de défendre une démocratie saine et de donner à l’électorat la capacité de prendre une décision éclairée », a déclaré Joaquim Bretcha, président de l’ESOMAR. « En cette ère de désinformation, de fausses nouvelles, de pièges à clics et d’interférence étrangère, il est de plus en plus crucial de porter notre attention sur les mauvais sondages et les données aberrantes.