Navigation – Plan du site

AccueilNumérosVolume 4 Numéro 1Dossier : Santé et environnementL’évaluation pré/post des effets ...

Dossier : Santé et environnement

L’évaluation pré/post des effets de la communication du risque sur la perception du risque : l'exemple de la pêche sportive dans le Saint-Laurent autour de Montréal

Jacques Grondin, Dany Laverdière et Richard LaRue

Résumés

L'approche pré/post est couramment utilisée pour mesurer l'acquisition de connaissances et d'habiletés ou pour évaluer les effets de différentes interventions; la facilité de son application peut inciter des communicateurs tentés de mesurer l'effet ou le taux de pénétration de leurs messages au sein de leurs auditoires. Cet article illustre un cas d'application de cette approche évaluative au moyen d'un exemple de communication de risque en santé environnementale. La stratégie était de mesurer des indicateurs de perception du risque auprès des répondants avant la communication des analyses d'une enquête (pré-test), de remesurer ces indicateurs suite à la communication du risque (post-test) et, après plus d'un an, de revérifier si les changements mesurés lors du post-test étaient persistants ou volatiles (suivi). Trois moyens de communication différents ont été choisis pour divulguer les résultats de l'analyse du risque, soit par présentation orale, par résumé écrit et par les médias (radio, télévision).

Les moyens de communication utilisés ont tous eu un effet mesurable sur la perception du risque cependant celui-ci est limité car la perception de la majorité des répondants est demeurée inchangée entre le pré-test et le post-test. De plus, le type (négatif/positif) et l'ampleur (fort/faible) des changements d'opinion varient inégalement selon l'indicateur mesuré. Enfin, parmi les répondants qui ont changé d'opinion entre le pré-test et le post-test, une partie de ceux-ci ont aussi changé d'opinion entre le post-test et le suivi, ce qui souligne une certaine volatilité des effets de la communication du risque sur la perception de l'auditoire. Ces données soulèvent d'ailleurs la nécessité de valider davantage les indicateurs habituellement utilisés pour mesurer la perception du risque. Après avoir discuté de certains biais, les auteurs concluent que l'approche pré/post pour évaluer l'effet de la communication du risque sur les attitudes et opinions comporte différentes limitations qui font en sorte que ce type d'évaluation ne nous renseigne pas adéquatement sur la valeur réelle de la communication du risque.

Haut de page

Texte intégral

Introduction

1Depuis 1989, les gouvernements du Canada et du Québec ont signé diverses ententes visant à protéger, conserver et restaurer la qualité des eaux du Saint-Laurent. Afin de répondre aux préoccupations croissantes sur des questions de santé liées à l’état du Saint-Laurent, un volet Santé a été intégré à ce programme et orienté vers une réduction de l'exposition de la population aux différentes sources de contaminants associées au Saint-Laurent. Afin d'atteindre les objectifs fixés, le Domaine d'intervention santé humaine a réalisé des activités de recherche, de surveillance, d'évaluation et d'information (Volet Santé 1998). En vue de l'importance accordée à la communication des résultats des recherches effectuées dans le cadre du domaine d'intervention santé humaine du programme fédéral-provincial Saint-Laurent Vision 2000, la présente évaluation visait à vérifier l'efficacité d'une technique de mesure de l'effet de divers moyens de communication sur la perception du risque, soit la technique pré-/post-test. Deux objectifs complémentaires étaient aussi visés, soit premièrement d'évaluer à quel point la communication pouvait avoir un effet sur les perceptions et, deuxièmement, d'évaluer la persistance ou la volatilité d'éventuels changements de perception selon le moyen de communication utilisé.

2La technique choisie ici pour mesurer l'effet d'une intervention – de communication sur la perception du risque est basée sur l'évaluation pré-test/post-test, une méthode quantitative qui peut être relativement facile à mettre en place. Essentiellement, ce type d'approche vise à comparer un même élément de mesure à deux temps différents, séparés par la participation à une intervention, un projet ou un programme donné. Au départ, on postule l'hypothèse que les différences entre ces deux éléments de mesure peuvent être interprétés comme l'effet de l'intervention ou de la participation au projet/programme. C'est souvent une approche non-aléatoire utilisant des contrôles réflexifs, c'est-à-dire que le groupe constitue son propre contrôle. Cette approche est couramment utilisée dans de nombreux contextes que ce soit, par exemple, en éducation pour mesurer l’acquisition de connaissances et d’habiletés, en évaluation pour identifier des extrants résultant de la mise en place de programmes ou en marketing pour évaluer l'effet de campagnes de publicité sur l'intérêt des consommateurs.  Nous avons choisi l'approche pré-/post-test justement parce que la facilité de son application est susceptible de plaire à divers chercheurs tentés de mesurer l'effet ou le taux de pénétration de leurs messages au sein de leurs auditoires. Pourtant, de nombreux évaluateurs nous ont mis en garde quant aux limites de cette approche. La principale critique d'une telle approche est  qu'elle ne permet pas de différencier entre des facteurs externes et l'intervention elle-même.  De plus, lorsqu'une intervention n'a pas rencontré les objectifs qu'elle s'était fixée au départ (et qu'on cherche à mesurer), il est impossible de savoir ce qui n'a pas fonctionné pendant l'intervention ou le programme quand on utilise ce type d'évaluation. Ainsi, selon le contexte, on projetera le blâme du non succès de l'intervention au communicateur (lors d'une présentation scientifique, par exemple) ou à l'auditoire (dans le cas des étudiants qui échouent leurs examens). En se concentrant sur la mesure d'objectifs identifiés au départ, ce type d'évaluation ne permet pas d'évaluer d'autres extrants de l'intervention, qu'ils soient positifs ou négatifs. De même, n'étant pas de type critique, ce type d'intervention peut démontrer que les objectifs visés sont atteints même si ceux-ci sont triviaux ou inadéquats. Enfin, n'étant pas une évaluation formative, elle ne permet pas de colliger des données pendant l'intervention de manière à bonifier celle-ci pendant que l'intervention a lieu (Angelo et Cross 1993, Linn et Slinde 1977, Scriven1981). Rossi et Freeman (1986: 215) synthétisent ainsi la question: "Although few studies have as much intuitive appeal as before-and-after studies, they are among the least valid assessment approaches." Compte tenu du fait que les débats théoriquesautour des limitations et biais de telles approches simples et, en apparence seulement, efficaces sont peu susceptibles d’attirer l’attention des chercheurs ou communicateurs qui n’ont pas de formation en évaluation, nous avons opté d’en démontrer un cas d’application et de limites au moyen d’un exemple de communication de risque en santé environnementale.

3Pour la présente évaluation, il s'agissait de mesurer un certain nombre d'indicateurs auprès des répondants avant la communication des résultats d'une enquête (pré-test) et de remesurer les mêmes indicateurs suite à la communication des informations (post-test).

Méthodes

  • 1 Nous remercions Tom Kosatsky et son équipe, de la Direction de santé publique de Montréal-Centre, p (...)

4Des questionnaires ont été complétés par trois groupes de personnes auxquels on a présenté, grâce à différents moyens de communication, les résultats d'une enquête à laquelle ils avaient participé concernant la consommation des poissons de pêche sportive dans la région de Montréal (Kosatsky et al. 1998). Lors de ce processus d'information, l'équipe de recherche a présenté la synthèse des résultats de l'enquête concernant l'exposition environnementale de la population (Kosatsky 1997). L'information comportait divers éléments tirés de l'analyse du risque dont: le contexte, les objectifs et la méthodologie de l'étude, les caractéristiques des consommateurs de poisson de pêche sportive (nombre de pêcheurs, habitudes de pêche et de consommation), le niveau d'inquiétude des pêcheurs, les mesures directes de contaminants (Hg, Pb, As, BPC...) et d'acides gras oméga-3, les mesures de lipides plasmatiques et de pression artérielle, une évaluation des risques et bénéfices, et ainsi de suite. Tous les participants à la présente évaluation ont été recrutés parmi les participants à l'enquête initiale et auxquels on a présenté de l'information concernant les résultats de cette enquête1.

5Trois moyens de communication différents ont été choisis pour divulguer les résultats des analyses à chacun des groupes:

  • Test 1: Un premier groupe a été formé à partir de l'ensemble des participants présents lors de la présentation orale des résultats. En tout, 23 répondants ont répondu à un questionnaire avant ainsi qu'après la présentation des données par le chercheur principal de l'enquête.

  • Test 2: Un deuxième groupe est constitué de personnes qui n'étaient pas présentes lors de la communication orale mais qui ont reçu un document-synthèse (une brochure) présentant les grandes lignes de l'enquête ainsi que ses résultats. Ce sont 19 personnes qui ont répondu à un questionnaire avant et après avoir consulté la brochure.

  • Test 3: Un troisième groupe, comptant 19 personnes, a été formé de personnes qui ont pris connaissance des résultats de l'enquête seulement lors de leur divulgation publique dans les médias. Les répondants ont été avertis lors du pré-test de la date du dévoilement officiel des résultats de l'enquête et recontactés pour le post-test. Suite à la divulgation publique des résultats, 84.6% des répondants de ce groupe ont pris connaissance des résultats de l'enquête par les journaux et 15.4% par la télévision.

6Chaque répondant a rempli un questionnaire avant d'être exposé aux résultats de la recherche à laquelle ils avaient participés (pré-test). Les répondants ont aussi répondu aux mêmes questions mais après avoir reçu l'information (post-test). Enfin, parmi les 61 répondants des pré-test et post-test, il a été possible d'en recontacter 45 après plus d'un an pour vérifier si les changements mesurés lors du post-test étaient persistants ou volatiles (suivi).

7Comme il s'agissait ici d'un projet pilote, quatre indicateurs simples ont été choisis, tous ayant trait à la perception des répondants du risque de consommer du poisson du fleuve. Cependant, lors du post-test quelques questions portant sur la satisfaction quant aux moyens de communication utilisés ont aussi été ajoutées.

Résultats

Comparabilité des groupes

8Les réponses aux pré-tests (i.e. avant la communication des données) des trois groupes ont été comparées pour voir si les répondants avaient au départ des perceptions différentes ou semblables (Tableau 1).

9Le premier indicateur mesuré dans le questionnaire avait trait à la perception des répondants sur l'attitude des autorités face au risque de consommer le poisson du fleuve. La question utilisée était la suivante: « Par rapport à la qualité des poissons du fleuve, les conseils des autorités concernant la consommation sont positifs/encourageants, neutres ou négatifs/décourageants ?» Il n'y a pas de différence statistiquement significative mesurable entre les groupes. La majorité des répondants (67.2%) estimait que les conseils des autorités étaient positifs.

10Le deuxième indicateur mesuré dans le questionnaire avait trait à la perception des répondants sur la quantité de contaminants dangereux pour la santé présents dans le poisson du fleuve: « À votre avis, le poisson du fleuve contient-il beaucoup, un peu ou pas du tout de contaminants dangereux pour la santé des consommateurs? » Ici aussi, il n'y a pas de différence statistiquement significative mesurable entre les groupes. La grande majorité des répondants (81.4%) estimait qu'il se retrouvait seulement un peu de contaminants dangereux dans le poisson du fleuve.

11Le troisième indicateur mesuré dans le questionnaire avait trait à la perception des répondants sur le risque à la santé de consommer du poisson du fleuve: « Personnellement, pensez-vous qu'il est très inoffensif, plutôt inoffensif, plutôt risqué ou très risqué pour la santé de manger souvent du poisson pêché au fleuve? » Encore une fois, il n'y a pas de différence statistiquement significative mesurable entre les groupes. La grande majorité des répondants (86.9%) estimait qu'il était très ou plutôt inoffensif de consommer souvent du poisson du fleuve.

12Le quatrième indicateur mesuré dans le questionnaire avait trait à la perception de l'impact sur la santé de l'arrêt de consommation du poisson de pêche sportive: « Si vous éliminiez le poisson de pêche sportive de votre alimentation, croyez-vous que votre santé en serait affectée positivement, inchangée ou négativement? » Il n'y a pas, ici non plus, de différence statistiquement significative mesurable entre les groupes. La majorité des répondants (75.4%) estimait que leur santé serait inchangée s'ils éliminaient le poisson de pêche sportive de leur alimentation.

13En somme, la distribution générale des réponses des trois groupes avant la communication des données s'avérait statistiquement semblable. Il n'y a donc pas lieu de croire qu'il se soit glissé un biais de sélection qui ait pu fausser dès le départ l'analyse des résultats du post-test.

Tableau 1.  Comparaison des proportions dans les réponses des trois groupes lors du pré-test.  Le calcul de probabilité employé dans ce tableau est basé sur la mesure statistique du chi-carré

Perception

Groupe 1:

Oral

Groupe 2:

Brochure

Groupe 3:

Médias

Valeur p

%

%

%

%

Attitude des autorités de santé

Conseils positifs

65.2

63.2

73.7

Conseils neutres

21.7

0

10.5

Conseils négatifs

13.0

36.8

15.8

0.105

Niveau de contamination du poisson du fleuve

Beaucoup de contaminants

0

5.6

5.3

Un peu de contaminants

90.9

83.3

68.4

Pas du tout de contaminants

9.1

11.1

26.3

0.391

Risque à consommer du poisson du fleuve

Très inoffensif

17.4

36.8

31.6

Plutôt inoffensif

73.9

47.4

52.6

Plutôt risqué

8.7

15.8

15.8

Très risqué

0

0

0

0.473

Impact de l'arrêt de consommation du poisson

Impact positif

0

0

5.3

Santé inaffectée

73.9

78.9

73.7

Impact négatif

26.1

15.8

21.1

Ne sait pas

0

5.3

0

0.546

Effets de la communication du risque

14Le Tableau 2 présente les résultats de l’effet de la communication des données en comparant les données du pré-test et du post-test. Le premier indicateur utilisé, la perception de l'attitude des autorités, est l'un des deux indicateurs où l'on peut voir le plus de changements d'opinion entre le pré-test et le post-test (33% de l'ensemble des répondants ont changé de perception, que ce soit de façon négative ou positive). Le changement le plus important est à l'effet que les répondants percevaient les conseils des autorités comme étant moins négatifs qu'ils le croyaient avant la communication des données. C'est aussi avec cet indicateur qu'on observe le plus grand écart entre les divers modes de communication des données, le plus petit effet ayant été observé suite à la communication des résultats de l'enquête de façon orale. La concordance (entre quoi et quoi?) est cependant très faible dans le cas des médias et moyenne dans le cas de la communication orale.

15En ce qui a trait à la perception du niveau de contaminants dans les poissons du fleuve, la proportion de changements d'opinion (26% des répondants) entre le pré-test et le post-test est moins polarisée que l'indicateur précédent. Lorsqu'il y a eu changement d'opinion, il y en a eu davantage à l'effet que les répondants percevaient le poisson du fleuve comme étant moins contaminé qu'ils le croyaient avant la communication des données. Pour cet indicateur, la communication du risque par les médias a eu un impact un peu plus grand que les autres moyens de communication.

16En regard de la perception du risque à consommer souvent du poisson du fleuve, cet indicateur est celui où il y a le plus de changements d'opinion (36% des répondants) entre le pré-test et le post-test. Cependant, ces changements variaient selon le moyen de communication utilisé. Ainsi, la brochure a mené à davantage de changements d'opinion à l'effet que la consommation du poisson était moins risquée que le croyaient initialement les répondants. Par contre, la communication orale a davantage eu pour effet d'augmenter le niveau de risque perçu. Les coefficients Kappa indiquent une concordance moyenne pour ces données ?.

17Enfin, l’indicateur concernant l’impact de l’arrêt de consommation du poisson est celui où l'on peut constater le moins de changements d'opinion (20% des répondants) entre le pré-test et le post-test. Ceci est peut-être dû au fait que l'indicateur utilisé est plus complexe que les autres car il sous-entend autant les risques que les bénéfices liés à la consommation de poisson. Il est intéressant de noter cependant qu'à cette question -et ce, contrairement aux autres indicateurs- le niveau d'indécision (i.e. ceux qui ont répondu "ne sait pas") a augmenté après la communication des données (en particulier suite à la communication orale). De même, le nombre de répondants mettant en doute les bénéfices pour la santé semble aussi avoir augmenté.

Tableau 2. Comparaisons pré-test/post-test

Indicateur

Groupe 1:

Oral

Groupe 2:

Brochure

Groupe 3:

Médias

%

%

%

Perception de l'attitude des autorités (de santé?)

Conseils moins négatifs qu'ils pensaient

13,1

26.3

29.4

Perception inchangée

73.9

63.2

58.8

Conseils moins positifs qu'ils pensaient

13.1

10.5

11.8

Kappa pondéré

0.544

-0.161

Perception du niveau de contaminants dans les poissons du fleuve

Poisson moins contaminé qu'ils pensaient

13.6

15.8

17.6

Perception inchangée

77.3

73.7

70.6

Poisson plus contaminé qu'ils pensaient

9.1

10.5

11.8

Perception du risque à consommer souvent du poisson

Plus inoffensif qu'ils pensaient

13.1

27.8

11.8

Perception inchangée

60.8

61.1

70.6

Plus risqué qu'ils pensaient

26.1

11.1

17.6

Kappa pondéré

0.407

0.388

Perception de l'impact sur la santé de l'élimination du poisson dans la diète

Impact moins positif que prévu

4.4

5.6

5.9

Perception inchangée

73.9

88.9

82.4

Impact moins négatif que prévu

8.7

5.6

5.9

Sont devenus plus indécis

13.1

0

5.9

18Il a été possible d'effectuer des mesures de concordance seulement sur quelques tableaux croisés vu le nombre restreint de répondants. La mesure de concordance utilisée est le coefficient Kappa pondéré. Ces mesures indiquent ici une concordance faible à moyenne.

19Deux questions additionnelles ont été posées uniquement lors du post-test (Tableau 3). La première visait à savoir quel moyen d'information était préféré par les répondants: « Par rapport à l'information que vous avez eue, quel moyen croyez-vous être le meilleur pour donner cette information aux pêcheurs, est-ce en personne lors d'une réunion, par une brochure, par la télévision ou par les journaux? » Indépendamment du moyen de communication auquel ils ont été exposés, la majorité des répondants (68,4%) optent pour les médias comme source d'information privilégiée.

20La seconde question posée seulement lors du post-test visait à mesurer l'intention des répondants selon l'information qu'ils ont reçue: « Considérant l'information que vous avez eue, avez-vous l'intention d'augmenter, de diminuer ou de ne pas changer la quantité de poisson pêché au fleuve que vous mangez? » Comme l'indique le Tableau 3, la grande majorité des répondants n'avaient pas l'intention de changer leurs habitudes alimentaires. De plus, aucun répondant ne comptait réduire sa consommation de poisson; pourtant, après la communication des résultats de l'enquête  10.4% des répondants considéraient le poisson plus contaminé qu'ils le croyaient au départ (Tableau 2), 18.7% que sa consommation était plus risquée et 11,9% que les conseils des autorités étaient un peu moins positifs qu'ils l'estimaient avant la communication des données.

Croisement des impacts de la communication des données

21Quelques croisements supplémentaires ont été effectués pour vérifier à quel point le fait d'avoir changé d'opinion à un sujet pouvait être corrélé avec le fait d'avoir changé d'opinion à d'autres sujets. Ainsi, des croisements effectués avec les réponses de l’ensemble des répondants ont permis de constater qu'il n'y a pas de corrélation statistiquement significative (p=0.345) entre le fait de changer d'opinion par rapport aux conseils des autorités et le fait de changer d'opinion par rapport aux niveaux de contaminants dans le poisson. Des croisements ont aussi permis de constater qu'il n'y a pas de corrélation statistiquement significative (p=0.383) entre le fait de changer d'opinion par rapport aux conseils des autorités et le fait de changer d'opinion par rapport au risque qu'il peut y avoir à consommer le poisson du fleuve.

22Il semble cependant y avoir une corrélation significative entre le fait de changer d'opinion par rapport aux niveaux de contaminants dans le poisson et le fait de changer d'opinion par rapport au risque qu'il peut y avoir à consommer le poisson du fleuve. En effet, si on compare les indicateurs de niveaux de contaminants perçus et de risque perçu de l'ensemble des répondants lors du pré-test (Tableau 4), on observe que la grande majorité (77.8%) de ceux qui considéraient qu'il n'y avait pas du tout de contaminants estimaient que la consommation était inoffensive. Par contre, ceux qui estimaient qu'il y avait beaucoup ou un peu de contaminants étaient plus nuancés, considérant majoritairement (68.0%) que la consommation était plutôt inoffensive.

Tableau 3.  Préférences et intentions mesurées lors du post-test

Groupe 1:

Oral

Groupe 2:

Brochure

Groupe 3:

Médias

%

%

%

Source d'information privilégiée après la communication des données selon les différents groupes

Oral

21.2

13.6

4.8

Brochure

9.1

18.2

28.6

Télévision

36.4

31.8

38.1

Journaux

33.3

36.4

28.6

Intention de changer la quantité de poisson mangé suite à la communication des données

Augmenter

13.0

0

5.9

Inchanger

87.0

100

88.2

Diminuer

0

0

0

NSP

0

0

5.9

Tableau 4.  Perception du risque selon le degré de contamination perçue du poisson

Risque perçu

Inoffensif

Plutôt inoffensif

Plutôt risqué

Valeur p

Contamination perçue

%

%

%

Beaucoup ou un peu de contaminants

18.0

68.0

14.0

Pas du tout de contaminants

77.8

22.2

0

0.001

Tableau 5.  Changement d'opinion par rapport au risque perçu selon le changement d'opinion par rapport au niveau de contamination perçue du poisson

Risque perçu

Plus inoffensif qu'ils pensaient

Perception inchangée

Plus risqué qu'ils pensaient

Valeur p

Contamination perçue

%

%

%

Poisson moins contaminé qu'ils pensaient

33.3

16.7

50.0

Perception inchangée

14.3

71.4

14.3

Poisson plus contaminé qu'ils pensaient

62.5

25.0

12.5

0.004

23La communication des résultats semble avoir eu un effet inattendu sur ce rapport entre les niveaux de contaminants perçus dans le poisson et la perception du risque (Tableau 5). En effet, ceux pour lesquels les niveaux de contaminants se sont avérés plus élevés qu'ils le croyaient semblent considérer le risque moins élevé qu'ils l'estimaient au départ. De même, ceux pour lesquels les niveaux de contaminants se sont avérés moins élevés qu'ils le croyaient semblent considérer le risque plus élevé qu'ils l'estimaient au départ.

24On ne peut être catégorique sur cet impact apparent de la communication des résultats de l'enquête puisque le nombre de répondants est, somme toute, assez limité. Cependant, il semble que les perceptions des répondants se soient nuancées quelque peu et qu'il y ait eu une certaine dissociation entre les niveaux de contaminants perçus et le niveau de risque perçu. Le risque perçu serait donc peu lié aux niveaux de contaminants perçus, puisque les évaluations des répondants ont davantage changé par rapport au risque perçu (41.1% des répondants ont changé d’opinion avant et après l'acte de communication) que par rapport aux niveaux de contaminants perçus dans le poisson (25.0% ont changé d’opinion avant et après l'acte de communication).

Stabilité des impacts de la communication

25Afin de vérifier si l'impact des changements mesurés lors du post-test était persistant ou volatile, l'ensemble des répondants a été contacté pour effectuer un suivi, et de ceux-ci 45 ont pu être rejoints après plus d'un an pour répondre à quatre questions, les mêmes utilisées lors du pré-test, soit celles relatives à la perception de l'attitude des autorités, la perception du niveau de contaminants dans le poisson, la perception du risque à consommer du poisson du fleuve et la perception de l'impact de l'arrêt de consommation de poisson.

26Dans tous les tableaux examinés lors de la comparaison des données du post-test avec celles du suivi, il appert qu'il n'y a pratiquement pas de concordance (mesurée par le coefficient Kappa pondéré) entre les réponses au post-test et celles du suivi. De plus, sauf dans le cas de la perception du niveau de contaminants dans le poisson, tous les tests du chi-carré indiquent aussi que les réponses au post-test et au suivi sont indépendantes les unes des autres:

  • perception de l'attitude des autorités: K=0.112, p=0.815

  • perception du niveau de contaminants dans le poisson: K=0.311, p=0.001

  • perception du risque à consommer du poisson du fleuve: K=0.141, p=0.368

  • perception de l'impact de l'arrêt de consommation de poisson: K=0.138, p=0.166

27Enfin, afin de vérifier si les différences observées entre le post-test et le suivi indiquaient que les répondants avaient retrouvé leurs opinions du départ, les données du suivi ont été comparées à celles du pré-test. Encore une fois, il est apparu qu'il n'y a pas de concordance entre les réponses et que ces réponses, sauf celles de la perception des autorités, apparaissent aussi indépendantes entre elles:

  • perception de l'attitude des autorités: K=0.308, p=0.037

  • perception du niveau de contaminants dans le poisson: K=0.165, p=0.431

  • perception du risque à consommer du poisson du fleuve: K=0.152, p=0.395

  • perception de l'impact de l'arrêt de consommation de poisson: K=0.062, p=0.320

Discussion et conclusion

28Les divers moyens de communication utilisés ont tous eu un effet mesurable sur la perception des répondants. Cependant, cet effet est plutôt limité car, dans tous les cas, la perception de la majorité des répondants est demeurée inchangée entre le pré-test et le post-test. De plus, le type (négatif/positif) et l'ampleur (fort/faible) des changements d’opinion varient inégalement selon l'indicateur mesuré.

29Si on ne tient compte que des effets les plus importants (c'est-à-dire où plus du quart des répondants ont changé d'opinion), ceux-ci ont été observés en regard de deux indicateurs: la perception de l'attitude des autorités et la perception du risque à consommer du poisson du fleuve. Cela pourrait signifier que ces indicateurs sont plus sensibles à la communication du risque et, dans le cas présent, au contenu des informations qui ont été communiquées aux répondants. D’autres évaluations sont nécessaires pour vérifier cette possibilité.

30En ce qui concerne la perception de l'attitude des autorités, la communication de résultats par les médias ainsi que par la brochure ont eu davantage d'impact que la communication orale, notamment à l'effet que les répondants percevaient les conseils des autorités comme étant moins négatifs qu'ils le croyaient au départ. Quant à la perception du risque à consommer du poisson du fleuve, celle-ci a été affectée de façon plus importante par la communication orale des données ainsi que par la brochure comparativement à l'information dispensée via les médias. Cependant, dans le cas de la communication orale il y a davantage de répondants qui percevaient la consommation de poisson du fleuve comme étant plus risquée qu'ils le croyaient au départ tandis que dans le cas de la communication avec la brochure il y en a davantage qui percevaient la consommation comme étant plus inoffensive qu'ils le croyaient initialement. Quant aux autres indicateurs mesurés, force est de constater qu'il est difficile de déterminer un lien clair puisque l'impact mesuré est habituellement faible et autant positif que négatif.

31Il aurait été difficile de tirer davantage de conclusions sur la valeur des moyens de communication utilisés si ce n'avait été de la question sur les intentions par rapport à la consommation de poisson. De fait, l'ensemble des données semble indiquer que la communication des risques a peut-être davantage un effet sur la perception des participants que sur leurs comportements et ce, indépendamment des moyens de communication utilisés. Du moins, leurs opinions semblent s'être nuancées. Par ailleurs, il est intéressant de constater qu'indépendamment du moyen de communication auquel ils ont été exposés, la majorité des répondants optent après coup pour les médias comme moyen d'information privilégié.

32Au niveau de la méthode d'évaluation, une limitation importante de l'approche pré-test/post-test est le fait qu'un pré-test peut biaiser les réponses en augmentant la réceptivité des répondants aux activités qui sont sous évaluation (Patton 1996). Un design expérimental est d'ailleurs souvent suggéré pour contrôler ce biais. Dans le présent cas cependant, ce biais ne se pose pas si l'on veut comparer l'impact relatif des trois moyens de communication puisque les trois groupes comparés ont eu à remplir le même pré-test. Par contre, ce biais se pose si on veut généraliser les résultats sur l’effet de la communication du risque. En somme, bien qu'on puisse mesurer l'effet relatif des divers moyens de communication, comment savoir si les répondants auraient été affectés de la même façon s'ils n'avaient pas eu à passer un pré-test?

33Une autre limitation de cette approche est le fait qu'elle donne une mesure de l'effet immédiat de la communication du risque, mais non de ses effets à moyen ou à long terme. C'est pourquoi il a été décidé de procéder à un suivi un an après la communication des résultats. Les données indiquent qu'une partie des répondants a changé d'idée entre le pré-test et le post-test ainsi qu'entre le post-test et le suivi (sans pour autant revenir aux opinions qu’ils exprimaient lors du pré-test). Cette constatation met sérieusement en doute la validité de ce type de mesure, du moins pour des indicateurs de perception. En effet, il est impossible de savoir, par exemple, si les répondants ont réellement changé d'idée ou s'ils répondent sans conviction au questionnaire. Il est clair que ce point doit être élucidé par d’autres recherches car il soulève la question de la validation des mesures de perception du risque. Tout ce qu'on peut conclure, sur la base des présentes données, c'est que les indicateurs utilisés pour la perception du risque semblent comporter un certain degré de volatilité dont l’importance reste à être évaluée.

34Deux autres facteurs importants peuvent affecter l'analyse de nos données. Premièrement, il se peut que nombre de facteurs aient influencé l'opinion des répondants qui ont changé d'idée, notamment la communication des analyses du risque mais aussi d'autres éléments externes dont il était impossible de tenir compte ici. Il est aussi possible que la volatilité apparente des réponses indique un manque d'intérêt de certains répondants face aux questions posées. Deuxièmement, la taille restreinte du nombre de répondants lors du présent projet limite la puissance statistique, rendant ainsi les résultats moins fiables. Il s'agit probablement là d'une limite méthodologique difficilement contournable, dans plusieurs contextes, car il est difficile d'imaginer un scénario réaliste qui permettrait d'avoir un échantillon plus grand de répondants pour participer à une évaluation par pré-test, post-test et suivi sans avoir des taux de recrutement trop faibles ou d'attrition trop forts. De même, il est irréaliste de penser pouvoir faire une évaluation des changements d'opinion en tenant compte de la multitude de facteurs pouvant influencer l'opinion des répondants.

35Enfin, le lien entre "perceptions" et "comportements" reste encore à être étudié. À cet effet, il serait davantage intéressant de remesurer les effets de la communication du risque sur les habitudes des répondants puisqu'il s'agissait là d'un des éléments clés de l'enquête initiale (i.e. évaluer les habitudes de consommation de poisson des pêcheurs de la région montréalaise). Par contre, vu les présentes données, et notamment de l'intention des répondants à ne pas changer leurs habitudes alimentaires, il est probable qu'il y ait eu peu de changements avec le temps, du moins si des facteurs externes ne sont pas venus influencer les comportements.

36En somme, il appert que l’approche pré/post pour évaluer l’effet de la communication du risque sur les attitudes et opinions comporte différentes limitations qui font en sorte que ce type d’évaluation ne nous renseigne pas adéquatement sur la valeur réelle de la communication du risque. Les chercheurs qui voudraient donc l’utiliser doivent être conscients de ses limitations et éviter de faire des généralisations sur le succès ou l’échec de leurs actes de communication évalués par de tels outils.

Haut de page

Bibliographie

Angelo, T.A. et K.P. Cross, 1993, Classroom Assessment Techniques. San Francisco: Jossey-Bass

Kosatsky, T., 1997, "Communications des résultats d'analyse aux sujets participant à une évaluation de l'exposition aux contaminants chimiques", Colloque du Réseau de recherche en santé environnementale du FRSQ: Les bioindicateurs en santé environnementale, Montréal

Kosatsky, T., B. Shatenstein, R. Przysbyz, S. Nadon et al., 1998, Risks and Benefits Related to the Consumption of St. Lawrence River Sportfish in the Montreal Region: Final Report. Santé Canada,Rapport Saint-Laurent Vision 2000

Linn, R.L. et J.A. Slinde, 1977, "The Determination of the Significance of Change Between Pre- and Post-Testing Periods," Review of Educational Research, XLVII: 121-150

Patton, M.Q., 1996, Utilization-Focused Evaluation, Thousand Oaks: SAGE Publications

Rossi, P. et H. Freeman, 1986, Evaluation. A Systematic Approach.Beverly Hills: SAGE Publications

Scriven, M., 1981, Evaluation thesaurus. Inverness: Edgepress

Volet Santé, 1998, Le Saint-Laurent et la santé. L'état de la question. Gouvernements du Canada et du Québec

Haut de page

Notes

1 Nous remercions Tom Kosatsky et son équipe, de la Direction de santé publique de Montréal-Centre, pour avoir assuré la collecte des données lors du pré-test et du post-test.

Haut de page

Pour citer cet article

Référence électronique

Jacques Grondin, Dany Laverdière et Richard LaRue, « L’évaluation pré/post des effets de la communication du risque sur la perception du risque : l'exemple de la pêche sportive dans le Saint-Laurent autour de Montréal »VertigO - la revue électronique en sciences de l'environnement [En ligne], Volume 4 Numéro 1 | mai 2003, mis en ligne le 01 mai 2003, consulté le 29 mars 2024. URL : http://journals.openedition.org/vertigo/4704 ; DOI : https://doi.org/10.4000/vertigo.4704

Haut de page

Auteurs

Jacques Grondin

Institut national de santé publique du QuébecJacques.Grondin@crchul.ulaval.ca

Dany Laverdière

Unité de recherche en santé publique Centre de Recherche du CHUQ

Richard LaRue

Santé Canada

Haut de page

Droits d’auteur

CC-BY-NC-ND-4.0

Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search