ANALYSE

4-

Programmes de prévention et modes d’évaluation

La littérature présentant les résultats des programmes d’éducation pour la santé est abondante et hétérogène. De nombreuses études ne montrent aucun effet des programmes, en particulier en termes de changement de comportements. Cet échec à obtenir l’effet souhaité par des programmes a conduit certains théoriciens à conclure qu’il fallait élargir le cadre de réflexion de l’éducation pour la santé, considéré comme trop étroit et donc inefficace, à celui de la « promotion de la santé », qui replace le comportement de santé de l’individu dans son contexte social et politique. C’est ainsi que des programmes ont été conçus à l’échelle de l’école, du quartier, de la ville ou de la région (Puska et coll., 1995renvoi vers).
Dans l’analyse de l’échec de nombreux programmes à obtenir un changement, on peut également considérer que l’approche éducative et/ou son évaluation étaient mal conçues. En effet, les approches éducatives initiales étaient souvent naïves et reposaient sur des modèles explicatifs des comportements assez frustes, voire erronés, non renseignés par les théories existantes. Ainsi, la théorie du déficit d’information comme raison du comportement à risque a été le seul fondement des premiers programmes. Quant aux méthodes d’évaluation, elles étaient inadaptées et la puissance statistique souvent insuffisante pour détecter des changements. Or, il ne faut pas confondre la conclusion « aucune différence n’a pu être observée entre ceux qui ont bénéficié d’un programme de prévention et ceux qui n’en ont pas bénéficié » avec « le programme n’est pas efficace ».
L’amélioration des méthodes d’intervention éducative et des techniques d’évaluation, en particulier par les équipes de recherche nord-américaines, mais aussi scandinaves ou hollandaises, a permis de mettre en évidence certains succès (Kirby, 1999renvoi vers). Ceci est probablement lié aux contextes nationaux de l’organisation des structures scientifiques. Dans ces pays, il existe en général des pôles universitaires de psychologie sociale cognitive faisant suite à l’école de psychologie comportementale et des pôles universitaires de santé publique intéressés par les comportements de santé. On constate que la présence dans un pays d’une école de sciences sociales essentiellement pragmatique favorise le développement d’une recherche en éducation pour la santé.

Modes d’évaluations : quantitatif/qualitatif

Deux concepts coexistent en matière d’évaluation des interventions en éducation pour la santé ; chacun se justifie par le type d’approche utilisé dans les programmes (tableau 4.Irenvoi vers).

Tableau Tableau 4.I Principaux traits des évaluations en fonction du type de programme mis en œuvre

 
Approche dominante des programmes
 
Traditionnelle positiviste : éducation pour la santé
Postmoderne : promotion de la santé
Actions/interventions
  
Définition des objectifs
par les expérimentateurs
par la population concernée par le programme
Types d’objectifs
inciter et aider à adopter des comportements favorables à la santé
provoquer des changements organisationnels (mouvement social et/ou citoyen) et environnementaux favorables à la santé
Conception
par les experts/expérimentateurs à partir de théories explicatives
par la population concernée par le programme
Évaluations
  
Objectifs
mesure des effets du programme : amélioration des connaissances, des compétences, des attitudes et des comportements de santé
examen du processus de déroulement du programme : suivi et vécu des étapes
Approche dominante
quantitative : mesure d’indicateurs
qualitative : analyse des phénomènes et des ressentis vécus par la population
Méthodologie
protocole expérimental : groupe(s) de comparaison et tirage au sort (situation idéale)
interviews individuelles et réunions de groupes avec les intervenants et la population
Point de vue épistémologique
approche expérimentale : efficacité scientifiquement déterminée
approche développementale : efficacité démocratiquement déterminée (Tones, 2000renvoi vers)
Positions éthiques
acceptation de l’idée de l’expérimentation dans le domaine des sciences sociales et éducatives à la condition que les individus y consentent après avoir été informés
refus d’utiliser les individus et les groupes sociaux comme des objets d’expérimentation dans le domaine des sciences sociales et éducatives
Les tenants d’une première école, se référant à l’approche « épidémiologiste », mesurent l’atteinte d’objectifs préalablement fixés pour une population donnée (augmenter le taux de non-fumeurs dans un public scolaire par exemple). Ceux d’une deuxième école, se référant aux approches « communautaires », souhaitent que les objectifs et les moyens mis en œuvre pour les atteindre, voire les méthodes d’évaluation, soient déterminés par la population elle-même, empêchant ipso facto tout protocole d’intervention ou d’évaluation préalablement défini.
La première école d’évaluateurs utilise la méthode expérimentale, qui consiste à comparer l’évolution d’une population ayant bénéficié d’un programme éducatif à celle d’une population n’en ayant pas bénéficié ou ayant bénéficié d’un programme alternatif. La seconde école d’évaluateurs propose de mettre l’accent sur l’évaluation de processus, c’est-à-dire du pilotage fin des actions réalisées, en particulier par des évaluations qualitatives permettant non pas de mesurer un changement mais de comprendre comment le programme a été appliqué, compris, vécu, accepté. Pour simplifier, on peut dire que la première école défend donc une efficacité scientifiquement déterminée à partir d’indicateurs quantitatifs, et la seconde une efficacité démocratiquement déterminée, c’est-à-dire par un jury comprenant financeurs, population, intervenants et experts (Tones, 2000renvoi vers).
Cette situation génère deux types de littérature. Dans un cas, les auteurs décrivent les effets de programmes spécifiques d’éducation pour la santé en adoptant les critères traditionnels de la littérature scientifique expérimentale, en particulier le plan : introduction, méthodes, résultats et discussion (IMRAD en anglais et IMRED en français) (Arwidson et Lavielle, 1998renvoi vers). Dans l’autre cas, les comptes-rendus d’actions sont extrêmement rares, entre autres parce que les intervenants impliqués dans les très nombreuses micro-actions faites dans cette philosophie ne sont pas formés ou motivés à publier ; il s’agit davantage d’une littérature de débat ou de recommandations générales pour agir ou évaluer. Les auteurs y rapportent également leur réflexion et leur analyse des problèmes techniques et éthiques liés a l’approche expérimentale (FCHP et ECHP, 2000renvoi vers; Tones, 2000renvoi vers). Les reproches techniques sont les suivants : chaque situation éducative étant singulière, les interventions éducatives sont peu codifiables ; le tirage au sort des groupes est difficile à faire accepter pratiquement ; l’approche qui inclut la participation de la population à la mise en place du programme (choix collectif des objectifs, des interventions, de l’évaluation) rend très difficile la conception préalable d’un protocole expérimental. Les reproches éthiques concernent l’expérimentation de protocoles éducatifs sur une population captive qui serait réduite à son insu à l’état d’objet d’expérience. Des approches alternatives sont évoquées mais n’ont pas encore fait l’objet de descriptions concrètes dans les revues traditionnelles. Ceci pourrait être dû soit à la jeunesse du champ, soit à un biais de diffusion. Un exemple est donné par la rédactrice en chef de Qualitative health research, qui se plaint dans un éditorial (Morse, 1998renvoi vers) que sa revue soit refusée par la principale base de données des sciences médicales Medline. La validité des méthodes qualitatives est en effet encore l’objet de nombreux débats et ajustements (Hamberg et coll. 1994renvoi vers; Hudelson, 1994renvoi vers; Lincoln, 1995renvoi vers; Mays et Pope, 1995renvoi vers et 2000renvoi vers; Meyer, 2000renvoi vers), de même que l’analyse des données qu’elles génèrent (Pope et coll., 2000renvoi vers).
Au-delà de cette opposition entre « écoles », des champs de recouvrement existent dans les pratiques et se retrouvent dans la littérature. Tout d’abord, l’utilisation d’essais randomisés et contrôlés au cours de la phase expérimentale ne s’impose pas au-delà des programmes de recherche. Quand une approche éducative a apporté des résultats, le problème devient la diffusion de cette innovation pédagogique et son application dans de bonnes conditions (critères de qualité). Les personnes participant aux programmes expérimentaux le font souvent dans le cadre d’un consentement éclairé et les approches éducatives peuvent être vues non pas comme un contrôle social déguisé, mais comme une formation ou un service dont on choisit de bénéficier. De plus en plus, la dimension sociale des comportements de santé ou la notion de situation ou de contexte dans lesquels ces comportements s’inscrivent est largement prise en compte. Les programmes sont souvent à multiples facettes et associent le volet éducatif à un travail sur l’environnement familial des jeunes et sur l’organisation scolaire. Quant aux interventions éducatives, celles qui donnent les meilleurs résultats sont justement fondées sur la dimension à la fois personnelle et sociale des comportements, c’est-à-dire les contextes dans lesquels ils s’inscrivent, l’analyse des influences diverses et l’apprentissage des stratégies d’autonomisation. La conception des programmes ne se fait plus sans consultation préalable et/ou prétest auprès de la population destinataire par des méthodes qualitatives. Aucun programme n’est plus appliqué sans un suivi précis de son application réelle, c’est-à-dire sans évaluation du processus.
Du point de vue des interactions professionnelles, il est intéressant de constater que les tenants des deux écoles d’évaluateurs se rejoignent actuellement sur différents points. D’une part, il a été demandé à ceux qui défendent une approche ouverte de la promotion de la santé, plutôt vue comme un mouvement social que comme une pratique professionnelle, de faire la preuve de leur utilité et de leur efficacité (OMS, 1997renvoi vers; IUHPE, 1999renvoi vers) ; ils se tournent donc vers les équipes universitaires qui ont continué à défendre les protocoles expérimentaux et les méthodes quantitatives comme gold standard de l’évaluation. D’autre part, les équipes de recherche impliquées dans l’évaluation quantitative de l’éducation pour la santé ont généralement conçu et vérifié l’adéquation et la pertinence de leurs programmes par des études qualitatives faites auprès de la population ; elles ont ajouté des volets d’intervention incluant l’environnement familial, social et organisationnel de la population impliquée dans les programmes, rejoignant en cela le cadre de la promotion de la santé ; elles ont également augmenté l’exigence éthique de leurs protocoles en introduisant, par exemple, la notion de consentement éclairé des jeunes participants et de leurs parents.

Indicateurs utilisés dans les études évaluatives

Bien que tout changement favorable à la santé, prise dans son sens large, puisse être crédité au bénéfice des actions d’éducation pour la santé, leur efficacité est jugée in fine sur leur capacité à modifier une tendance comportementale.
Cinq catégories de mesures de changement sont trouvées dans les études évaluatives en éducation pour la santé :
• l’acquisition de connaissances ;
• la variation d’attitudes (avec gradation des réponses) ;
• la modification déclarée de comportement (avec ou sans contrôle biologique) ;
• l’acquisition d’aptitudes à réagir face à une situation ;
• la modification d’un certain nombre de caractéristiques personnelles, comme l’intention d’adopter un comportement, le sentiment d’efficacité à réagir face à une situation, l’estime de soi, quantifiables à partir d’échelles psychométriques validées.

Essais randomisés et contrôlés (RCT) en éducation pour la santé

L’efficacité d’une intervention basée sur un protocole expérimental est évaluée par la comparaison d’une population ayant bénéficié de cette intervention à une population n’en ayant pas bénéficié. Ces deux populations doivent être similaires au départ, ce qui impose la répartition au hasard des individus/groupes qui vont bénéficier de l’intervention et des individus/groupes témoins. Le tirage au sort, ou randomisation, évite les biais d’attribution du « traitement » et favorise la comparabilité des groupes avant l’intervention. Il est également essentiel de contrôler les effets ou événements collatéraux qui ont pu agir en plus ou à côté de l’intervention, et donc entrer en compétition avec l’intervention.
La mesure à partir d’un questionnaire précédant l’intervention, ou prétest, permet d’une part de vérifier la similitude des groupes constitués par tirage au sort, et d’autre part d’avoir un état initial des groupes et des individus les composant, à l’aune duquel on mesurera la variation attendue. La mesure après l’intervention, ou posttest, permet d’évaluer le différentiel de changement et de comparer les groupes par une analyse statistique.
Cet idéal expérimental (gold standard) est simple à atteindre quand l’intervention est brève, facilement codifiable, répétable à l’identique et quand les individus sont sélectionnés un par un. Il est beaucoup plus difficile à atteindre dans le cas d’interventions éducatives prolongées (donc rarement strictement identiques dans le temps et l’espace), et quand elles s’adressent à des groupes sociaux naturels comme les écoles.

Difficultés du tirage au sort

En milieu scolaire, on rencontre des problèmes de motivation des responsables éducatifs, à la fois dans le sens de l’acceptation de participer à la recherche mais aussi dans le refus de n’être que témoin alors que motivé. Ceci a conduit de nombreuses équipes de recherche à réaliser des essais contrôlés mais non randomisés, avec le risque que les expériences nouvelles se fassent dans des écoles plus innovantes ou spécialement motivées, donc non comparables avec les écoles témoins. Une des solutions parfois adoptées est que les écoles témoins acceptent d’être dans le groupe témoin en échange d’une intervention éducative différée.

Taille des échantillons et problème de l’unité de randomisation

Deux contraintes statistiques s’imposent à l’évaluateur. Tout d’abord il doit disposer d’une population de taille suffisante pour garantir la puissance statistique du test. Sinon, il prend un risque important de déclarer l’intervention inefficace alors qu’elle l’était en réalité (risque statistique de deuxième espèce). Ensuite, s’il répartit les individus par tirage au sort entre groupe pilote et groupe témoin, il doit effectuer des comparaisons par des mesures au niveau individuel (un individu = une mesure). En revanche, s’il répartit des groupes par tirage au sort entre pilote et témoin, il doit comparer les groupes (un groupe = une mesure). Ces deux contraintes ont rarement été respectées dans la pratique de l’évaluation de l’éducation pour la santé, surtout au début de son histoire. Les évaluations les plus anciennes concernaient de petits échantillons insuffisants pour apprécier correctement les faibles variations. Et souvent les écoles étaient réparties entre pilote et témoin, alors que les élèves étaient suivis et comparés en tant qu’individus et non pas en tant que groupe.
Les solutions progressivement apportées ont été l’augmentation du nombre d’écoles réparties entre témoins et pilotes d’une part, et la mise en œuvre de méthodes statistiques aptes à corriger la violation de l’unité de randomisation d’autre part.

Durée de l’intervention et « perdus de vue »

Plus l’intervention éducative se prolonge dans le temps, plus le nombre d’élèves quittant les établissements scolaires augmente. Il est également fréquemment évoqué que les élèves quittant les protocoles expérimentaux sont ceux qui sont le plus à risque pour les comportements mesurés (en raison de difficultés personnelles ou sociales). Pour éviter des résultats artificiels pour les programmes à long terme, les évaluateurs doivent prendre certaines précautions : comparer le taux et les caractéristiques des perdus de vue entre le groupe témoin et le groupe pilote ; rechercher le plus possible les personnes qui sortent des protocoles expérimentaux pour les interroger. Certains évaluateurs attribuent arbitrairement une valeur au posttest pour les perdus de vue, par exemple la dernière donnée connue. Une alternative plus radicale serait l’attribution aux perdus de vue de la valeur représentant l’« échec du programme », par exemple, un fumeur au prétest reste fumeur au posttest s’il est perdu de vue.

Qualité d’application du programme

L’adaptation du programme éducatif à la fois aux élèves et aux intervenants est essentielle et doit être assurée par des tests préalables et des formations adéquates. Mais une fois ce préalable établi, l’absentéisme scolaire et la variabilité normale des intervenants font que, in fine, tout le monde ne reçoit pas la même intervention. Ceci a imposé aux évaluateurs de réaliser une évaluation de processus, ou contrôle de qualité, permettant de savoir si le programme a été bien appliqué d’une part, et de quantifier le volume du programme suivi par chaque élève d’autre part. Ainsi, les évaluateurs ont pu parfois constater l’inadaptation du programme, ou sa mauvaise application. De plus, ils ont pu calculer des « effets/dose », et comparer les élèves ayant peu participé au programme à ceux y ayant beaucoup participé.

Exemples de RCT réalisés à grande échelle

À titre d’exemples, quelques études évaluatives réalisées à grande échelle sont présentées ci-après. Elles ont été choisies sur les critères suivants : être effectivement un essai randomisé et contrôlé, réalisé en milieu scolaire, portant sur une cohorte d’au moins 1 500 élèves, et publié depuis 1989 (tableau 4.IIrenvoi vers). Certaines études ne répondant pas tout à fait à ces critères sont évoquées en raison de leur intérêt particulier.
Les résultats observés sont exprimés en termes de modifications des indicateurs de connaissances (score), d’attitudes (score ou pourcentage dans l’échantillon), de comportement (pourcentage dans l’échantillon) : la taille de l’effet du programme est définie comme la différence de moyennes entre le groupe expérimental et le groupe témoin ou de comparaison. La taille de l’effet est souvent exprimée en unités de déviation standard. Cette expression étant difficile à appréhender, les auteurs la complètent parfois par une estimation de la variation relative en pourcentage.

Programmes éducatifs pour la prévention de l’usage de substances psychoactives

Certains programmes abordent l’ensemble des consommations de substances psychoactives, d’autres concernent uniquement l’usage du tabac. Il est également fréquent de voir la consommation de substances, telles que l’alcool et la marijuana, abordée dans les programmes de prévention du sida et des autres MST, leur consommation étant considérée comme un facteur de prise de risque sexuel.

Tableau Tableau 4.II Principaux résultats de programmes éducatifs pour la prévention de l’usage de substances psychoactives, évalués sur de grands effectifs en milieu scolaire en utilisant un protocole expérimental

Intitulé
Lieu
Cohorte initiale
Éléments du programme
Principaux résultats
1 KYB
États-Unis
3 388 élèves de 8e
37 écoles
Leçons régulières pendant 5/6 années scolaires
Éducation des parents
Suivi clinique des élèves
À 5 ans, baisse du taux de cholestérol
À 6 ans, réduction significative de la fréquence d’initiation au tabac
2 DARE
États-Unis et Canada
9 317 élèves
214 écoles
17 séances (une par semaine) réalisées par des policiers formés
Pas d’effet significatif sur l’usage déclaré de « alcool/tabac/marijuana »
Diminution significative de l’usage du tabac traité séparément
3 LST
États-Unis
5 954 élèves de 5e
56 écoles
Interventions étalées sur 3 années :
15 séances en 5e, 10 en 4e et 5 en 3e
À 3 ans : réduction significative de la consommation de tabac, d’alcool et de cannabis pour les élèves ayant bénéficié d’au moins 60 % du programme
À 6 ans : maintien des effets
4 CATCH
États-Unis
6 527 élèves
96 écoles
4 sessions de 50 minutes
Aucun effet spécifique sur la prévalence de l’usage du tabac
5 non intitulé
Norvège
4 215 élèves de 5e
99 écoles
8 leçons dans le temps scolaire
Formation des enseignants Implication des parents
À 6 mois : diminution de la progression du tabagisme, y compris parmi les élèves les plus à risque
6 SI-SIDM
Pays-Bas
4 060 élèves de 4e et 3e
52 écoles
5 sessions de 45 minutes, réparties sur 5 semaines activités dirigées par des pairs
3 séances de rappel à distance
À 12 et 18 mois : diminution de la progression du tabagisme
Pas d’effet sur les fumeurs
7 HSSP
États-Unis
8 388 élèves de CE 2
40 districts scolaires
65 leçons de 30 à 50 minutes réparties sur 8 années scolaires (jusqu’en 2nde)
Information et support au sevrage de la 3e à la terminale
En terminale et deux ans plus tard : aucun effet du programme sur l’usage quotidien du tabac

1 Know your body : Walter, 1989renvoi vers; 2 Drug abuse resistance education : Ennett et coll., 1994renvoi vers; 3 Life skills training : Botvin et coll., 1995renvoi vers; 4 Child and adolescent trial for cardiovascular health : Elder et coll., 1996renvoi vers; 5 non intitulé : Jøsendal et coll., 1998renvoi vers; 6 Social influence – Social influence plus decision making : Dijkstra et coll., 1999renvoi vers; 7 Hutchinson smoking prevention project : Peterson et coll., 2000renvoi vers.

Walter (1989renvoi vers) rapporte les résultats du suivi d’une cohorte de 3 388 élèves de huitième (grade 4) dans 37 écoles de deux districts de la région de New York ayant des caractéristiques démographiques et socio-économiques distinctes (le Bronx et le Weschester County) et ayant participé au programme KYB (Know your body) mis en place pour la prévention des maladies cardiovasculaires et de certains cancers. Les objectifs de ce programme sont d’agir sur les facteurs de risque tels que l’hypercholestérolémie, l’hypertension, l’exposition à la fumée de cigarette, l’obésité et la sédentarité, en ciblant essentiellement trois comportements : l’alimentation, la pratique de l’exercice physique et l’usage du tabac. La conception du programme s’inspire du modèle théorique PRECEDE (Predisposing, enabling and reinforcing factors). Les éléments majeurs du programme sont les interventions éducatives par les enseignants, l’éducation des parents et la mesure à l’école des niveaux de facteurs de risque des enfants. Après cinq ans d’intervention : les taux plasmatiques de cholestérol total ont baissé significativement dans les groupes pilotes (– 5,1 % versus groupe témoin dans le Westchester et – 2,9 % dans le Bronx) ; l’accroissement différentiel des connaissances entre groupe pilote et groupe témoin est de 22,6 % dans le Westchester et de 18,8 % dans le Bronx. Dans le West-chester, après six ans, 3,5 % des élèves du groupe pilote sont « biochimique-ment » classés comme fumeurs versus 13,1 % dans le groupe témoin. Les auteurs soulignent le manque de données intermédiaires relatives aux processus eux-mêmes qui auraient pu leur permettre d’identifier les composantes les plus déterminantes de l’efficacité du programme.
Le programme de prévention de l’usage de drogues le plus répandu aux États-Unis, intitulé DARE (Drug abuse resistance education), a été créé par la police de Los Angeles en 1983 conjointement avec l’ensemble des écoles de cette ville. Ce programme consiste en 17 leçons de 45 à 60 minutes (une par semaine) données par des officiers de police en uniforme ayant reçu une formation approfondie de 80 heures. Son contenu est fondé sur la reconnaissance de la pression à consommer de la drogue et donne les compétences pour y résister. Ennett et coll. (1994renvoi vers) ont réalisé une méta-analyse de huit études évaluatives de DARE ayant utilisé une méthodologie rigoureuse (sur 18 études repérées). Les huit études analysées représentent en tout 9 317 élèves dans 214 écoles. Pour les paramètres mesurés, les auteurs calculent un effet moyen pondéré d’après les résultats à court terme (posttest immédiat). Les effets sont significatifs pour les gains de connaissance et l’amélioration des compétences sociales, non significatifs pour l’usage déclaré de drogues (regroupant alcool, tabac et marijuana), mais significatifs pour l’usage du tabac traité séparément. En référence à l’étude de Tobler (1986 et 1992a et b), les effets du programme DARE mesurés par cette méta-analyse sont inférieurs à ceux des programmes classés « interactifs ». Une étude de Hansen et McNeal (1997renvoi vers) sur les effets du programme DARE conclut que celui-ci ne cible pas les vrais déterminants de l’usage de substances.
Aux États-Unis, dans l’État de New York, Botvin et coll. (1995renvoi vers) ont mis en place et évalué le programme de prévention de l’usage du tabac, de l’alcool et de la marijuana intitulé LST (Life skills training), basé essentiellement sur l’enseignement de compétences personnelles et sociales à résister aux pressions de consommation. L’étude évaluative porte sur une cohorte de départ de 5 954 élèves de cinquième dans 56 écoles (dont 22 témoins), que les auteurs ont suivis jusqu’en terminale (cohorte finale à six ans : 3 597 élèves). Trois modalités d’intervention ont été appliquées :
• 30 séances réparties en trois ans (15 séances en cinquième, 10 séances de rappel en quatrième, 5 séances de rappel en troisième), avec formation d’une journée des intervenants et vérification de la fidélité au programme ;
• même nombre de séances mais avec vidéo d’autoformation envoyée aux intervenants et pas de suivi de la fidélité au programme ;
• programme scolaire conventionnel.
Ces auteurs ont constaté une baisse de la consommation déclarée de tabac, d’alcool et de marijuana dans les groupes ayant bénéficié d’une intervention, maximale pour les groupes qui ont le plus participé au programme. Ils ont trouvé 21 % de consommateurs d’alcool et de tabac dans le groupe pilote par rapport à 29 % dans le groupe témoin. À six ans, parmi les élèves ayant suivi au moins 60 % du programme (groupe « haute fidelité »), 2 % seulement avaient consommé à la fois de l’alcool, du tabac et de la marijuana dans la semaine précédente, contre 6 % des élèves dans le groupe témoin. Les auteurs pensent que les effets constatés à long terme peuvent être attribués à l’étalement dans le temps de la période d’intervention et à l’accent mis sur l’acquisition de compétences personnelles et sociales à résister aux pressions de consommation. Toutefois, ils précisent que des recherches sur les facteurs d’efficacité des programmes doivent être entreprises pour déterminer l’efficacité relative des différentes approches éducatives/préventives.

Méta-analyses d’évaluations de programmes d’éducation pour la santé

Dans le but d’établir le type d’efficacité des programmes et les déterminants de cette efficacité, quelques auteurs ont réalisé des méta-analyses d’études évaluatives incluses sur des critères conceptuels et/ou méthodologiques.
Tobler a publié une des premières méta-analyses, réalisée sur 143 programmes de prévention de l’usage des substances psychoactives, en milieu scolaire ou communautaire (Tobler, 1986renvoi vers et 1992arenvoi vers), puis une nouvelle analyse d’un sous-groupe de 91 de ces programmes (Tobler, 1992brenvoi vers) contenant des données sur la consommation déclarée. L’auteur étudie les composantes des stratégies qui se sont montrées efficaces selon le stade de développement des adolescents et l’étiologie des consommations de substances. Il a catégorisé les programmes en : « non interactifs », construits sur l’apport de connaissances et le travail sur les attitudes et « interactifs », basés sur l’influence sociale et l’acquisition de compétences génériques. Une étude actualisée du même auteur (Tobler, 1997renvoi vers), portant sur 120 programmes développés en milieu scolaire de 1978 à 1990 et rapportant des résultats en consommation déclarée, conclut à une meilleure efficacité des programmes interactifs, sans que les programmes travaillant sur des compétences génériques soient supérieurs à ceux travaillant uniquement sur l’influence sociale. Les programmes qui abordent plusieurs produits psychoactifs donnent de moins bons résultats en termes de prévention du tabagisme que les programmes centrés sur le tabac. Certains programmes ayant montré leur efficacité sur des petites cohortes étaient moins probants quand ils étaient déployés à grande échelle.
Bangert-Drowns (1988renvoi vers) a analysé une sélection de 33 études (sur 125 repérées) publiées entre 1968 et 1986 et évaluant des programmes développés en milieu scolaire aux États-Unis ou au Canada, abordant l’alcool et/ou les drogues illicites, en excluant les programmes abordant uniquement le tabac. Il a confirmé l’effet important des programmes sur l’acquisition de connaissances et sur les changements d’attitudes, mais faible sur les changements de comportements.
Hansen (1992renvoi vers) a examiné 45 publications, non plus dans la perspective de quantifier un effet moyen des programmes, mais dans celle de rechercher les pistes d’intervention les plus prometteuses. Il a donc analysé les contenus des programmes et a classé les différents modules en 12 thèmes (tableau 4.IIIrenvoi vers). Cette classification a d’ailleurs été reprise dans l’étude de Lister-Sharp et coll. (1999renvoi vers). L’auteur a ensuite regroupé les programmes en 6 catégories : information et clarification des valeurs, éducation affective, influence sociale, programmes globaux, alternatives et programmes incomplets. L’analyse par catégorie des effets des programmes sur les comportements liés au tabac, à l’alcool ou à la marijuana a donné les résultats suivants : les programmes globaux avaient les meilleurs scores avec 72 % ayant des résultats positifs et 28 % des résultats neutres. Les programmes fondés sur l’influence sociale avaient des résultats positifs dans 63 % des cas, neutres dans 26 % et négatifs dans 11 % des cas. Étant donné que les programmes globaux incluent des modules sur l’influence sociale, l’auteur considère cette piste comme la plus solide. Cependant, les écarts de puissance statistique entre les différentes catégories de programmes restent un obstacle à des conclusions définitives.
Bruvold (1993renvoi vers) a réalisé une méta-analyse de 84 programmes développés en milieu scolaire pour la prévention du tabagisme chez les adolescents. Ces programmes, dont les résultats ont été publiés dans les années 1970 et 1980, ont tous un groupe de comparaison ou de contrôle. L’auteur a regroupé les programmes selon la classification (tableau 4.IVrenvoi vers) établie par Battjes (1985renvoi vers). Il a confirmé les faits déjà établis : les approches traditionnelles sont efficaces dans l’apport de connaissances et peu ou pas efficaces dans la modification des comportements, alors que les approches plus nouvelles prenant en considération les déterminants psychosociaux ont un impact sur la modification des comportements. Les changements d’attitudes sont corrélés aux changements de comportements, et non à l’acquisition de connaissances. Les programmes basés sur le renforcement social montrent la meilleure efficacité, suivis de ceux basés sur les normes sociales ou sur l’approche développementale. Tout en reconnaissant la supériorité des programmes fondés sur l’influence sociale, l’auteur admet que les programmes traditionnels sont plus facilement acceptés par la communauté éducative et peuvent être mis en œuvre sans formation importante.

Tableau Tableau 4.III Classification des thèmes contenus dans les programmes éducatifs pour la prévention de l’usage de substances psychoactives (d’après Hansen, 1992renvoi vers)

Information :
apport d’information biologique, légale, historique
Décision :
enseignement de stratégies pour identifier les problèmes, générer des solutions possibles, choisir entre les différentes alternatives
Engagement :
demande d’engagement à ne pas consommer de la part du participant
Clarification des valeurs :
mise en regard des valeurs personnelles et des comportements qui devraient en découler
Fixation d’objectifs :
apprentissage de la fixation d’auto-objectifs et du suivi de leur réalisation
Gestion du stress :
apprentissage de la gestion du stress par l’action ou par la relaxation
Estime de soi :
développement d’images positives sur soi, gestion des idées négatives
Résistance :
repérage des pressions sociales et développement de l’affirmation de soi
Compétences générales :
apprentissage de compétences sociales comme la communication et la gestion des conflits interpersonnels
Normes :
correction des normes imaginaires en informant sur les prévalences réelles des consommations de psychotropes par les jeunes
Assistance :
écoute et conseil
Alternatives :
développement d’activités autres

Exemples d’études évaluatives françaises en milieu scolaire

En France, certaines évaluations d’actions de communication et de prévention enquêtent sur de grands effectifs. Les études évaluatives des interventions en milieu scolaire portent plutôt sur des actions très localisées et utilisent des méthodologies très diverses.

Tableau Tableau 4.IV Classification des approches éducatives utilisées dans les programmes de prévention de l’usage de substances psychoactives (d’après Battjes, 1985renvoi vers)

Approche rationnelle :
fournir de l’information sur les effets et les conséquences (cours, jeux de questions réponses, montrer des substances)
Approche développementale :
accroître l’estime de soi, augmenter l’autonomie, apprendre à prendre des décisions, relations avec les autres (cours, discussion, résolution de problèmes en groupe, jeu de rôle)
Approche sur les normes sociales :
accroître l’autonomie, accroître l’estime de soi, réduire l’ennui (développement d’activités alternatives, programmes sociaux collectifs, tutorat, développement d’activités de loisirs)
Renforcement social :
détecter les pressions sociales à consommer, apprendre à y réagir, reconnaître les effets physiques et sociaux immédiats des produits (discussion, répétition, jeu de rôle, entraînement)
Morisot et Chabaud (1994renvoi vers) ont évalué une action d’éducation pour la prévention de l’alcoolisation réalisée dans trois lycées de Niort. L’intervention consistait en 3 rencontres éducatives d’environ 2 heures chacune, une en classe de seconde, une en première et une en terminale. La première séance était consacrée à une discussion sur les risques de la consommation festive (risques routiers en particulier) et la seconde séance aux motivations à la consommation et à l’influence du groupe dans la consommation. La troisième séance portait sur les stratégies à développer dans certaines situations dans lesquelles des décisions étaient à prendre quant à la consommation d’alcool. Les évaluateurs ont tiré au sort deux groupes de lycéens, avec 333 élèves dans le groupe pilote et 607 dans le groupe témoin. Il y a eu un questionnaire prétest et posttest (avec des mesures intermédiaires). Après l’intervention éducative, les élèves du groupe pilote étaient moins nombreux à consommer une boisson alcoolisée forte une fois par semaine que ceux du groupe témoin (18,1 % versus 12,5 % en terminale) et étaient significativement moins nombreux à avoir entre 3 et 10 ivresses par an.
Choquet et Lagadic (1999renvoi vers) ont évalué un programme de prévention des toxicomanies mené depuis 1992 par la municipalité de Saint-Herblain dans les collèges de la ville. Les évaluateurs ont donc choisi une commune similaire, Rézé, afin de disposer d’un groupe témoin (évaluation de type « ici-ailleurs », posttest sans prétest). L’intervention auprès des élèves a consisté à réaliser des jeux autour de la notion de capital santé pour les élèves de sixième, organiser des séances de théâtre-forum pour les élèves de quatrième, et donner une information sur l’effet des produits psychoactifs au sein des cours de biologie. Le reste du travail a consisté à provoquer une réflexion sur la prévention des toxicomanies de la part des enseignants et des parents. Il n’a pas été observé de différence entre les scores d’opinions favorables ou défavorables à l’alcool, au tabac et à la drogue dans les sites témoin et pilote. Il n’a pas été observé de différence significative entre les usages de tabac, de cannabis (trois fois et plus dans la vie), d’alcool (plusieurs fois par semaine) ou d’ivresses (au moins dix fois dans la vie). La seule différence significative concerne les filles : à Rézé, elles sont 17 % à avoir consommé au moins trois fois du cannabis alors qu’elles ne sont que 9 % à Saint-Herblain. Les filles de Rézé sont globalement plus consommatrices des autres substances, mais la différence n’est pas significative. Parmi les consommateurs occasionnels de cannabis, les jeunes de Saint-Herblain ont plus souvent l’intention de ne pas consommer dans l’avenir que ceux de Rézé (71 % versus 34 %).

Revues critiques d’études évaluatives

Dans la littérature présentant les résultats de programmes d’éducation pour la santé, il est fréquent qu’aucun effet ne soit mis en évidence, en particulier en termes de changement de comportement (Siegel et coll., 1995renvoi vers; Boyer et coll., 1997renvoi vers; Gillmore et coll., 1997renvoi vers; Weeks et coll., 1997renvoi vers; Resnicow et coll., 1998renvoi vers). De nombreuses revues d’études évaluatives tentent de faire le point sur les aspects conceptuels et méthodologiques des programmes et de leur évaluation, dans le domaine de la prévention de l’usage de substances psychoactives (Binyet et de Haller, 1993renvoi vers; Leventhal et Keeshan, 1993renvoi vers; Foxcroft et coll., 1997renvoi vers). Les auteurs soulignent l’extrême difficulté de rassembler en un indicateur d’efficacité unique les différents impacts des programmes, étant donné leur hétérogénéité. Certains (Foxcroft et coll., 1997renvoi vers) estiment que, en dehors de quelques exceptions, la mauvaise qualité des évaluations publiées empêche toute conclusion générale et qu’il est nécessaire d’attendre des évaluations de meilleure qualité. Lister-Sharp et coll. (1999renvoi vers) ont réalisé un important travail de synthèse sous forme de « revue de revues » et apportent sur la question des critiques très documentées, de même que des propositions.
Foxcroft et coll. (1997renvoi vers) se sont intéressés aux programmes de prévention de l’alcoolisation chez les jeunes. Ils ont analysé 155 rapports d’évaluation et en ont retenu 48 (présentant les évaluations de 33 programmes). Seules 10 évaluations obéissaient aux critères suivants : tirage au sort ou équivalence des groupes témoins et expérimentaux, fourniture des résultats du prétest et du posttest, et présentation de l’ensemble des résultats. Parmi les programmes évalués à court terme (= 1 an), 16 montraient quelques résultats positifs, 11 étaient inefficaces et 6 avaient des effets inverses. Sur les programmes évalués à moyen terme (de 1 à 3 ans), 5 avaient des effets positifs, 5 n’avaient aucun effet et 2 avaient des effets inverses. Sur les deux programmes évalués à long terme, un (déjà mentionné dans les exemples de RCT) a des résultats positifs à 6 ans (Botvin et coll., 1995renvoi vers) pour l’autre ; les données à 5 ans ne montrent aucun effet durable (Ellickson et coll., 1993renvoi vers).
Lister-Sharp et coll. (1999renvoi vers) ont analysé les revues existantes sur l’efficacité des interventions d’éducation/promotion de la santé en milieu scolaire (environ 200 depuis le milieu des années 1960), puis effectué une sélection sur des critères de qualité méthodologique. Dans le domaine de l’usage de substances psychoactives, sur 82 revues, les 9 qui satisfont aux critères couvrent 146 études dont 50 sont analysées par plus d’un auteur. Moins de la moitié des programmes ont un impact positif sur les attitudes. D’après plusieurs des auteurs de revues, l’implication de pairs a un impact favorable sur les attitudes, du moins à court terme. Seulement 4 programmes (alcool) impliquent les familles, et 3 d’entre eux ont un impact positif sur les comportements à court terme. Les effets positifs à long terme sont rares.
Le manque de reconnaissance et/ou de diffusion auprès des acteurs des programmes favorablement évalués est souvent évoqué. Aux États-Unis, Dusenbury et coll. (1997renvoi vers) ont établi que sur 47 programmes de prévention de l’usage de drogues disponibles et utilisés, seuls 10 ont fait l’objet d’évaluations scientifiquement rigoureuses et 8 ont donné des résultats intéressants. Il reste à accomplir un important travail de diffusion pour les programmes qui ont fait leurs preuves.
En conclusion, il est clair que certains programmes d’éducation pour la santé ont un effet sur les comportements défavorables à la santé, dans le domaine de la consommation de substances psychoactives. Pour la plupart des auteurs, cet effet est modeste mais peut néanmoins contribuer à un meilleur état de santé de la population (Kirby, 1995renvoi vers). De plus, les programmes semblent pouvoir être améliorés par une meilleure combinaison des modules existants, ce qui permettrait d’augmenter leur efficacité.
Les concepteurs des programmes ont compris que les comportements naissent de l’interaction entre soi-même et les autres et non pas d’un savoir abstrait : il s’agit donc d’équiper les jeunes de capacités à réagir dans des situations concrètes, précisément décrites. Des groupes de discussion (notamment des focus groups) permettent de comprendre la position des jeunes, et également de tester le matériel éducatif proposé. Par ailleurs, les évaluateurs des programmes utilisent de plus en plus une méthodologie rigoureuse : augmentation de la taille des cohortes et du nombre d’unités de randomisation pour accroître la puissance des tests de comparaison ; ajustement de l’analyse au fait que la randomisation se fait par groupes sociaux et l’analyse par individus ; prise en compte du phénomène des perdus de vue ; analyse de la validité des déclarations. D’autre part, compte tenu de l’évolution des méthodes en éducation pour la santé intégrant les notions d’enabling et d’empowerment,de nouveaux indicateurs devront être définis et utilisés pour évaluer l’acquisition des compétences personnelles et la capacité d’action des jeunes vis-à-vis de leur santé.

Bibliographie

[1] arwidson p, lavielle c. La structure imred (introduction, méthodes, résultats, discussion) convient également aux rapports d’action d’éducation pour la santé. Santé Publique. 1998; 10:171-174Retour vers
[2] bangert-drowns rl. The effects of school-based substance abuse education-metaanalysis. J Drug Educ. 1988; 18:243-264Retour vers
[3] battjes rj. Prevention of adolescent drug abuse. Int J Addict. 1985; 20:1113-1134Retour vers
[4] binyet s, de haller r. Efficacité de la prévention du tabagisme chez les jeunesrevue critique de la littérature. Soz Praventivmed. 1993; 38:366-378Retour vers
[5] botvin gj, baker e, dusenbury l, botvin em, diaz t. Long-term follow-up results of a randomized drug abuse prevention trial in a white middle-class population. JAMA. 1995; 273:1106-1112Retour vers
[6] boyer cb, shafer ma, tschann jm. Evaluation of a knowledge-and cognitivebehavioral skills-building intervention to prevent STDs and HIV infection in high school students. Adolescence. 1997; 32:25-42Retour vers
[7] bruvold wh. A meta-analysis of adolescent smoking prevention programs. Am J Public Health. 1993; 83:872-880Retour vers
[8] choquet m, lagadic c. Évaluation en milieu scolaire d’un programme de prévention primaire en matière de toxicomanie. Inserm U472 pour OFDT. 1999; 109 p Retour vers
[9] dijkstra m, mesters i, de vries h, van breukelen g, parcel gs. Effectiveness of a social influence approach and boosters to smoking prevention. Health Educ Res. 1999; 14:791-802Retour vers
[10] dusenbury l, falco m, lake a. A review of the evaluation of 47 drug abuse prevention curricula available nationally. J Sch Health. 1997; 67:127-132Retour vers
[11] elder jp, perry cl, stone ej, johnson cc, yang m, et coll.. Tobacco use measurement, prediction, and intervention in elementary schools in four states : the CATCH study. Prev Med. 1996; 25:486-494Retour vers
[12] ellickson pl, bell rm, mcguigan k. Preventing adolescent drug use : long-term results of a junior high program. Am J Public Health. 1993; 83:856-861Retour vers
[13] ennett st, tobler ns, ringwalt cl, flewelling rl. How effective is drug abuse resistance education ? A meta-analysis of project DARE outcome evaluations. Am J Public Health. 1994; 84:1394-1401Retour vers
[14]fchp, echp (Finnish Centre for Health Promotion, Estonian Centre for Health Education and Promotion). Best practices. A selection of papers on quality and effectiveness in health promotion presented at the 4th European IUHPE Conference on Effectiveness and Quality of Health Promotion, May 16-19,. 1999; Helsinki, Finland and Tallin, Estonia: IUHPE. 2000; Retour vers
[15] foxcroft dr, lister-sharp d, lowe g. Alcohol misuse prevention for young people a systematic review reveals methodological concerns and lack of reliable evidence of effectiveness. Addiction. 1997; 92:531-537Retour vers
[16] gillmore mr, morrison dm, richey ca, balassone ml, gutierrez l, farris m. Effects of a skill-based intervention to encourage condom use among high risk heterosexually active adolescents. AIDS Educ Prev. 1997; 9:S22-S43Retour vers
[17] hamberg k, johansson e, lindgren g, westman g. Scientific rigour in qualitative research-examples from a study of women’s health in family practice. Fam Pract. 1994; 11:176-181Retour vers
[18] hansen wb. School-based substance abuse prevention : a review of the state of the art in curriculum, 1980-1990. Health Educ Res. 1992; 7:403-430Retour vers
[19] hansen wb, mcneal rb Jr. How D.A.R.E. works : an examination of program effects on mediating variables. Health Educ Behav. 1997; 24:165-176Retour vers
[20] hudelson p. Qualitative research for health programmes. World Health Organization, Division of Mental Health. Geneva:1994; Retour vers
[21]iuhpe (International union for health promotion and education). The evidence of health promotion effectiveness. Shaping public health in the new Europe. A report for the European Commission. Bruxelles-Luxembourg: ESC-EC-EAEC. 1999; 166 p Retour vers
[22] josendal o, aaro le, bergh ih. Effects of a school-based smoking prevention program among subgroups of adolescents. Health Educ Res. 1998; 13:215-224Retour vers
[23] kirby d. Sex and hiv/aids education in schools. Have a modest but important impact 84 on sexual behaviour. BMJ. 1995; 311:403Retour vers
[24] kirby d. Reflections on two decades of research on teen sexual behavior and pregnancy. J Sch Health. 1999; 69:89-94Retour vers
[25] leventhal h, keeshan p. Promoting health alternatives to substance abuse. In : Promoting the health of adolescents : new directions for the twenty-first century. In: millstein sg, petersen ac, nightingale eo eds, editors. Oxford University Press. New York:1993; 260284Retour vers
[26] lincoln ys. Emerging criteria for quality in qualitative and interpretive research. Qualitative Inquiry. 1995; 1:275-289Retour vers
[27] lister-sharp d, chapman s, stewart-brown s, sowden aj. Health promoting schools and health promotion in schools : two systematic reviews. Health Technol Assess. 1999; 3 (whole no 22): 207 p Retour vers
[28] mays n, pope c. Rigour and qualitative research. BMJ. 1995; 311:109-112Retour vers
[29] mays n, pope c. Qualitative research in health care. Assessing quality in qualitative research. BMJ. 2000; 320:50-52Retour vers
[30] meyer j. Qualitative research in health care. Using qualitative methods in health related action research. BMJ. 2000; 320:178-181Retour vers
[31] morisot d, chabaud f. Évaluation d’une action éducative sur le risque alcool menée auprès d’adolescents scolarisés de la seconde à la terminale dans trois lycées de la ville de Niort. Alcoologie. 1994; 16:217-223Retour vers
[32] morse jm. « Dear Sir, I am shocked and dismayed… ». Qual Health Res. 1998; 8:579Retour vers
[33]oms (Organisation mondiale de la santé).Déclaration de Jakarta sur la promotion de la santé au xxie siècle. 4e Conférence internationale sur la promotion de la santé; Jakarta:21-25 juillet; 1997; Retour vers
[34] peterson av, kealey ka, mann sl, marek pm, sarason ig. Hutchinson Smoking Prevention Project : long term randomized trial in school-based tobacco use prevention – Results on smoking. J Natl Cancer Inst. 2000; 92:1979-1991Retour vers
[35] pope c, ziebland s, mays n. Qualitative research in health care. Analysing qualitative data. BMJ. 2000; 320:114-116Retour vers
[36] puska p, tuomilehto j, nissinen a. The North Karelia Project. 20 year results and experiences. National Public Health Institute. Helsinki:1995; 363 p Retour vers
[37] resnicow k, davis m, smith m, baranowski t, lin ls, et coll.. Results of the Teach-Well worksite wellness program. Am J Public Health. 1998; 88:250-257Retour vers
[38] siegel d, diclemente rj, durbin m, krasnovsky f, saliba p. Change in junior high school students’ AIDS-related knowledge, misconceptions, attitudes, and HIV-preventive behaviors : effects of a school-based intervention. AIDS Educ Prev. 1995; 7:534-543Retour vers
[39] tobler n. Meta-analysis of 143 adolescent drug prevention programs : quantitative outcome results of program participants compared to a control or comparison group. J Drug Issues. 1986; 16:537-567Retour vers
[40] tobler n. Meta-analysis of adolescent drug prevention programs : final report. National Institute on Drug Abuse. Rockville, MD:1992a; Retour vers
[41] tobler ns. Drug prevention programs can work : research findings. J Addict Dis. 1992b; 11:1-28Retour vers
[42] tobler ns. Meta-analysis of adolescent drug prevention programs : results of the 1993 meta-analysis. NIDA Res Monogr. 1997; 170:5-68Retour vers
[43] tones k. Evaluating health promotion : a tale of three errors. Patient Educ Couns. 2000; 39:227-236Retour vers
[44] walter hj. Primary prevention of chronic disease among children : the school-based « Know Your Body » intervention trials. Health Educ Q. 1989; 16:201-214Retour vers
[45] weeks k, levy sr, gordon ak, handler a, perhats c, flay br. Does parental involvement make a difference ? The impact of parent interactive activities on students in a school-based AIDS prevention program. AIDS Educ Prev. 1997; 9:S90-S106Retour vers

→ Aller vers SYNTHESE
Copyright © Inserm