La littérature présentant les résultats des programmes d’éducation pour la santé est abondante et hétérogène. De nombreuses études ne montrent aucun effet des programmes, en particulier en termes de changement de comportements. Cet échec à obtenir l’effet souhaité par des programmes a conduit certains théoriciens à conclure qu’il fallait élargir le cadre de réflexion de l’éducation pour la santé, considéré comme trop étroit et donc inefficace, à celui de la « promotion de la santé », qui replace le comportement de santé de l’individu dans son contexte social et politique. C’est ainsi que des programmes ont été conçus à l’échelle de l’école, du quartier, de la ville ou de la région (Puska et coll., 1995).

Dans l’analyse de l’échec de nombreux programmes à obtenir un changement, on peut également considérer que l’approche éducative et/ou son évaluation étaient mal conçues. En effet, les approches éducatives initiales étaient souvent naïves et reposaient sur des modèles explicatifs des comportements assez frustes, voire erronés, non renseignés par les théories existantes. Ainsi, la théorie du déficit d’information comme raison du comportement à risque a été le seul fondement des premiers programmes. Quant aux méthodes d’évaluation, elles étaient inadaptées et la puissance statistique souvent insuffisante pour détecter des changements. Or, il ne faut pas confondre la conclusion « aucune différence n’a pu être observée entre ceux qui ont bénéficié d’un programme de prévention et ceux qui n’en ont pas bénéficié » avec « le programme n’est pas efficace ».

L’amélioration des méthodes d’intervention éducative et des techniques d’évaluation, en particulier par les équipes de recherche nord-américaines, mais aussi scandinaves ou hollandaises, a permis de mettre en évidence certains succès (Kirby, 1999). Ceci est probablement lié aux contextes nationaux de l’organisation des structures scientifiques. Dans ces pays, il existe en général des pôles universitaires de psychologie sociale cognitive faisant suite à l’école de psychologie comportementale et des pôles universitaires de santé publique intéressés par les comportements de santé. On constate que la présence dans un pays d’une école de sciences sociales essentiellement pragmatique favorise le développement d’une recherche en éducation pour la santé.

Deux concepts coexistent en matière d’évaluation des interventions en éducation pour la santé ; chacun se justifie par le type d’approche utilisé dans les programmes (tableau 4.I).

Les tenants d’une première école, se référant à l’approche « épidémiologiste », mesurent l’atteinte d’objectifs préalablement fixés pour une population donnée (augmenter le taux de non-fumeurs dans un public scolaire par exemple). Ceux d’une deuxième école, se référant aux approches « communautaires », souhaitent que les objectifs et les moyens mis en œuvre pour les atteindre, voire les méthodes d’évaluation, soient déterminés par la population elle-même, empêchant ipso facto tout protocole d’intervention ou d’évaluation préalablement défini.

La première école d’évaluateurs utilise la méthode expérimentale, qui consiste à comparer l’évolution d’une population ayant bénéficié d’un programme éducatif à celle d’une population n’en ayant pas bénéficié ou ayant bénéficié d’un programme alternatif. La seconde école d’évaluateurs propose de mettre l’accent sur l’évaluation de processus, c’est-à-dire du pilotage fin des actions réalisées, en particulier par des évaluations qualitatives permettant non pas de mesurer un changement mais de comprendre comment le programme a été appliqué, compris, vécu, accepté. Pour simplifier, on peut dire que la première école défend donc une efficacité scientifiquement déterminée à partir d’indicateurs quantitatifs, et la seconde une efficacité démocratiquement déterminée, c’est-à-dire par un jury comprenant financeurs, population, intervenants et experts (Tones, 2000).

Cette situation génère deux types de littérature. Dans un cas, les auteurs décrivent les effets de programmes spécifiques d’éducation pour la santé en adoptant les critères traditionnels de la littérature scientifique expérimentale, en particulier le plan : introduction, méthodes, résultats et discussion (IMRAD en anglais et IMRED en français) (Arwidson et Lavielle, 1998). Dans l’autre cas, les comptes-rendus d’actions sont extrêmement rares, entre autres parce que les intervenants impliqués dans les très nombreuses micro-actions faites dans cette philosophie ne sont pas formés ou motivés à publier ; il s’agit davantage d’une littérature de débat ou de recommandations générales pour agir ou évaluer. Les auteurs y rapportent également leur réflexion et leur analyse des problèmes techniques et éthiques liés a l’approche expérimentale (FCHP et ECHP, 2000; Tones, 2000). Les reproches techniques sont les suivants : chaque situation éducative étant singulière, les interventions éducatives sont peu codifiables ; le tirage au sort des groupes est difficile à faire accepter pratiquement ; l’approche qui inclut la participation de la population à la mise en place du programme (choix collectif des objectifs, des interventions, de l’évaluation) rend très difficile la conception préalable d’un protocole expérimental. Les reproches éthiques concernent l’expérimentation de protocoles éducatifs sur une population captive qui serait réduite à son insu à l’état d’objet d’expérience. Des approches alternatives sont évoquées mais n’ont pas encore fait l’objet de descriptions concrètes dans les revues traditionnelles. Ceci pourrait être dû soit à la jeunesse du champ, soit à un biais de diffusion. Un exemple est donné par la rédactrice en chef de Qualitative health research, qui se plaint dans un éditorial (Morse, 1998) que sa revue soit refusée par la principale base de données des sciences médicales Medline. La validité des méthodes qualitatives est en effet encore l’objet de nombreux débats et ajustements (Hamberg et coll. 1994; Hudelson, 1994; Lincoln, 1995; Mays et Pope, 1995 et 2000; Meyer, 2000), de même que l’analyse des données qu’elles génèrent (Pope et coll., 2000).

Au-delà de cette opposition entre « écoles », des champs de recouvrement existent dans les pratiques et se retrouvent dans la littérature. Tout d’abord, l’utilisation d’essais randomisés et contrôlés au cours de la phase expérimentale ne s’impose pas au-delà des programmes de recherche. Quand une approche éducative a apporté des résultats, le problème devient la diffusion de cette innovation pédagogique et son application dans de bonnes conditions (critères de qualité). Les personnes participant aux programmes expérimentaux le font souvent dans le cadre d’un consentement éclairé et les approches éducatives peuvent être vues non pas comme un contrôle social déguisé, mais comme une formation ou un service dont on choisit de bénéficier. De plus en plus, la dimension sociale des comportements de santé ou la notion de situation ou de contexte dans lesquels ces comportements s’inscrivent est largement prise en compte. Les programmes sont souvent à multiples facettes et associent le volet éducatif à un travail sur l’environnement familial des jeunes et sur l’organisation scolaire. Quant aux interventions éducatives, celles qui donnent les meilleurs résultats sont justement fondées sur la dimension à la fois personnelle et sociale des comportements, c’est-à-dire les contextes dans lesquels ils s’inscrivent, l’analyse des influences diverses et l’apprentissage des stratégies d’autonomisation. La conception des programmes ne se fait plus sans consultation préalable et/ou prétest auprès de la population destinataire par des méthodes qualitatives. Aucun programme n’est plus appliqué sans un suivi précis de son application réelle, c’est-à-dire sans évaluation du processus.

Du point de vue des interactions professionnelles, il est intéressant de constater que les tenants des deux écoles d’évaluateurs se rejoignent actuellement sur différents points. D’une part, il a été demandé à ceux qui défendent une approche ouverte de la promotion de la santé, plutôt vue comme un mouvement social que comme une pratique professionnelle, de faire la preuve de leur utilité et de leur efficacité (OMS, 1997; IUHPE, 1999) ; ils se tournent donc vers les équipes universitaires qui ont continué à défendre les protocoles expérimentaux et les méthodes quantitatives comme gold standard de l’évaluation. D’autre part, les équipes de recherche impliquées dans l’évaluation quantitative de l’éducation pour la santé ont généralement conçu et vérifié l’adéquation et la pertinence de leurs programmes par des études qualitatives faites auprès de la population ; elles ont ajouté des volets d’intervention incluant l’environnement familial, social et organisationnel de la population impliquée dans les programmes, rejoignant en cela le cadre de la promotion de la santé ; elles ont également augmenté l’exigence éthique de leurs protocoles en introduisant, par exemple, la notion de consentement éclairé des jeunes participants et de leurs parents.

Bien que tout changement favorable à la santé, prise dans son sens large, puisse être crédité au bénéfice des actions d’éducation pour la santé, leur efficacité est jugée in fine sur leur capacité à modifier une tendance comportementale.

Cinq catégories de mesures de changement sont trouvées dans les études évaluatives en éducation pour la santé :

• l’acquisition de connaissances ;

• la variation d’attitudes (avec gradation des réponses) ;

• la modification déclarée de comportement (avec ou sans contrôle biologique) ;

• l’acquisition d’aptitudes à réagir face à une situation ;

• la modification d’un certain nombre de caractéristiques personnelles, comme l’intention d’adopter un comportement, le sentiment d’efficacité à réagir face à une situation, l’estime de soi, quantifiables à partir d’échelles psychométriques validées.

L’efficacité d’une intervention basée sur un protocole expérimental est évaluée par la comparaison d’une population ayant bénéficié de cette intervention à une population n’en ayant pas bénéficié. Ces deux populations doivent être similaires au départ, ce qui impose la répartition au hasard des individus/groupes qui vont bénéficier de l’intervention et des individus/groupes témoins. Le tirage au sort, ou randomisation, évite les biais d’attribution du « traitement » et favorise la comparabilité des groupes avant l’intervention. Il est également essentiel de contrôler les effets ou événements collatéraux qui ont pu agir en plus ou à côté de l’intervention, et donc entrer en compétition avec l’intervention.

La mesure à partir d’un questionnaire précédant l’intervention, ou prétest, permet d’une part de vérifier la similitude des groupes constitués par tirage au sort, et d’autre part d’avoir un état initial des groupes et des individus les composant, à l’aune duquel on mesurera la variation attendue. La mesure après l’intervention, ou posttest, permet d’évaluer le différentiel de changement et de comparer les groupes par une analyse statistique.

Cet idéal expérimental (gold standard) est simple à atteindre quand l’intervention est brève, facilement codifiable, répétable à l’identique et quand les individus sont sélectionnés un par un. Il est beaucoup plus difficile à atteindre dans le cas d’interventions éducatives prolongées (donc rarement strictement identiques dans le temps et l’espace), et quand elles s’adressent à des groupes sociaux naturels comme les écoles.

En milieu scolaire, on rencontre des problèmes de motivation des responsables éducatifs, à la fois dans le sens de l’acceptation de participer à la recherche mais aussi dans le refus de n’être que témoin alors que motivé. Ceci a conduit de nombreuses équipes de recherche à réaliser des essais contrôlés mais non randomisés, avec le risque que les expériences nouvelles se fassent dans des écoles plus innovantes ou spécialement motivées, donc non comparables avec les écoles témoins. Une des solutions parfois adoptées est que les écoles témoins acceptent d’être dans le groupe témoin en échange d’une intervention éducative différée.

Deux contraintes statistiques s’imposent à l’évaluateur. Tout d’abord il doit disposer d’une population de taille suffisante pour garantir la puissance statistique du test. Sinon, il prend un risque important de déclarer l’intervention inefficace alors qu’elle l’était en réalité (risque statistique de deuxième espèce). Ensuite, s’il répartit les individus par tirage au sort entre groupe pilote et groupe témoin, il doit effectuer des comparaisons par des mesures au niveau individuel (un individu = une mesure). En revanche, s’il répartit des groupes par tirage au sort entre pilote et témoin, il doit comparer les groupes (un groupe = une mesure). Ces deux contraintes ont rarement été respectées dans la pratique de l’évaluation de l’éducation pour la santé, surtout au début de son histoire. Les évaluations les plus anciennes concernaient de petits échantillons insuffisants pour apprécier correctement les faibles variations. Et souvent les écoles étaient réparties entre pilote et témoin, alors que les élèves étaient suivis et comparés en tant qu’individus et non pas en tant que groupe.

Les solutions progressivement apportées ont été l’augmentation du nombre d’écoles réparties entre témoins et pilotes d’une part, et la mise en œuvre de méthodes statistiques aptes à corriger la violation de l’unité de randomisation d’autre part.

Plus l’intervention éducative se prolonge dans le temps, plus le nombre d’élèves quittant les établissements scolaires augmente. Il est également fréquemment évoqué que les élèves quittant les protocoles expérimentaux sont ceux qui sont le plus à risque pour les comportements mesurés (en raison de difficultés personnelles ou sociales). Pour éviter des résultats artificiels pour les programmes à long terme, les évaluateurs doivent prendre certaines précautions : comparer le taux et les caractéristiques des perdus de vue entre le groupe témoin et le groupe pilote ; rechercher le plus possible les personnes qui sortent des protocoles expérimentaux pour les interroger. Certains évaluateurs attribuent arbitrairement une valeur au posttest pour les perdus de vue, par exemple la dernière donnée connue. Une alternative plus radicale serait l’attribution aux perdus de vue de la valeur représentant l’« échec du programme », par exemple, un fumeur au prétest reste fumeur au posttest s’il est perdu de vue.

L’adaptation du programme éducatif à la fois aux élèves et aux intervenants est essentielle et doit être assurée par des tests préalables et des formations adéquates. Mais une fois ce préalable établi, l’absentéisme scolaire et la variabilité normale des intervenants font que, in fine, tout le monde ne reçoit pas la même intervention. Ceci a imposé aux évaluateurs de réaliser une évaluation de processus, ou contrôle de qualité, permettant de savoir si le programme a été bien appliqué d’une part, et de quantifier le volume du programme suivi par chaque élève d’autre part. Ainsi, les évaluateurs ont pu parfois constater l’inadaptation du programme, ou sa mauvaise application. De plus, ils ont pu calculer des « effets/dose », et comparer les élèves ayant peu participé au programme à ceux y ayant beaucoup participé.

À titre d’exemples, quelques études évaluatives réalisées à grande échelle sont présentées ci-après. Elles ont été choisies sur les critères suivants : être effectivement un essai randomisé et contrôlé, réalisé en milieu scolaire, portant sur une cohorte d’au moins 1 500 élèves, et publié depuis 1989 (tableau 4.II). Certaines études ne répondant pas tout à fait à ces critères sont évoquées en raison de leur intérêt particulier.

Les résultats observés sont exprimés en termes de modifications des indicateurs de connaissances (score), d’attitudes (score ou pourcentage dans l’échantillon), de comportement (pourcentage dans l’échantillon) : la taille de l’effet du programme est définie comme la différence de moyennes entre le groupe expérimental et le groupe témoin ou de comparaison. La taille de l’effet est souvent exprimée en unités de déviation standard. Cette expression étant difficile à appréhender, les auteurs la complètent parfois par une estimation de la variation relative en pourcentage.

Certains programmes abordent l’ensemble des consommations de substances psychoactives, d’autres concernent uniquement l’usage du tabac. Il est également fréquent de voir la consommation de substances, telles que l’alcool et la marijuana, abordée dans les programmes de prévention du sida et des autres MST, leur consommation étant considérée comme un facteur de prise de risque sexuel.

Walter (1989) rapporte les résultats du suivi d’une cohorte de 3 388 élèves de huitième (grade 4) dans 37 écoles de deux districts de la région de New York ayant des caractéristiques démographiques et socio-économiques distinctes (le Bronx et le Weschester County) et ayant participé au programme KYB (Know your body) mis en place pour la prévention des maladies cardiovasculaires et de certains cancers. Les objectifs de ce programme sont d’agir sur les facteurs de risque tels que l’hypercholestérolémie, l’hypertension, l’exposition à la fumée de cigarette, l’obésité et la sédentarité, en ciblant essentiellement trois comportements : l’alimentation, la pratique de l’exercice physique et l’usage du tabac. La conception du programme s’inspire du modèle théorique PRECEDE (Predisposing, enabling and reinforcing factors). Les éléments majeurs du programme sont les interventions éducatives par les enseignants, l’éducation des parents et la mesure à l’école des niveaux de facteurs de risque des enfants. Après cinq ans d’intervention : les taux plasmatiques de cholestérol total ont baissé significativement dans les groupes pilotes (– 5,1 % versus groupe témoin dans le Westchester et – 2,9 % dans le Bronx) ; l’accroissement différentiel des connaissances entre groupe pilote et groupe témoin est de 22,6 % dans le Westchester et de 18,8 % dans le Bronx. Dans le West-chester, après six ans, 3,5 % des élèves du groupe pilote sont « biochimique-ment » classés comme fumeurs versus 13,1 % dans le groupe témoin. Les auteurs soulignent le manque de données intermédiaires relatives aux processus eux-mêmes qui auraient pu leur permettre d’identifier les composantes les plus déterminantes de l’efficacité du programme.

Le programme de prévention de l’usage de drogues le plus répandu aux États-Unis, intitulé DARE (Drug abuse resistance education), a été créé par la police de Los Angeles en 1983 conjointement avec l’ensemble des écoles de cette ville. Ce programme consiste en 17 leçons de 45 à 60 minutes (une par semaine) données par des officiers de police en uniforme ayant reçu une formation approfondie de 80 heures. Son contenu est fondé sur la reconnaissance de la pression à consommer de la drogue et donne les compétences pour y résister. Ennett et coll. (1994) ont réalisé une méta-analyse de huit études évaluatives de DARE ayant utilisé une méthodologie rigoureuse (sur 18 études repérées). Les huit études analysées représentent en tout 9 317 élèves dans 214 écoles. Pour les paramètres mesurés, les auteurs calculent un effet moyen pondéré d’après les résultats à court terme (posttest immédiat). Les effets sont significatifs pour les gains de connaissance et l’amélioration des compétences sociales, non significatifs pour l’usage déclaré de drogues (regroupant alcool, tabac et marijuana), mais significatifs pour l’usage du tabac traité séparément. En référence à l’étude de Tobler (1986 et 1992a et b), les effets du programme DARE mesurés par cette méta-analyse sont inférieurs à ceux des programmes classés « interactifs ». Une étude de Hansen et McNeal (1997) sur les effets du programme DARE conclut que celui-ci ne cible pas les vrais déterminants de l’usage de substances.

Aux États-Unis, dans l’État de New York, Botvin et coll. (1995) ont mis en place et évalué le programme de prévention de l’usage du tabac, de l’alcool et de la marijuana intitulé LST (Life skills training), basé essentiellement sur l’enseignement de compétences personnelles et sociales à résister aux pressions de consommation. L’étude évaluative porte sur une cohorte de départ de 5 954 élèves de cinquième dans 56 écoles (dont 22 témoins), que les auteurs ont suivis jusqu’en terminale (cohorte finale à six ans : 3 597 élèves). Trois modalités d’intervention ont été appliquées :

• 30 séances réparties en trois ans (15 séances en cinquième, 10 séances de rappel en quatrième, 5 séances de rappel en troisième), avec formation d’une journée des intervenants et vérification de la fidélité au programme ;

• même nombre de séances mais avec vidéo d’autoformation envoyée aux intervenants et pas de suivi de la fidélité au programme ;

• programme scolaire conventionnel.

Ces auteurs ont constaté une baisse de la consommation déclarée de tabac, d’alcool et de marijuana dans les groupes ayant bénéficié d’une intervention, maximale pour les groupes qui ont le plus participé au programme. Ils ont trouvé 21 % de consommateurs d’alcool et de tabac dans le groupe pilote par rapport à 29 % dans le groupe témoin. À six ans, parmi les élèves ayant suivi au moins 60 % du programme (groupe « haute fidelité »), 2 % seulement avaient consommé à la fois de l’alcool, du tabac et de la marijuana dans la semaine précédente, contre 6 % des élèves dans le groupe témoin. Les auteurs pensent que les effets constatés à long terme peuvent être attribués à l’étalement dans le temps de la période d’intervention et à l’accent mis sur l’acquisition de compétences personnelles et sociales à résister aux pressions de consommation. Toutefois, ils précisent que des recherches sur les facteurs d’efficacité des programmes doivent être entreprises pour déterminer l’efficacité relative des différentes approches éducatives/préventives.

Dans le but d’établir le type d’efficacité des programmes et les déterminants de cette efficacité, quelques auteurs ont réalisé des méta-analyses d’études évaluatives incluses sur des critères conceptuels et/ou méthodologiques.

Tobler a publié une des premières méta-analyses, réalisée sur 143 programmes de prévention de l’usage des substances psychoactives, en milieu scolaire ou communautaire (Tobler, 1986 et 1992a), puis une nouvelle analyse d’un sous-groupe de 91 de ces programmes (Tobler, 1992b) contenant des données sur la consommation déclarée. L’auteur étudie les composantes des stratégies qui se sont montrées efficaces selon le stade de développement des adolescents et l’étiologie des consommations de substances. Il a catégorisé les programmes en : « non interactifs », construits sur l’apport de connaissances et le travail sur les attitudes et « interactifs », basés sur l’influence sociale et l’acquisition de compétences génériques. Une étude actualisée du même auteur (Tobler, 1997), portant sur 120 programmes développés en milieu scolaire de 1978 à 1990 et rapportant des résultats en consommation déclarée, conclut à une meilleure efficacité des programmes interactifs, sans que les programmes travaillant sur des compétences génériques soient supérieurs à ceux travaillant uniquement sur l’influence sociale. Les programmes qui abordent plusieurs produits psychoactifs donnent de moins bons résultats en termes de prévention du tabagisme que les programmes centrés sur le tabac. Certains programmes ayant montré leur efficacité sur des petites cohortes étaient moins probants quand ils étaient déployés à grande échelle.

Bangert-Drowns (1988) a analysé une sélection de 33 études (sur 125 repérées) publiées entre 1968 et 1986 et évaluant des programmes développés en milieu scolaire aux États-Unis ou au Canada, abordant l’alcool et/ou les drogues illicites, en excluant les programmes abordant uniquement le tabac. Il a confirmé l’effet important des programmes sur l’acquisition de connaissances et sur les changements d’attitudes, mais faible sur les changements de comportements.

Hansen (1992) a examiné 45 publications, non plus dans la perspective de quantifier un effet moyen des programmes, mais dans celle de rechercher les pistes d’intervention les plus prometteuses. Il a donc analysé les contenus des programmes et a classé les différents modules en 12 thèmes (tableau 4.III). Cette classification a d’ailleurs été reprise dans l’étude de Lister-Sharp et coll. (1999). L’auteur a ensuite regroupé les programmes en 6 catégories : information et clarification des valeurs, éducation affective, influence sociale, programmes globaux, alternatives et programmes incomplets. L’analyse par catégorie des effets des programmes sur les comportements liés au tabac, à l’alcool ou à la marijuana a donné les résultats suivants : les programmes globaux avaient les meilleurs scores avec 72 % ayant des résultats positifs et 28 % des résultats neutres. Les programmes fondés sur l’influence sociale avaient des résultats positifs dans 63 % des cas, neutres dans 26 % et négatifs dans 11 % des cas. Étant donné que les programmes globaux incluent des modules sur l’influence sociale, l’auteur considère cette piste comme la plus solide. Cependant, les écarts de puissance statistique entre les différentes catégories de programmes restent un obstacle à des conclusions définitives.

Bruvold (1993) a réalisé une méta-analyse de 84 programmes développés en milieu scolaire pour la prévention du tabagisme chez les adolescents. Ces programmes, dont les résultats ont été publiés dans les années 1970 et 1980, ont tous un groupe de comparaison ou de contrôle. L’auteur a regroupé les programmes selon la classification (tableau 4.IV) établie par Battjes (1985). Il a confirmé les faits déjà établis : les approches traditionnelles sont efficaces dans l’apport de connaissances et peu ou pas efficaces dans la modification des comportements, alors que les approches plus nouvelles prenant en considération les déterminants psychosociaux ont un impact sur la modification des comportements. Les changements d’attitudes sont corrélés aux changements de comportements, et non à l’acquisition de connaissances. Les programmes basés sur le renforcement social montrent la meilleure efficacité, suivis de ceux basés sur les normes sociales ou sur l’approche développementale. Tout en reconnaissant la supériorité des programmes fondés sur l’influence sociale, l’auteur admet que les programmes traditionnels sont plus facilement acceptés par la communauté éducative et peuvent être mis en œuvre sans formation importante.

En France, certaines évaluations d’actions de communication et de prévention enquêtent sur de grands effectifs. Les études évaluatives des interventions en milieu scolaire portent plutôt sur des actions très localisées et utilisent des méthodologies très diverses.

Morisot et Chabaud (1994) ont évalué une action d’éducation pour la prévention de l’alcoolisation réalisée dans trois lycées de Niort. L’intervention consistait en 3 rencontres éducatives d’environ 2 heures chacune, une en classe de seconde, une en première et une en terminale. La première séance était consacrée à une discussion sur les risques de la consommation festive (risques routiers en particulier) et la seconde séance aux motivations à la consommation et à l’influence du groupe dans la consommation. La troisième séance portait sur les stratégies à développer dans certaines situations dans lesquelles des décisions étaient à prendre quant à la consommation d’alcool. Les évaluateurs ont tiré au sort deux groupes de lycéens, avec 333 élèves dans le groupe pilote et 607 dans le groupe témoin. Il y a eu un questionnaire prétest et posttest (avec des mesures intermédiaires). Après l’intervention éducative, les élèves du groupe pilote étaient moins nombreux à consommer une boisson alcoolisée forte une fois par semaine que ceux du groupe témoin (18,1 % versus 12,5 % en terminale) et étaient significativement moins nombreux à avoir entre 3 et 10 ivresses par an.

Choquet et Lagadic (1999) ont évalué un programme de prévention des toxicomanies mené depuis 1992 par la municipalité de Saint-Herblain dans les collèges de la ville. Les évaluateurs ont donc choisi une commune similaire, Rézé, afin de disposer d’un groupe témoin (évaluation de type « ici-ailleurs », posttest sans prétest). L’intervention auprès des élèves a consisté à réaliser des jeux autour de la notion de capital santé pour les élèves de sixième, organiser des séances de théâtre-forum pour les élèves de quatrième, et donner une information sur l’effet des produits psychoactifs au sein des cours de biologie. Le reste du travail a consisté à provoquer une réflexion sur la prévention des toxicomanies de la part des enseignants et des parents. Il n’a pas été observé de différence entre les scores d’opinions favorables ou défavorables à l’alcool, au tabac et à la drogue dans les sites témoin et pilote. Il n’a pas été observé de différence significative entre les usages de tabac, de cannabis (trois fois et plus dans la vie), d’alcool (plusieurs fois par semaine) ou d’ivresses (au moins dix fois dans la vie). La seule différence significative concerne les filles : à Rézé, elles sont 17 % à avoir consommé au moins trois fois du cannabis alors qu’elles ne sont que 9 % à Saint-Herblain. Les filles de Rézé sont globalement plus consommatrices des autres substances, mais la différence n’est pas significative. Parmi les consommateurs occasionnels de cannabis, les jeunes de Saint-Herblain ont plus souvent l’intention de ne pas consommer dans l’avenir que ceux de Rézé (71 % versus 34 %).

Dans la littérature présentant les résultats de programmes d’éducation pour la santé, il est fréquent qu’aucun effet ne soit mis en évidence, en particulier en termes de changement de comportement (Siegel et coll., 1995; Boyer et coll., 1997; Gillmore et coll., 1997; Weeks et coll., 1997; Resnicow et coll., 1998). De nombreuses revues d’études évaluatives tentent de faire le point sur les aspects conceptuels et méthodologiques des programmes et de leur évaluation, dans le domaine de la prévention de l’usage de substances psychoactives (Binyet et de Haller, 1993; Leventhal et Keeshan, 1993; Foxcroft et coll., 1997). Les auteurs soulignent l’extrême difficulté de rassembler en un indicateur d’efficacité unique les différents impacts des programmes, étant donné leur hétérogénéité. Certains (Foxcroft et coll., 1997) estiment que, en dehors de quelques exceptions, la mauvaise qualité des évaluations publiées empêche toute conclusion générale et qu’il est nécessaire d’attendre des évaluations de meilleure qualité. Lister-Sharp et coll. (1999) ont réalisé un important travail de synthèse sous forme de « revue de revues » et apportent sur la question des critiques très documentées, de même que des propositions.

Foxcroft et coll. (1997) se sont intéressés aux programmes de prévention de l’alcoolisation chez les jeunes. Ils ont analysé 155 rapports d’évaluation et en ont retenu 48 (présentant les évaluations de 33 programmes). Seules 10 évaluations obéissaient aux critères suivants : tirage au sort ou équivalence des groupes témoins et expérimentaux, fourniture des résultats du prétest et du posttest, et présentation de l’ensemble des résultats. Parmi les programmes évalués à court terme (= 1 an), 16 montraient quelques résultats positifs, 11 étaient inefficaces et 6 avaient des effets inverses. Sur les programmes évalués à moyen terme (de 1 à 3 ans), 5 avaient des effets positifs, 5 n’avaient aucun effet et 2 avaient des effets inverses. Sur les deux programmes évalués à long terme, un (déjà mentionné dans les exemples de RCT) a des résultats positifs à 6 ans (Botvin et coll., 1995) pour l’autre ; les données à 5 ans ne montrent aucun effet durable (Ellickson et coll., 1993).

Lister-Sharp et coll. (1999) ont analysé les revues existantes sur l’efficacité des interventions d’éducation/promotion de la santé en milieu scolaire (environ 200 depuis le milieu des années 1960), puis effectué une sélection sur des critères de qualité méthodologique. Dans le domaine de l’usage de substances psychoactives, sur 82 revues, les 9 qui satisfont aux critères couvrent 146 études dont 50 sont analysées par plus d’un auteur. Moins de la moitié des programmes ont un impact positif sur les attitudes. D’après plusieurs des auteurs de revues, l’implication de pairs a un impact favorable sur les attitudes, du moins à court terme. Seulement 4 programmes (alcool) impliquent les familles, et 3 d’entre eux ont un impact positif sur les comportements à court terme. Les effets positifs à long terme sont rares.

Le manque de reconnaissance et/ou de diffusion auprès des acteurs des programmes favorablement évalués est souvent évoqué. Aux États-Unis, Dusenbury et coll. (1997) ont établi que sur 47 programmes de prévention de l’usage de drogues disponibles et utilisés, seuls 10 ont fait l’objet d’évaluations scientifiquement rigoureuses et 8 ont donné des résultats intéressants. Il reste à accomplir un important travail de diffusion pour les programmes qui ont fait leurs preuves.

En conclusion, il est clair que certains programmes d’éducation pour la santé ont un effet sur les comportements défavorables à la santé, dans le domaine de la consommation de substances psychoactives. Pour la plupart des auteurs, cet effet est modeste mais peut néanmoins contribuer à un meilleur état de santé de la population (Kirby, 1995). De plus, les programmes semblent pouvoir être améliorés par une meilleure combinaison des modules existants, ce qui permettrait d’augmenter leur efficacité.

Les concepteurs des programmes ont compris que les comportements naissent de l’interaction entre soi-même et les autres et non pas d’un savoir abstrait : il s’agit donc d’équiper les jeunes de capacités à réagir dans des situations concrètes, précisément décrites. Des groupes de discussion (notamment des focus groups) permettent de comprendre la position des jeunes, et également de tester le matériel éducatif proposé. Par ailleurs, les évaluateurs des programmes utilisent de plus en plus une méthodologie rigoureuse : augmentation de la taille des cohortes et du nombre d’unités de randomisation pour accroître la puissance des tests de comparaison ; ajustement de l’analyse au fait que la randomisation se fait par groupes sociaux et l’analyse par individus ; prise en compte du phénomène des perdus de vue ; analyse de la validité des déclarations. D’autre part, compte tenu de l’évolution des méthodes en éducation pour la santé intégrant les notions d’enabling et d’empowerment,de nouveaux indicateurs devront être définis et utilisés pour évaluer l’acquisition des compétences personnelles et la capacité d’action des jeunes vis-à-vis de leur santé.

[1] arwidson p, lavielle c. La structure imred (introduction, méthodes, résultats, discussion) convient également aux rapports d’action d’éducation pour la santé. Santé Publique. 1998; 10:171-174

[2] bangert-drowns rl. The effects of school-based substance abuse education-metaanalysis. J Drug Educ. 1988; 18:243-264

[3] battjes rj. Prevention of adolescent drug abuse. Int J Addict. 1985; 20:1113-1134

[4] binyet s, de haller r. Efficacité de la prévention du tabagisme chez les jeunesrevue critique de la littérature. Soz Praventivmed. 1993; 38:366-378

[5] botvin gj, baker e, dusenbury l, botvin em, diaz t. Long-term follow-up results of a randomized drug abuse prevention trial in a white middle-class population. JAMA. 1995; 273:1106-1112

[6] boyer cb, shafer ma, tschann jm. Evaluation of a knowledge-and cognitivebehavioral skills-building intervention to prevent STDs and HIV infection in high school students. Adolescence. 1997; 32:25-42

[7] bruvold wh. A meta-analysis of adolescent smoking prevention programs. Am J Public Health. 1993; 83:872-880

[8] choquet m, lagadic c. Évaluation en milieu scolaire d’un programme de prévention primaire en matière de toxicomanie. Inserm U472 pour OFDT. 1999; 109 pp.

[9] dijkstra m, mesters i, de vries h, van breukelen g, parcel gs. Effectiveness of a social influence approach and boosters to smoking prevention. Health Educ Res. 1999; 14:791-802

[10] dusenbury l, falco m, lake a. A review of the evaluation of 47 drug abuse prevention curricula available nationally. J Sch Health. 1997; 67:127-132

[11] elder jp, perry cl, stone ej, johnson cc, yang m, et coll.. Tobacco use measurement, prediction, and intervention in elementary schools in four states : the CATCH study. Prev Med. 1996; 25:486-494

[12] ellickson pl, bell rm, mcguigan k. Preventing adolescent drug use : long-term results of a junior high program. Am J Public Health. 1993; 83:856-861

[13] ennett st, tobler ns, ringwalt cl, flewelling rl. How effective is drug abuse resistance education ? A meta-analysis of project DARE outcome evaluations. Am J Public Health. 1994; 84:1394-1401

[14]fchp, echp (Finnish Centre for Health Promotion, Estonian Centre for Health Education and Promotion). Best practices. A selection of papers on quality and effectiveness in health promotion presented at the 4th European IUHPE Conference on Effectiveness and Quality of Health Promotion, May 16-19,. 1999; Helsinki, Finland and Tallin, Estonia: IUHPE. 2000;

[15] foxcroft dr, lister-sharp d, lowe g. Alcohol misuse prevention for young people a systematic review reveals methodological concerns and lack of reliable evidence of effectiveness. Addiction. 1997; 92:531-537

[16] gillmore mr, morrison dm, richey ca, balassone ml, gutierrez l, farris m. Effects of a skill-based intervention to encourage condom use among high risk heterosexually active adolescents. AIDS Educ Prev. 1997; 9:S22-S43

[17] hamberg k, johansson e, lindgren g, westman g. Scientific rigour in qualitative research-examples from a study of women’s health in family practice. Fam Pract. 1994; 11:176-181

[18] hansen wb. School-based substance abuse prevention : a review of the state of the art in curriculum, 1980-1990. Health Educ Res. 1992; 7:403-430

[19] hansen wb, mcneal rb Jr. How D.A.R.E. works : an examination of program effects on mediating variables. Health Educ Behav. 1997; 24:165-176

[20] hudelson p. Qualitative research for health programmes. World Health Organization, Division of Mental Health. Geneva:1994;

[21]iuhpe (International union for health promotion and education). The evidence of health promotion effectiveness. Shaping public health in the new Europe. A report for the European Commission. Bruxelles-Luxembourg: ESC-EC-EAEC. 1999; 166 pp.

[22] josendal o, aaro le, bergh ih. Effects of a school-based smoking prevention program among subgroups of adolescents. Health Educ Res. 1998; 13:215-224

[23] kirby d. Sex and hiv/aids education in schools. Have a modest but important impact 84 on sexual behaviour. BMJ. 1995; 311:403

[24] kirby d. Reflections on two decades of research on teen sexual behavior and pregnancy. J Sch Health. 1999; 69:89-94

[25] leventhal h, keeshan p. Promoting health alternatives to substance abuse. In : Promoting the health of adolescents : new directions for the twenty-first century. In: millstein sg, petersen ac, nightingale eo eds, editors. Oxford University Press. New York:1993; 260284

[26] lincoln ys. Emerging criteria for quality in qualitative and interpretive research. Qualitative Inquiry. 1995; 1:275-289

[27] lister-sharp d, chapman s, stewart-brown s, sowden aj. Health promoting schools and health promotion in schools : two systematic reviews. Health Technol Assess. 1999; 3 (whole n^o 22): 207 pp.

[28] mays n, pope c. Rigour and qualitative research. BMJ. 1995; 311:109-112

[29] mays n, pope c. Qualitative research in health care. Assessing quality in qualitative research. BMJ. 2000; 320:50-52

[30] meyer j. Qualitative research in health care. Using qualitative methods in health related action research. BMJ. 2000; 320:178-181

[31] morisot d, chabaud f. Évaluation d’une action éducative sur le risque alcool menée auprès d’adolescents scolarisés de la seconde à la terminale dans trois lycées de la ville de Niort. Alcoologie. 1994; 16:217-223

[32] morse jm. « Dear Sir, I am shocked and dismayed… ». Qual Health Res. 1998; 8:579

[33]oms (Organisation mondiale de la santé).Déclaration de Jakarta sur la promotion de la santé au xxi^e siècle. 4^e Conférence internationale sur la promotion de la santé; Jakarta:21-25 juillet; 1997;

[34] peterson av, kealey ka, mann sl, marek pm, sarason ig. Hutchinson Smoking Prevention Project : long term randomized trial in school-based tobacco use prevention – Results on smoking. J Natl Cancer Inst. 2000; 92:1979-1991

[35] pope c, ziebland s, mays n. Qualitative research in health care. Analysing qualitative data. BMJ. 2000; 320:114-116

[36] puska p, tuomilehto j, nissinen a. The North Karelia Project. 20 year results and experiences. National Public Health Institute. Helsinki:1995; 363 pp.

[37] resnicow k, davis m, smith m, baranowski t, lin ls, et coll.. Results of the Teach-Well worksite wellness program. Am J Public Health. 1998; 88:250-257

[38] siegel d, diclemente rj, durbin m, krasnovsky f, saliba p. Change in junior high school students’ AIDS-related knowledge, misconceptions, attitudes, and HIV-preventive behaviors : effects of a school-based intervention. AIDS Educ Prev. 1995; 7:534-543

[39] tobler n. Meta-analysis of 143 adolescent drug prevention programs : quantitative outcome results of program participants compared to a control or comparison group. J Drug Issues. 1986; 16:537-567

[40] tobler n. Meta-analysis of adolescent drug prevention programs : final report. National Institute on Drug Abuse. Rockville, MD:1992a;

[41] tobler ns. Drug prevention programs can work : research findings. J Addict Dis. 1992b; 11:1-28

[42] tobler ns. Meta-analysis of adolescent drug prevention programs : results of the 1993 meta-analysis. NIDA Res Monogr. 1997; 170:5-68

[43] tones k. Evaluating health promotion : a tale of three errors. Patient Educ Couns. 2000; 39:227-236

[44] walter hj. Primary prevention of chronic disease among children : the school-based « Know Your Body » intervention trials. Health Educ Q. 1989; 16:201-214

[45] weeks k, levy sr, gordon ak, handler a, perhats c, flay br. Does parental involvement make a difference ? The impact of parent interactive activities on students in a school-based AIDS prevention program. AIDS Educ Prev. 1997; 9:S90-S106