Logo of MSmédecine/sciences : m/s
Med Sci (Paris). 2013 February; 29(2): 119–120.
Published online 2013 February 28. doi: 10.1051/medsci/2013292001.

Trop d’évaluation tue l’évaluation

Jacques Haiech1*

1UMR7200, Laboratoire d’innovations thérapeutiques Faculté de pharmacie, ULP, 74, route du Rhin67401Illkirch, France
Corresponding author.

MeSH keywords: Académies et instituts, législation et jurisprudence, organisation et administration, normes, Recherche biomédicale, Modèle de compétence attendue, Congrès comme sujet, Études d'évaluation comme sujet, France, Humains, Modèles biologiques, Politique, Secteur public, Perfectionnement du personnel, Universités

 

Dans un ouvrage collectif issu d’un colloque ayant eu lieu en 2011 et publié en janvier 2013, Marc Romainville proposait un chapitre de conclusion intitulé : « Évaluation et enseignement supérieur : un couple maudit, au bord du divorce ? » [ 1].

Lors des assises de la recherche, le divorce semblait consommé et l’on en était au crime passionnel. Il fallait tuer l’Agence nationale d’évaluation de la recherche et de l’enseignement supérieur (AERES). L’issue fatale a été entérinée par notre ministre le 19 décembre 2012, annonce qu’elle nuançait par la mise en Ĺ“uvre de soins palliatifs, dans une lettre envoyée au directeur de l’AERES le 24 décembre.

L’évaluation des individus comme outil de gestion des ressources humaines

Dans notre pays, la culture de l’évaluation a posteriori - ou ex-post - s’est construite sur l’évaluation des individus pour accompagner leur gestion de carrière. Elle est réalisée par un comité, composé de membres nommés ou cooptés par l’employeur -, qui ont pour mission de prendre en compte les contraintes de la tutelle dans le processus d’évaluation - et de membres élus -, qui ont pour rôle de défendre la personne évaluée. Cette composition induit une évaluation souvent qualitative (par les pairs), contradictoire, et qui ne sera pas rendue publique puisqu’elle concerne un individu. Au cours du temps, les commissions d’évaluation ont pris en charge l’évaluation des structures, ce qui leur permet de tenir compte du contexte dans l’évaluation individuelle. On a une inter-action forte entre évaluation individuelle, évaluation des structures et politique de gestion des personnels. La commission est à la fois une structure d’évaluation et un lieu de concertation et de négociation sociale. Pour la recherche ou l’enseignement supérieur, le comité national du CNRS (CoCNRS) ou le comité national des universités (CNU) illustre ce type d’évaluation.

L’évaluation des structures comme outil d’aide à l’évaluation des performances des politiques publiques

Dans les pays anglo-saxons, à côté d’une évaluation des individus, s’est développée une culture de l’évaluation ex-post des structures, dont l’objectif est d’en optimiser le fonctionnement par rapport aux missions qui leur sont confiées. Dans le cadre des services publics gérés par l’État, ce type d’évaluation ne peut se développer que si la politique budgétaire se construit sur un ensemble de missions (budget par mission) et sur un contrôle budgétaire a posteriori et non pas a priori. Cette révolution copernicienne de la loi de finance française a été décidée en 2002 (c’est ce que l’on désigne sous le nom de la LOLF1) et est entrée en vigueur, pour la première fois, en 2006. Quand on applique cette logique aux missions régaliennes que sont la recherche et l’enseignement supérieur, des indicateurs de suivi des budgets « recherche et enseignement supérieur » doivent être mis en place pour éclairer le Parlement sur les performances des politiques publiques dans l’utilisation de ces budgets. Cela conduit logiquement à créer une agence nationale de l’évaluation de la recherche et de l’enseignement supérieur (AERES) en charge de la mise en place de ces indicateurs et, plus généralement, de cette évaluation des performances des politiques publiques. La loi LRU (loi sur la responsabilité des universités), en 2006, a mis en place cet outil AERES, haute autorité administrative sur le modèle de la CNIL (commission nationale de l’informatique et des libertés) ou du CSA (conseil supérieur de l’audiovisuel). Dans cette logique, l’AERES aurait dû mettre en place des indicateurs de performances dans l’utilisation du budget de recherche et de l’enseignement supérieur par les opérateurs de recherche et de formation. Elle aurait dû être au service du Parlement en lui offrant les outils d’une analyse objective des résultats des politiques publiques du système national de recherche et d’innovation (SNRI). Elle s’est d’abord focalisée sur l’évaluation de toutes les structures de recherche recevant des fonds publics et toutes les formations relevant de l’enseignement supérieur. Elle s’est mise au service des opérateurs de recherche et de formation, des ministères, et, progressivement, au service des responsables des structures de recherche et de formation. Le gisement d’informations créées grâce aux rapports émanant du travail des délégués scientifiques n’a pas été encore interprété. C’est cette interprétation qui permettra de mettre en place les indicateurs et les outils utiles pour analyser les politiques publiques en matière d’enseignement et de recherche.

La LOLF en 2002 et la LRU en 2006 ont redéfini le paysage du système national de recherche et d’innovation (SNRI). Les fonctions d’évaluation, de stratégie-financement et de gestion ont été séparées. La fonction d’évaluation nationale et indépendante des structures de recherche et des formations a été mise sous la tutelle du Parlement et les deux autres fonctions sous la tutelle du Gouvernement. Face à cette séparation des actions, il aurait fallu un système qui assure la cohérence de l’ensemble, sauf à imaginer que le système est auto-cohérent.

inline-graphic medsci2013292p119-fig1.jpg

Évaluation, recherche, formation : « les brins d’une guirlande éternelle »

Cette évaluation des performances des politiques publiques nécessite des indicateurs quantifiables et pas simplement qualitatifs. L’évaluation métrique a pour objet de créer des indicateurs quantifiés du système de recherche et d’innovation. Ces observables sont alors injectés dans un modèle mathématique permettant de prévoir l’évolution du système de recherche et d’innovation (SRI) à différents niveaux (mondial, continental, national, institutionnel). Cette approche, popularisée par Eugène Garfield dans les années 1940-1950, a débouché sur des outils commerciaux (ISI2,, web of science, etc.) et est aussi utilisée pour faire de la veille scientifique et économique. Une approche similaire pour l’évolution des technologies a été démarrée en Russie dans les années 1940 et s’est répandue au niveau mondial dans les années 1980 (approche TRIZ3). L’évaluation métrique a pour objectif de donner des outils d’analyse et d’aide stratégique aux décideurs de la politique publique.

La scientométrie4 émerge dans les années 1950 comme une discipline scientifique dont l’objet de recherche est les modes d’évaluation en science et, plus généralement, du système de recherche et d’innovation. Considérant que la production en recherche se visualise principalement par le biais des publications, cette discipline est très fortement liée à la bibliométrie. Au départ, elle se cantonne à l’évaluation de grandes structures et a pour objet d’éclairer les politiques publiques. Progressivement, son utilisation va s’étendre à des niveaux de granularité de plus en plus faibles pour s’appliquer aux individus (apparition et utilisation du facteur h en 2005).

L’évaluation des individus par des indicateurs métriques a des conséquences sur la normalisation de la publication : recherche de publications dans des journaux à haut facteur d’impact, d’où un effet de normalisation du type de recherche ; rapidité de la publication au détriment de la reproductibilité des résultats, d’où une augmentation exponentielle du nombre d’articles retirés pour fraude ou non-reproductibilité.

L’évaluation par les pairs, en instituant une définition forte des disciplines, diminue l’innovation, empêche le décloisonnement des disciplines, inhibe l’interdisciplinarité et institue une normalisation du fonctionnement scientifique.

Quelles que soient les formes d’évaluation, la communauté scientifique est suffisamment plastique pour décoder et contourner celles-ci. Elle dépense alors plus d’énergie à s’adapter aux formes d’évaluation qu’à faire de la recherche ou de l’enseignement. La confiance entre l’état et ses serviteurs s’effrite. Les services publics se délitent. L’université, le cocon de la société de demain, devient une fabrique de la défiance [ 2].

Cette interrelation entre évaluation, évolution du comportement des chercheurs et orientation des thématiques de recherche devrait devenir un objet de recherche. Ce type de réflexion serait une première étape pour retisser un lien de confiance entre la société et la communauté scientifique et retrouver autonomie et liberté de recherche, et probablement créativité et plaisir pour les enseignants-chercheurs et attractivité vers les métiers de la recherche pour les jeunes générations d’étudiants.

Liens d’intérêt

L’auteur déclare n’avoir aucun lien d’intérêt concernant les données publiées dans cet article.

 
Footnotes
1 La LOLF - ou loi organique relative aux lois de finances - institue un changement de paradigme dans la construction budgétaire, une logique de la performance et une transparence de l’information budgétaire, qui conduisent à un contrôle plus important du budget par le Parlement.
2 ISI : Institute for Scientific Information, maintenant Thomson Reuters web of knowledge.
3 http://fr.wikipedia.org/wiki/TRIZ. Acronyme russe de la théorie de résolution des problèmes inventifs Teorija Reshenija Izobretateliskih Zadatch.
References
1.
Romainville M , Goasdoué R , Vantourout M (sous la direction de).. Évaluation et enseignement supérieur. Collection Pédagogies en développement. Bruxelles: : De Boeck; , 2013.
2.
Algan Y , Cahuc P , Zylberberg A. La fabrique de la défiance . Paris: : Albin Michel; , 2012 : :192. p.