EVALUATION DU PROJET D'ETABLISSEMENT
Conférence de Michel LECOINTE - à Clermont Ferrand le 29 avril 2004
Compte rendu
au sommaire :
1. Premier point : les opérations fondamentales qui constituent l’évaluation
2. Deuxième point : présentation d’un outil principal, d’une méthodologie large d’évaluation d’un projet d’établissement
2.1. Première focale d’évaluation : la pertinence
2.2. Deuxième focale d’évaluation : la cohérence
2.3. Troisième focale d’évaluation : l’efficacité
2.4. Quatrième focale d’évaluation : l’efficience
2.5. Cinquième focale d’évaluation : la faisabilité
2.6. Sixième focale d’évaluation : le coût rendement
2.7. Septième focale d’évaluation : la conformité
2.8. Huitième focale d’évaluation : la régulation
2.9. Neuvième focale d’évaluation : la plus valeur
3. Troisième point : deux exemples d’audit
3.1. L’évaluation du travail en équipe d’un groupe d’enseignants
3.2. Le réseau de dispositifs d’aide aux élèves pour le développement de leur autonomie
4. Dernier point en conclusion : les quatre rationalités pour les opérations d’évaluation.
4.1. La rationalité juridique :
4.2. La rationalité managériale :
4.3. La rationalité éthico-politique :
4.4. La rationalité réticulaire
5.2. Existe-t-il une évaluation du temps du projet (en fonction des durée des cohortes par exemple) ?
5.3. Quid de l’audit des petites structures.
5.4. Qui mesure la mission d’éducation de l’éducation nationale ? Difficulté de la mesure de la plus valeur. Dans la construction d’un projet académique par exemple ne serait-il pas nécessaire de tenir compte des focales et rationalités d’évaluation pour aider à son élaboration ?.
5.5. Faudra-t-il avec la mise en place de la LOLF mettre en place des indicateurs autres que budgétaires et prendre en compte cette dimension éthico-politique ?
Le sujet de la conférence concerne la
présentation d’une démarche générale d’évaluation institutionnelle. Il sera
développé en trois points :
Rappel de quelques opérations fondamentales en les adossant à des principes et réflexions de type aussi bien épistémologique que déontologique ou éthique.
Approche de l’évaluation de projet avec une dizaine de focales d’évaluation différentes
Deux exemples d’audit :
Evaluation d’une équipe d’enseignants
Evaluation de la contribution au développement de l’autonomie des élèves par l’intermédiaire de dispositifs de soutien.
Au travers de l’exposé le conférencier fera apparaître ce qui relève du contrôle ou de l’évaluation, ce qui relève de l’inspection et de l’audit et s’interrogera sur les logiques et finalités des différentes opérations d’évaluation.
On peut en retenir quatre :
· Evaluer c’est faire de la mesure
· Evaluer c’est produire du sens
· Evaluer c’est aider à l’évolution, à l’adaptation, au pilotage
· Evaluer c’est valoriser les personnes et les institutions.
Que peut-on mesurer en sciences humaines ? Même si l’on admet que l’évaluation n’est pas une démarche scientifique mais une pratique sociale, elle doit satisfaire à des principes de rationalité et de rigueur. Pour cela il est nécessaire de construire des outils de mesure aussi bien pour une évaluation quantitative, statistique que pour une évaluation qualitative.
« Faire du chiffre » ne suffit pas , il faut pouvoir « faire parler la mesure ».
Que mesure-t-on pour les examens, le bac par exemple ? un taux de réussite, un présupposé acquis de connaissances. Par contre à aucun moment on évalue la mission d’éducation (sauf quelques prémisses au niveau de la violence) qui est une des trois missions de la loi d’orientation. On ne se préoccupe pas de mesurer comment l’enseignement développe la curiosité intellectuelle, le plaisir intellectuel, l’envie de continuer à apprendre.
Les difficultés de la métrologie ne sont pas propres aux sciences humaines mais elles y sont accentuées. Si, à la rigueur, on sait fabriquer les outils, on ne sait pas toujours ce qu’ils mesurent effectivement.
L’évaluation, qu’elle soit quantitative ou qualitative, doit produire du sens à la fois pour le pilote mais aussi pour l’ensemble des acteurs du système sinon elle n’est que contrôle. Le contrôle, même s’il est nécessaire, fait de l’individu un agent et non un acteur du système. L’évaluation, en donnant du sens, permet que chacun, à sa place, peut comprendre ce qu’il fait avec les autres, ce qui convient ou ne convient pas, ce qui est réussi ou non. Cela n’exclut nullement que l’interprétation faite des données fasse l’objet de débat, de controverse voire d’appréciation conflictuelle.
Evaluer, c’est tout à la fois faire de l’analyse et comprendre ce qui se passe, c’est constater ce que produisent les actes que l’on mène, c’est faire remonter une information pour aider au pilotage, pour éclairer la prise de décision.
Dans le gouvernement (terme préféré au pilotage car sous entend une action plus volontariste) d’un établissement, l’évaluation doit porter à la fois sur ce que ce que l’on veut faire, ce que l’on fait, ce que l’on doit modifier pour faire évoluer le système. Un projet non piloté se perd car il ne vit plus. L’évaluation de la conception du projet, de la mise en œuvre et de la régulation du projet sont les garanties de sa pérennité.
Il peut être intéressant à ce niveau de la présentation de faire le lien entre évaluation et valeur.
Si dans le vocabulaire monétaire on fait la différence entre évaluation et dévaluation, en sciences humaines on n’a gardé que le mot évaluation avec, en sous entendu, plutôt dépréciation que valorisation. La culture de l’évaluation consiste pourtant à constater où l’on se situe par rapport à une échelle de valeur, à mettre éventuellement en évidence l’absence de progrès mais aussi et surtout à valoriser ce qu’il y a de progression.
Deux approches de la valeur :
·
Celle des psychosociologues : ce sont
les rapports des opérations et des procédures d’évaluation et de détermination
de la valeur
Ce sont deux procédures conjointes : l’opération d’évaluation permet de
déterminer de la valeur et parallèlement la valeur existante sert à déclencher
l’évaluation. La valeur n’existe pas en soi mais elle est le résultat de
construits sociaux, résultats d’évaluations accumulées. On décide , on construit
de la valeur par des successions d’évaluations.
· Celle d’un anthropologue comme Ricoeur : « le je , le tu, le il »
o Le « je » : dire « je veux, j’ai envie » sous entend que j’accorde de la valeur à quelque chose donc c’est le premier niveau de détermination de valeur
o Le « tu » : c’est admettre que l’autre accorde de la valeur peut être au même objet mais à un niveau différent. Ce peut être sur ce décalage de niveau qu’apparaît éventuellement la première approche conflictuelle de la valeur.
o Le « il » : on se situe ici au niveau du débat de rationalisation. On s’efforce de rationaliser ce qui vaut pour un groupe, pour un établissement, pour l’Education nationale, pour une région, pour un pays, pour le monde. Cette recherche de références communes n’empêche pas, qu’indirectement, on touche à l’évaluation (valorisation et dévalorisation) d’un individu.
Evaluer un projet d’établissement ce n’est pas seulement évaluer le chef d’établissement mais cela n’est pas sans conséquence sur le regard que l’on accorde à l’individu. Dans le même ordre d’idée l’image médiatisée, par la presse, de certains établissements est bâtie sur une évaluation à partir de critères visant à des palmarès ne tenant pas compte d’une valeur d’ensemble. Un travail de rationalisation est réalisée par la DPE pour redonner du sens à l’évaluation et la valeur des établissements.
Après toutes les étapes précédentes - analyse de la situation de départ et les problèmes qu’elle pose, définition des objectifs et analyse des moyens, choix d’une stratégie puis l’opérationnalisation – se situe l’évaluation terminale du projet.
Evaluer un projet, ou une sous partie du projet, n’est en rien comparable à l’évaluation d’un produit . Il s’agit, en fait, d’évaluer un système c’est à dire des éléments d’un ensemble en interaction entre eux.
Si l’on doit passer, in fine, par l’évaluation des résultats par rapport aux objectifs, il est surtout intéressant d’évaluer des sous systèmes et des moments du projet d’établissement. Il est possible d’envisager 9 focales différentes d’évaluation.
► Voir les différentes focales de l'évaluation
Elle se situe dans la phase du diagnostic (avant le projet). Il s’agit de problématiser une situation : quelles sont les questions fondamentales que pose la situation de l’établissement en référence aux objectifs nationaux. L’analyse qui a été faite a-t-elle permis de dégager des objectifs pertinents eu égard au contexte local ? Ce diagnostic doit être revu tous les deux ou trois ans voire chaque année.
Cette évaluation de pertinence est à mettre en relation avec l’évaluation de résultat pour créer une dialectique de problématisation – reproblématisation et redéfinir, ainsi, plus finement les objectifs.
Elle repose sur la mise en relation des moyens à disposition, des objectifs définis et de la stratégie choisie. Quelque soit le domaine étudié (projet de formation, projet d’établissement) il faut un regard permanent pour veiller à la cohérence des choix stratégiques envisagés de façon à réaliser les objectifs poursuivis compte tenu des moyens mobilisables.
C’est la confrontation de la trilogie : moyens - objectifs – résultats.
C’est souvent la seule mise en avant dans l’éducation nationale. Elle est indispensable, légitime et incontournable mais elle n’est pas suffisante. Ne focaliser l’évaluation que sur des résultats aux examens ne suffit pas à mesurer la valeur de l’ensemble d’un système « établissement ».
Le concept d’efficience permet d’aller plus loin dans l’analyse mais il faut en préciser deux approches :
L’efficience en tant qu’optimisation des moyens (y compris en terme de ressources humaines)……..et même au delà, la capacité à augmenter des résultats avec une réduction de moyens. Cette approche minimale de l’efficience propose un impératif : avoir le souci d’éviter le gaspillage et de rationaliser l’utilisation des moyens.
L’efficience se mesure, surtout, toutes choses égales par ailleurs, par la satisfaction des acteurs. La stratégie visant à intéresser les acteurs, à les mobiliser, à leur reconnaître un professionalisme, in fine à les valoriser, est un modèle d’efficience puisqu’elle ne coûte rien en terme de moyens mais peu rapporter beaucoup dans la création, la concrétisation et la réussite d’un projet.
Il est possible de mesurer ce type d’efficience, bâtie sur la valorisation des acteurs contributeurs à un projet (par exemple, en mesurant le temps pendant lequel les acteurs contributeurs se sont mobilisés sur un axe du projet).
Il s’agit de mesurer l’adaptation des moyens aux objectifs que l’on poursuit. Pour un projet d’établissement, cela est important en terme de moyens matériels mais surtout en terme de compétences. La présence d’un plan de formation cohérent permettant d’adapter les compétences requises aux ambitions du projet paraît être un incontournable dans l’évaluation du projet.
La notion de rendement ne peut se limiter à une approche économiste : moyens - coût - rendement. Elle retrouve tout son sens si on la redimensionne en terme de citoyenneté. Ainsi redéfinie, cette évaluation peut d’autant mieux être reconnue par les acteurs.
Il est nécessaire d’évaluer le fait que les objectifs et l’utilisation des moyens rentrent dans le cadre de la conformité, la légalité que doivent respecter les établissements.
Un projet, dans ses différentes étapes, doit être régulé aussi bien dans la stratégie adoptée que dans l’adaptation des objectifs aux moyens. « Un pilote ne choisit ni le point de départ, ni le point d’arrivée mais il est , au minimum, responsable du trajet ». Le pilotage est la correction au jour le jour des écarts. Il faut prévoir des procédures de régulation, des groupes de régulation.
La gestion des conflits entre les différents partenaires rentre dans le cadre de la régulation. Il apparaît nécessaire qu’il y ait des procédures d’anticipation, de prévention des conflits (par exemple un seuil d’absence peut être un clignotant d’anticipation d’incident).
Dans une approche systémique, c’est la différence entre la somme des parties et le tout.
Dans un projet d’établissement c’est bien ce que l’on recherche in fine. Le projet est une stratégie de mise en système pour permettre de focaliser des énergies vers un projet commun. L’émergence de valeur n’existe que si chaque acteur se retrouve valorisé et valorise le tout.
Il s’agit dans un premier temps de créer un référentiel relatif au travail en équipe
On effectue ensuite les observations notamment au travers d’une grille d’observation et d’indicateurs.
L’intérêt de la mise en place d’un référentiel et d’une grille d’observation est l’utilité que présente ces outils pour aider ou suivre la constitution d’équipes ultérieurement par l’établissement. Ils sont des instruments potentiels de création de valeur ajoutée.
On met en évidence des écarts entre le référentiel et le référé.
On reclasse ensuite les différents éléments en points forts et atouts, points faibles et risques et zones d’incertitude. Cette catégorie sert à repérer les points qui n’ont pu être abordés faute de temps, d’information, d’instruments de mesure.
Il apparaît nécessaire de privilégier le recensement des points forts, ceci permettant de développer, pour la suite, une dynamique de progrès. Dépasser la notion de contrôle en n’affichant pas que les points négatifs, s’appuyer sur l’existant positif, constitue stratégiquement et pédagogiquement une façon de valoriser les ressources humaines pour corriger les défaillances.
► Voir les éléments de diagnostic du travail en équipe
L’équipe d’audit peut ensuite faire des propositions, donner des conseils qui peuvent servir de point de départ à une phase de régulation.
La première étape mise en place par les auditeurs a été de recenser l’ensemble des dispositifs existants (y compris ceux qui étaient « cachés » non visibles lors d’une observation de base).
► Voir la description des dispositifs d'aide aux élèves
La deuxième étape a consisté en l’écriture du référentiel de l’autonomie de l’élève en utilisant entre autres les textes officiels.
► Analyse des dispositifs : comment renforcer l’autonomie chez les élèves ?
Chaque dispositif a été analysé par le filtre du référentiel au travers de 4 éléments :
La contribution de chaque dispositif à la construction de l’autonomie de l’élève
Les points sur lesquels il manque de l’information
Les relations entre le dispositif et les compétences à travailler
Comment aller plus loin (préparation aux recommandations)
► Voir la description des dispositifs visant à renforcer l’autonomie chez les élèves
Ces deux exemples tendent à prouver que des éléments qui peuvent apparaître comme incommensurables le sont pourtant, à condition d’appliquer une méthode rigoureuse.
► Voir la description des quatre rationalités d'évaluation
En tant que représentant de l’ état, le cadre veille à faire respecter les dispositions et procédures légales. On est là au niveau du contrôle même si dans ce domaine , il apparaît nécessaire de procéder autrement qu’on ne le faisait auparavant.
Elle est légitime lorsqu’il s’agit de gouverner un établissement : gérer des moyens, des ressources humaines. Il ne faudrait pas qu’elle devienne la seule logique de la mise en oeuvre de l’évaluation dans l’éducation nationale.
C’est la mise en relation des projets avec les grandes orientations et finalités. Certes, évaluer les objectifs, ce n’est pas évaluer les résultats. Il faut donc savoir si ce que nous faisons correspond bien à ce que nous disons vouloir faire mais surtout si cela correspond à ce que nous devons faire eu égard aux missions de l’éducation nationale.
Il faut introduire cette dimension pour éviter un pilotage à court terme de type « cabotage », « une agitation managériale ». Il est impératif, entre autre, de se préoccuper très rapidement de savoir comment l’éducation nationale remplit une de ses missions : développer la curiosité intellectuelle, le désir d’apprendre...
Il s’agit de mesurer l’impact du fonctionnement des réseaux sous jacents à l’organigramme mais qui, sur le terrain, font avancer l’action. Ces réseaux sont parfois repris par l’organisme pour faire ce qu’il n’est pas capable de faire autrement. Vouloir contrôler ces réseaux est une erreur car cela suscite souvent la disparition du réseau. Il faut plutôt travailler dans le cadre de la co-évaluation, de la coopération, du co-pilotage pour garder tout son sens au réseau en terme d’efficacité.
Un audit doit être une forme de contrat pour lequel on définirait les modalités, la composition du groupe d’auditeurs..
Pour que l’audit sur le projet d’établissement soit un instrument qui permette le développement de l’EPLE dans le futur, il est préférable que le groupe d’auditeurs soit multicatégoriel (y compris peut être avec des formateurs, des enseignants..).
Il faut éviter que le regard sur le projet devienne l’évaluation du pilote du projet. Pour cela le contrat doit être précis. Le regard d’un pair, chef d’établissement, est très profitable si les principes sont fixés clairement. La participation des pairs permet de développer une approche croisée de l’ensemble des cadres sur l’objet projet d’établissement. La plus value est aussi importante pour l’évaluateur que pour l’évalué . Elle constitue donc en plus une opportunité de co-formation des cadres.
Pour éviter la dérive de l’évaluation du pilote au travers du projet, il est possible de déterminer, en collaboration avec le chef d’établissement, les objets du projet qui seront évalués. En effet, il est impossible d’évaluer en profondeur l’ensemble du projet donc, dans le choix des objets à évaluer, il est indispensable de rejeter l’axe « évaluation du pilotage du projet ». Cela n’empêchera pas le chef d’établissement au travers des objets évalués de prendre du recul par rapport à son pilotage.
Si la période d’audit dure entre 3 et 6 mois, il est impératif de préparer l’établissement à évaluer la continuité, la cohérence et la pertinence de son projet dans le temps.
Il faut que l’audit fournisse une « technologie de l’évaluation » à l’établissement : on s’inscrit donc ainsi dans un concept d’audit à visée participative permettant de générer une véritable culture de l’évaluation.
Un bon audit est par définition adapté à chaque projet d’établissement. Même si la méthodologie est la même pour l’ensemble des projets, l’audit, par le fait qu’il porte sur des objets spécifiques, est donc unique.
Les acteurs ne peuvent adhérer à un projet que s’ils ont de la reconnaissance.
De quelle façon sont choisies les équipes d’auditeurs à Bordeaux ?
- La prise en compte de la GRH dans l’éducation nationale n’est pas une évidence. Toutefois les personnels de direction sont en première ligne pour, de différentes façons, être les animateurs d’équipe susceptibles de fédérer des motivations.
- Sur Bordeaux le choix a été fait par cooptation. Toutefois, au delà du choix des équipes, ce sont les outils qui sont importants. Il faut créer de véritables compétences en ingiénerie de l’évaluation, donc assurer une véritable formation des cadres évaluateurs. C’est un long cheminement pour acquérir de l’expertise.
- Pour la mesure de la mission d’éducation, c’est par l’évaluation des dysfonctionnements (par exemple la violence) que l’on va revenir sur des notions de citoyenneté.
- Certes, il est difficile de mesurer la plus valeur, mais il peut y avoir création d’indices, d’indicateurs permettant de cerner la plus valeur générée et l’évolution de cet apport de valeur dans le temps.
- Bien sûr il faut prendre en compte les différentes rationalités d’évaluation si l’on veut pas s’arrêter à une évaluation purement managériale. Dans l’évaluation des institutions, on ne peut se limiter au concept d’évaluation d’objectifs. Une institution a des missions et l’on ne peut ignorer cette dimension dans la conception du projet et dans son évaluation. Cela est d’autant plus important que l’on n’a plus actuellement de système de valeurs et de références communes. Il faut donc une évaluation intelligente allant au delà du simple contrôle qui, lui, peut suffire quand les références sont communes et inébranlables. Cette évaluation permet de s’interroger, de savoir « où va-t-on ensemble ». Peut être peut on, alors, penser que la perte de socle commun de valeurs n’est pas un point négatif mais que, par une évaluation intelligente, elle même productrice de valeur, on peut reconstruire en permanence une citoyenneté reconnue par tous.
Il faut être capable de passer d’indicateurs économiques de rendement à des indicateurs permettant de cerner comment avec un budget on remplit les missions de l’Etat. Les cadres intermédiaires devront pouvoir à la fois être capables de veiller à la tenue correcte des comptes et apprécier comment la consommation des moyens est en conformité avec les choix politiques faits sur les missions de l’éducation nationale.