Rendre transparentes les échelles et pondérations dans les procédures d’évaluation

Pourquoi les échelles et les pondérations déterminent l’acceptation d’une évaluation

Toute évaluation – qu’il s’agisse d’une note d’examen, d’une évaluation de programme ou de l’appréciation d’une activité de surveillance – repose sur une base de référence, des niveaux et des pondérations. Les critères d’évaluation constituent, selon la définition de l’Institut fédéral des hautes études en formation professionnelle (IFFP), la base de référence sur laquelle s’appuie l’évaluation de la qualité ou de l’adéquation d’un objet d’évaluation.

Si cette base de référence reste implicite, le résultat fournit certes un chiffre ou un niveau, mais aucune affirmation vérifiable. Les tiers ne peuvent alors ni identifier ce qui a été mesuré, ni comprendre pourquoi un aspect compte plus qu’un autre.

Pour l’action administrative, le principe de transparence de la Confédération sert de référence. La loi fédérale sur le principe de transparence dans l’administration régit la publicité des activités administratives : toute personne a fondamentalement le droit de consulter les documents officiels sans avoir à justifier d’un intérêt.

Cette loi vise à promouvoir la transparence et la traçabilité de l’action administrative, renforçant ainsi la confiance envers l’État et les autorités. Elle rend l’action administrative compréhensible et traçable, permettant ainsi un contrôle effectif des autorités étatiques par les citoyennes et citoyens.

Il convient de noter la modalité d’application : la loi sur la transparence régit l’accès à l’information sur demande (information passive) ; elle ne régit pas l’information active d’office. Transposé aux évaluations, cela signifie que les échelles, les seuils et les pondérations ne deviennent pas automatiquement visibles.

Ils doivent être activement divulgués – préalablement auprès des personnes concernées, et dans la documentation destinée aux tiers qui souhaitent ultérieurement comprendre ou vérifier la décision. Le principe de transparence n’est pas contradictoire avec la protection des données ; lors de sa mise en œuvre, les prescriptions de la loi sur la protection des données sont respectées.

Fondements du principe de transparence dans l’administration suisse

Les critères précèdent l’échelle

L’ordre est contraignant : d’abord les critères, ensuite les niveaux. Selon le processus d’évaluation de l’IFFP, la fixation des critères d’évaluation intervient à la quatrième étape et constitue une condition préalable à toute évaluation systématique et équitable. Les aspects d’évaluation jugés pertinents doivent être rendus mesurables, c’est-à-dire opérationnalisés. « Mesurable » ne signifie pas nécessairement chiffré : un critère peut être décrit par une caractéristique observable, un produit, une action ou un niveau formulé textuellement.

À chaque critère opérationnalisé correspond un point de critère, c’est-à-dire une valeur seuil. Ce « point de bascule » défini, où l’évaluation passe de positif à négatif ou de positif à très positif, peut être décrit par un chiffre ou par un objectif ou état intermédiaire formulé textuellement. La valeur seuil constitue ainsi le lien entre le critère et l’échelle : elle détermine quelle appréciation s’applique à quel endroit au sein d’une échelle. Pour chaque question évaluative et attributive, il doit exister au moins un critère opérationnalisé.

Quatre sources génériques peuvent être examinées systématiquement ; elles servent de liste de contrôle pour identifier les critères. (1) Le cadre de référence dans lequel les acteurs situent l’objet d’évaluation, par exemple la mission d’une organisation ou une théorie des sciences sociales. (2) Le consensus ou le discours sociétal sur le droit, l’éthique et les valeurs sociales.

(3) Un modèle logique, permettant de déterminer des critères concernant la cohérence conceptuelle, la fidélité de mise en œuvre et la capacité d’impact. (4) La littérature sur l’évaluation, dont divers critères peuvent être repris et dont la transférabilité pour l’évaluation planifiée peut être vérifiée.

À l’école, les objectifs d’apprentissage remplissent la fonction de critères. Dans les systèmes d’information scolaire correspondants, les objectifs d’apprentissage sont enregistrés et structurés.

Les rubriques sont fixées et les objectifs d’apprentissage définis avant toute évaluation. Cette structure est la condition préalable pour qu’une appréciation ne dépende pas de l’impression globale d’un examen. Elle s’appuie sur des objets nommés.

Définir les niveaux, nommer les points de bascule et choisir la représentation

Les échelles ne sont pas définies de manière générale, mais adaptées aux exigences de l’organisation concernée. Dans la documentation d’un système d’information scolaire répandu (PUPIL), cela est décrit ainsi : chaque autorité scolaire peut définir des échelles individuelles adaptées aux besoins de l’école respective ; les enseignants appliquent l’échelle définie directement aux objectifs d’apprentissage. L’échelle est ainsi une décision de l’organisation, et non un choix de la personne évaluante individuelle – seule cette approche permet de comparer les résultats entre classes, départements ou sites.

L’utilité d’une échelle propre dépend du nombre et de la désignation des niveaux. Chaque niveau nécessite un point de bascule descriptif : la valeur seuil définie précédemment, qui détermine quelle appréciation s’applique à quel endroit au sein de l’échelle. Celui qui se contente de numéroter les niveaux sans décrire les points de bascule déplace l’interprétation dans l’esprit de la personne évaluante – précisément là où la transparence se perd.

Selon le système, plusieurs formes de représentation sont disponibles. Elles conviennent différemment bien pour la vue d’ensemble, l’impression ou le retour d’information.

Barres : La longueur des barres est adaptée selon le niveau d’évaluation ; les barres peuvent être colorées. Croix : Une croix est apposée pour chaque niveau d’évaluation. Cercles : Ils apparaissent dans différentes couleurs pour différencier visuellement les niveaux.

Textes : Le niveau choisi est affiché sous forme de texte. Symboles : Chaque niveau d’évaluation est indiqué par une image ou un pictogramme approprié. Pour les symboles, une légende en bas de page explique la signification – cette légende n’est pas un accessoire, mais fait partie intégrante de l’évaluation.

La différence avec une simple note d’examen réside dans la résolution : l’évaluation basée sur les objectifs d’apprentissage ne capture pas seulement les résultats globaux d’examens individuels, mais rend tout le processus d’apprentissage dans différents domaines compréhensible et clair. Plus la représentation est différenciée, plus la légende est importante, car la couleur, le symbole ou la longueur de la barre n’ont aucune signification sans explication.

Formes de représentation dans l’évaluation : avantages et inconvénients

Fixer les pondérations – et ce, avant la collecte des données

Le moment de la fixation est un indicateur de qualité. Selon l’IFFP, les critères opérationnalisés devraient être fixés avant le début de la collecte des données, au plus tard avant le début de l’analyse des données. Cela permet d’éviter que la pondération des critères soit ajustée ou que les points de critère soient déplacés a posteriori, par exemple dans un but de justification, sur la base de la collecte et de l’analyse des données ou de la situation d’intérêts de certains groupes.

Ce moment est particulièrement pertinent lorsque l’évaluation doit servir à une décision de principe ou à la reddition de comptes. Dans les deux cas, l’évaluation doit s’appuyer sur des critères opérationnalisés et dotés de valeurs seuils. Il en va de même pour les évaluations dont découlent des droits – par exemple lorsqu’un niveau est lié à une admission, une promotion ou l’octroi de moyens.

Les critères et les pondérations ne doivent en aucun cas être fixés ad hoc, de manière purement intuitive, méthodologiquement non contrôlée ou non traçable. Comme garantie, les parties prenantes et les personnes concernées sont impliquées : idéalement, la liste définitive des critères, dans leur étendue et leur pondération, est élaborée avec la participation des différentes parties prenantes et personnes concernées. Les points de critère devraient également être fixés de manière traçable, en tenant compte du contexte et des particularités de l’objet d’évaluation.

Clarifier les attentes plutôt que d’expliquer les notes a posteriori

La transparence est une tâche de communication qui commence avant la collecte des prestations. Selon le concept d’évaluation et d’encouragement pour un enseignement orienté vers les compétences (B&F), les objets d’apprentissage, les attentes en matière de compétences et les exigences de performance peuvent être rendus transparents, clarifiés conjointement et convenus. Trois actions sont ainsi établies : divulguer, clarifier, convenir – et ce, avant que la tâche ne soit traitée ou que le projet ne démarre, et non lors de la restitution.

Les rôles sont distribués. La brochure d’information « Évaluation et bulletin » du canton de Zurich s’adresse aux directions d’établissement et aux enseignantes et enseignants, et situe les directions d’établissement dans leur rôle de pilotage pédagogique de l’école. Pour la pratique, cela signifie : la direction d’établissement est responsable des échelles, des procédures et de l’égalité de traitement entre les classes ; l’enseignante ou l’enseignant les met en œuvre auprès des apprenantes et apprenants et clarifie les attentes dans la matière concrète.

Étant donné que la loi sur la transparence ne régit que l’accès sur demande et non l’information d’office, la divulgation préalable est une décision organisationnelle. Celui qui ne communique les critères, les niveaux et les pondérations que sur demande provoque une discussion sur la note plutôt que sur la prestation. Celui qui les communique au début de la phase d’apprentissage en fait partie intégrante de la consigne : les apprenantes et apprenants savent alors quels critères entrent dans l’évaluation et avec quel poids.

Documenter et justifier de manière traçable

Dans un document uniforme, il convient de consigner : les critères opérationnalisés, leurs valeurs seuils, les niveaux d’échelle utilisés avec leur forme de représentation et leur légende, ainsi que les pondérations avec le moment de leur fixation. La valeur seuil doit être formulée avec justification, afin que des tiers puissent comprendre pourquoi un résultat donné obtient un niveau spécifique.

La documentation n’est pas seulement une bonne pratique, mais une condition préalable à l’utilisation. S’appuyer sur des critères opérationnalisés et dotés de valeurs seuils est essentiel lorsque l’évaluation est destinée à des décisions de principe et à la reddition de comptes. Si la base écrite fait défaut, il est impossible de prouver que la pondération était fixée avant l’analyse, ni qu’elle n’a pas été ajustée a posteriori.

Selon le principe de transparence, la transparence et la traçabilité de l’action administrative doivent être favorisées ; les documents officiels doivent être accessibles sur demande sans justification d’intérêt. Le Contrôle fédéral des finances a par exemple effectué, dans le cadre de son programme annuel, un audit annoncé auprès du Secrétariat d’État à la formation, à la recherche et à l’innovation.

La base en était les articles 6 et 8 de la loi fédérale sur le Contrôle fédéral des finances ; le concept de surveillance dans le domaine des subventions à la formation professionnelle a été évalué. Pour les évaluations portant sur des personnes, il convient de respecter les prescriptions de la loi sur la protection des données ; selon le Préposé fédéral à la protection des données et à la transparence, le principe de transparence et la protection des données ne se contredisent pas.

Liste de contrôle pour la pratique

Liste de contrôle pour la pratique : assurer des procédures d’évaluation transparentes