Skalen und Gewichtungen in Bewertungsverfahren transparent machen

Weshalb Skalen und Gewichtungen über die Akzeptanz einer Bewertung entscheiden

Jede Bewertung – eine Prüfungsnote, eine Programmevaluation, die Beurteilung einer Aufsichtstätigkeit – stützt sich auf eine Bezugsbasis, auf Stufen und auf Gewichtungen. Bewertungskriterien bilden nach der Definition des Eidgenössischen Hochschulinstituts für Berufsbildung (EHB) die Bezugsbasis, auf die sich die Bewertung der Güte oder Tauglichkeit eines Evaluationsgegenstandes stützt.

Bleibt diese Bezugsbasis implizit, liefert das Ergebnis zwar eine Zahl oder eine Stufe, aber keine überprüfbare Aussage. Aussenstehende erkennen dann weder, was gemessen wurde, noch, warum ein Aspekt stärker zählt als ein anderer.

Für Verwaltungshandeln ist das Öffentlichkeitsprinzip des Bundes die Referenz. Das Bundesgesetz über das Öffentlichkeitsprinzip in der Verwaltung regelt die Öffentlichkeit der Verwaltungstätigkeit: Jede Person hat grundsätzlich Anspruch darauf, amtliche Dokumente ohne Interessennachweis einzusehen.

Das Gesetz soll Transparenz und Nachvollziehbarkeit der Verwaltungstätigkeit fördern und zusätzliches Vertrauen in Staat und Behörden schaffen. Es soll Verwaltungshandeln durchschaubar und nachvollziehbar machen und damit eine wirksame Kontrolle der staatlichen Behörden durch Bürgerinnen und Bürger ermöglichen.

Zu beachten ist die Ausgestaltung: Das Öffentlichkeitsgesetz regelt den Informationszugang auf Anfrage (passive Information); die aktive Information von Amtes wegen regelt es nicht. Auf Bewertungen übertragen heisst das: Skalen, Schwellenwerte und Gewichtungen werden nicht automatisch sichtbar.

Sie müssen aktiv offengelegt werden – vorgängig gegenüber den Betroffenen, in der Dokumentation gegenüber Dritten, die den Entscheid später nachvollziehen oder prüfen. Das Öffentlichkeitsprinzip steht dabei nicht in Widerspruch zum Datenschutz; bei der Umsetzung werden die Vorgaben des Datenschutzgesetzes beachtet.

Grundlagen des Öffentlichkeitsprinzips in der Schweizer Verwaltung

Vor der Skala stehen die Kriterien

Die Reihenfolge ist verbindlich: zuerst die Kriterien, dann die Stufen. Nach dem Evaluationsprozess des EHB geschieht die Festlegung der Bewertungskriterien im vierten Schritt und ist Voraussetzung für jede systematische und faire Bewertung. Die als relevant erachteten Bewertungsaspekte müssen messbar gemacht, das heisst operationalisiert werden. «Messbar» bedeutet dabei nicht zwingend eine Zahl: Ein Kriterium kann über ein beobachtbares Merkmal, ein Produkt, eine Handlung oder ein textlich gefasstes Niveau beschrieben werden.

Zu jedem operationalisierten Kriterium gehört ein Kriterienpunkt, also ein Schwellenwert. Dieser definierte «Wendepunkt», an dem die Bewertung von positiv in negativ oder von positiv zu sehr positiv wechselt, kann mit einer Zahl oder mit einem textlich gefassten Zielzu- beziehungsweise ‑zwischenstand beschrieben werden. Der Schwellenwert ist damit das Bindeglied zwischen Kriterium und Skala: Er legt fest, wo innerhalb einer Skala welche Bewertung greift. Für jede evaluative und attributive Fragestellung muss mindestens ein operationalisiertes Kriterium vorliegen.

Vier generische Quellen lassen sich systematisch prüfen; sie dienen als Checkliste, um Kriterien zu identifizieren. (1) Der Referenzrahmen, in dem die Akteure den Evaluationsgegenstand verorten, etwa das Leitbild einer Organisation oder eine sozialwissenschaftliche Theorie. (2) Der gesellschaftliche Konsens oder Diskurs über Recht, Ethik und soziale Werte.

(3) Ein Logisches Modell, mit dem sich Kriterien bezüglich Konzeptkonsistenz, Umsetzungstreue und Wirkfähigkeit bestimmen lassen. (4) Die Evaluationsliteratur, aus der verschiedene Kriterien übernommen und auf ihre Übertragbarkeit für die geplante Evaluation geprüft werden können.

In der Schule übernehmen Lernziele die Funktion der Kriterien. In entsprechenden Schulinformationssystemen werden Lernziele erfasst und strukturiert.

Überschriften werden festgelegt und Lernziele definiert, bevor beurteilt wird. Diese Struktur ist die Voraussetzung dafür, dass eine Beurteilung nicht am Gesamteindruck einer Prüfung hängt. Sie hängt an benannten Gegenständen.

Stufen bilden, Wendepunkte benennen und Darstellung wählen

Skalen werden nicht generell, sondern passend zu den Anforderungen der jeweiligen Organisation definiert. In der Dokumentation eines verbreiteten Schulinformationssystems (PUPIL) wird dies so beschrieben: Jeder Schulträger kann individuelle Skalen definieren, die zu den Anforderungen der jeweiligen Schule passen; Lehrpersonen wenden die festgelegte Skala direkt auf die Lernziele an. Die Skala ist damit eine Setzung der Organisation, nicht eine Wahl der einzelnen beurteilenden Person – nur so sind Ergebnisse zwischen Klassen, Abteilungen oder Standorten vergleichbar.

Der Nutzen einer eigenen Skala hängt an der Zahl und der Benennung der Stufen. Jede Stufe braucht einen beschreibenden Wendepunkt: den zuvor definierten Schwellenwert, der festlegt, wo innerhalb der Skala welche Bewertung greift. Wer Stufen nur nummeriert, ohne die Wendepunkte zu beschreiben, verlagert die Interpretation in den Kopf der beurteilenden Person – genau dorthin, wo Transparenz verloren geht.

Für die Darstellung stehen je nach System mehrere Formen zur Verfügung. Sie eignen sich unterschiedlich gut für Übersicht, Ausdruck oder Rückmeldung.

Balken: Die Balkenlänge wird je nach Bewertungsstufe angepasst; die Balken können farblich gestaltet werden. Kreuze: Für jede Bewertungsstufe wird ein Kreuz gesetzt. Kreise: Sie erscheinen in unterschiedlichen Farben zur anschaulichen Differenzierung der Stufen.

Texte: Die gewählte Stufe wird als Text ausgegeben. Symbole: Jede Bewertungsstufe wird durch ein passendes Bild oder Piktogramm angezeigt. Bei Symbolen erklärt eine Legende am Ende der Seite die Bedeutung – diese Legende ist nicht Zubehör, sondern Bestandteil der Bewertung.

Der Unterschied zu einer reinen Prüfungsnote liegt in der Auflösung: Beurteilung mit Lernzielen erfasst nicht nur die Gesamtresultate einzelner Prüfungen, sondern den gesamten Lernprozess in verschiedenen Bereichen nachvollziehbar und übersichtlich. Je differenzierter die Darstellung, desto wichtiger ist die Legende, weil Farbe, Symbol oder Balkenlänge ohne Erklärung keine Bedeutung tragen.

Darstellungsformen in der Beurteilung: Vor- und Nachteile

Gewichtungen festlegen – und zwar bevor Daten erhoben werden

Der Zeitpunkt der Festlegung ist ein Qualitätsmerkmal. Operationalisierte Kriterien sollten nach dem EHB vor Beginn der Datenerhebung, allerspätestens aber vor Beginn der Datenauswertung festgelegt werden. Damit wird verhindert, dass die Gewichtung von Kriterien angepasst oder Kriterienpunkte aufgrund der Datenerhebung und ‑analyse oder der Interessenslage bestimmter Gruppen nachträglich, zum Beispiel in Rechtfertigungsabsicht, verschoben werden.

Besonders relevant ist dieser Zeitpunkt, wenn die Evaluation für einen Grundsatzentscheid oder zur Rechenschaftslegung verwendet werden soll. In beiden Fällen muss die Bewertung auf operationalisierten und mit Schwellenwerten versehenen Kriterien abgestützt sein. Dasselbe gilt für Bewertungen, aus denen Ansprüche entstehen – etwa wenn an eine Stufe eine Zulassung, eine Beförderung oder eine Mittelzusage geknüpft wird.

Kriterien und Gewichtungen dürfen keinesfalls ad hoc, rein intuitiv, methodisch unkontrolliert oder nicht nachvollziehbar festgelegt werden. Als Absicherung dient der Einbezug der Beteiligten und Betroffenen: Idealerweise entsteht die definitive Liste der Kriterien in Umfang und Gewichtung unter Einbezug der verschiedenen Beteiligten und Betroffenen. Die Kriterienpunkte sollten ebenfalls nachvollziehbar und unter Berücksichtigung des Kontextes und der Besonderheiten des Evaluationsgegenstandes festgelegt werden.

Erwartungen klären statt nachträglich Noten erklären

Transparenz ist eine Kommunikationsaufgabe, die vor der Leistungserhebung beginnt. Nach dem Beurteilungs- und Förderkonzept für kompetenzorientierten Unterricht (B&F) können Lerngegenstände, Kompetenzerwartungen und Leistungsanforderungen transparent gemacht, miteinander geklärt und vereinbart werden. Damit stehen drei Handlungen fest: offenlegen, klären, vereinbaren – und zwar bevor die Aufgabe bearbeitet oder das Projekt gestartet wird, nicht anlässlich der Rückgabe.

Die Rollen sind verteilt. Die Informationsbroschüre «Beurteilung und Zeugnis» des Kantons Zürich richtet sich an Schulleitungen und Lehrpersonen und verortet die Schulleitungen in ihrer Rolle in der pädagogischen Schulführung. Für die Praxis heisst das: Die Schulleitung verantwortet Skalen, Verfahren und die Gleichbehandlung über Klassen hinweg; die Lehrperson setzt sie gegenüber den Lernenden um und klärt die Erwartungen im konkreten Fach.

Weil das Öffentlichkeitsgesetz nur den Zugang auf Anfrage regelt und die Information von Amtes wegen nicht regelt, ist die vorgängige Offenlegung eine organisatorische Entscheidung. Wer Kriterien, Stufen und Gewichtungen erst auf Verlangen herausgibt, produziert eine Diskussion über die Note statt über die Leistung. Wer sie zu Beginn der Lernphase kommuniziert, macht sie zum Bestandteil der Aufgabenstellung: Lernende wissen dann, welche Kriterien mit welchem Gewicht in die Bewertung eingehen.

Nachvollziehbar dokumentieren und begründen

Festzuhalten sind in einem einheitlichen Dokument: die operationalisierten Kriterien, ihre Schwellenwerte, die verwendeten Skalenstufen mit Darstellungsform und Legende sowie die Gewichtungen mit dem Zeitpunkt ihrer Festlegung. Der Schwellenwert ist dabei begründet zu formulieren, damit Dritte erkennen können, warum ein bestimmtes Ergebnis eine bestimmte Stufe erhält.

Die Dokumentation ist nicht nur gute Praxis, sondern Voraussetzung für die Verwendung. Bewertungen auf operationalisierte und mit Schwellenwerten versehene Kriterien abzustützen, ist bei vorgesehener Verwendung für Grundsatzentscheide und bei der Rechenschaftslegung essenziell. Fehlt die schriftliche Grundlage, lässt sich weder belegen, dass die Gewichtung vor der Auswertung feststand, noch, dass sie nicht nachträglich angepasst wurde.

Nach dem Öffentlichkeitsprinzip soll die Transparenz und Nachvollziehbarkeit der Verwaltungstätigkeit gefördert werden; amtliche Dokumente sind auf Anfrage ohne Interessennachweis zugänglich zu machen. Die Eidgenössische Finanzkontrolle hat etwa im Rahmen ihres Jahresprogramms eine angemeldete Prüfung beim Staatssekretariat für Bildung, Forschung und Innovation durchgeführt.

Grundlage waren Artikel 6 und 8 des Bundesgesetzes über die Eidgenössische Finanzkontrolle; beurteilt wurde das Aufsichtskonzept im Bereich der Subventionen für die Berufsbildung. Bei personenbezogenen Beurteilungen ist zu beachten, dass die Vorgaben des Datenschutzgesetzes eingehalten werden; Öffentlichkeitsprinzip und Datenschutz stehen gemäss dem Eidgenössischen Datenschutz- und Öffentlichkeitsbeauftragten nicht in Widerspruch zueinander.

Checkliste für die Praxis

Checkliste für die Praxis: Transparente Bewertungsverfahren sicherstellen