Metodologia di valutazione
Rendere trasparenti scale e ponderazioni nei processi di valutazione
Ogni valutazione – un voto d’esame, una valutazione di programma, la valutazione di un’attività di vigilanza – si basa su un riferimento, su livelli e su ponderazioni.
Perché scale e ponderazioni determinano l’accettazione di una valutazione
Ogni valutazione – un voto d’esame, una valutazione di programma, la valutazione di un’attività di vigilanza – si basa su un riferimento, su livelli e su ponderazioni. I criteri di valutazione costituiscono, secondo la definizione dell’Istituto federale svizzero per la formazione professionale (IFFP), il riferimento su cui si fonda la valutazione della qualità o dell’idoneità di un oggetto di valutazione.
Se questo riferimento rimane implicito, il risultato fornisce sì un numero o un livello, ma nessuna affermazione verificabile. Chi è esterno al processo non riconosce né cosa sia stato misurato, né perché un aspetto conti più di un altro.
Per l’azione amministrativa, il principio di trasparenza della Confederazione funge da riferimento. La Legge federale sul principio di trasparenza nell’amministrazione regola la pubblicità dell’attività amministrativa: ogni persona ha fondamentalmente diritto di consultare i documenti ufficiali senza dover dimostrare un interesse.
La legge mira a promuovere la trasparenza e la tracciabilità dell’attività amministrativa e a creare ulteriore fiducia nello Stato e nelle autorità. Deve rendere l’azione amministrativa comprensibile e tracciabile, consentendo così un controllo efficace delle autorità statali da parte dei cittadini.
Va considerata la modalità di attuazione: la Legge sulla trasparenza regola l’accesso alle informazioni su richiesta (informazione passiva); non regola invece l’informazione attiva d’ufficio. Trasposto alle valutazioni, ciò significa che scale, valori soglia e ponderazioni non diventano automaticamente visibili.
Devono essere attivamente resi pubblici – preventivamente nei confronti degli interessati, nella documentazione nei confronti di terzi che in seguito dovranno comprendere o verificare la decisione. Il principio di trasparenza non è in contraddizione con la protezione dei dati; nell’attuazione vengono rispettate le prescrizioni della Legge sulla protezione dei dati.
Basi del principio di trasparenza nell’amministrazione svizzera
- LeggeLegge federale sul principio di trasparenza nell’amministrazione
- AccessoOgni persona ha diritto alla consultazione senza dover dimostrare un interesse
- Informazione attivaNon prevista – solo accesso passivo su richiesta
- Protezione dei datiIl principio di trasparenza non è in contraddizione con la protezione dei dati
Prima della scala vengono i criteri
La sequenza è vincolante: prima i criteri, poi i livelli. Secondo il processo di valutazione dell’IFFP, la definizione dei criteri di valutazione avviene al quarto passo ed è presupposto per ogni valutazione sistematica ed equa. Gli aspetti di valutazione ritenuti rilevanti devono essere resi misurabili, ovvero operazionalizzati. «Misurabile» non significa necessariamente un numero: un criterio può essere descritto tramite una caratteristica osservabile, un prodotto, un’azione o un livello formulato testualmente.
A ogni criterio operazionalizzato appartiene un punto di criterio, ossia un valore soglia. Questo definito «punto di svolta», in cui la valutazione passa da positiva a negativa o da positiva a molto positiva, può essere descritto con un numero o con un obiettivo o stato intermedio formulato testualmente. Il valore soglia è quindi il collegamento tra criterio e scala: stabilisce dove all’interno di una scala si applica quale valutazione. Per ogni quesito valutativo e attributivo deve esistere almeno un criterio operazionalizzato.
Quattro fonti generiche possono essere verificate sistematicamente; servono come lista di controllo per identificare i criteri. (1) Il quadro di riferimento in cui gli attori collocano l’oggetto di valutazione, ad esempio la missione di un’organizzazione o una teoria delle scienze sociali. (2) Il consenso sociale o il discorso su diritto, etica e valori sociali.
(3) Un modello logico, con il quale si possono determinare criteri riguardo alla coerenza concettuale, alla fedeltà di implementazione e alla capacità di impatto. (4) La letteratura sulla valutazione, dalla quale si possono adottare diversi criteri e verificarne la trasferibilità per la valutazione pianificata.
Nella scuola, gli obiettivi di apprendimento assumono la funzione dei criteri. Nei corrispondenti sistemi informativi scolastici gli obiettivi di apprendimento vengono registrati e strutturati.
Le intestazioni vengono stabilite e gli obiettivi di apprendimento definiti prima di procedere alla valutazione. Questa struttura è il presupposto affinché una valutazione non dipenda dall’impressione complessiva di un esame. Dipende da oggetti denominati.
Formare livelli, nominare punti di svolta e scegliere la rappresentazione
Le scale non vengono definite in generale, ma in modo adeguato ai requisiti della rispettiva organizzazione. Nella documentazione di un diffuso sistema informativo scolastico (PUPIL) ciò viene descritto così: ogni ente gestore scolastico può definire scale individuali, adeguate ai requisiti della rispettiva scuola; i docenti applicano la scala stabilita direttamente agli obiettivi di apprendimento. La scala è quindi una determinazione dell’organizzazione, non una scelta della singola persona valutante – solo così i risultati sono comparabili tra classi, reparti o sedi.
L’utilità di una scala propria dipende dal numero e dalla denominazione dei livelli. Ogni livello necessita di un punto di svolta descrittivo: il valore soglia precedentemente definito, che stabilisce dove all’interno della scala si applica quale valutazione. Chi numera i livelli senza descrivere i punti di svolta sposta l’interpretazione nella testa della persona valutante – esattamente lì dove la trasparenza va persa.
Per la rappresentazione sono disponibili diverse forme a seconda del sistema. Si prestano meglio o peggio per la panoramica, l’espressione o il feedback.
Barre: la lunghezza delle barre viene adattata a seconda del livello di valutazione; le barre possono essere colorate. Croci: per ogni livello di valutazione viene posta una croce. Cerchi: appaiono in colori diversi per differenziare visivamente i livelli.
Testi: il livello scelto viene emesso come testo. Simboli: ogni livello di valutazione viene visualizzato attraverso un’immagine o un pittogramma adeguato. Con i simboli, una legenda alla fine della pagina spiega il significato – questa legenda non è un accessorio, ma parte integrante della valutazione.
La differenza rispetto a un semplice voto d’esame sta nella risoluzione: la valutazione con obiettivi di apprendimento non registra solo i risultati complessivi dei singoli esami, ma rende comprensibile e chiaro l’intero processo di apprendimento in diversi ambiti. Più differenziata è la rappresentazione, più importante è la legenda, perché colore, simbolo o lunghezza della barra non hanno significato senza spiegazione.
Forme di rappresentazione nella valutazione: vantaggi e svantaggi
- BarreAdattamento della lunghezza a seconda del livello di valutazione; differenziazione cromatica possibile. Buone per panoramica e confronto.
- CrociUna croce per livello; semplici da gestire, ma poco differenziate.
- CerchiColori diversi per la distinzione visiva dei livelli; accattivanti, ma comprensibili solo con legenda.
- TestiEmissione diretta del livello come parola; chiara e semplice, ma meno accattivante visivamente.
- SimboliPittogrammi per i livelli; illustrativi, ma richiedono una legenda per l’interpretazione.
Stabilire le ponderazioni – e farlo prima della raccolta dei dati
Il momento della definizione è un indicatore di qualità. Secondo l’IFFP, i criteri operazionalizzati dovrebbero essere stabiliti prima dell’inizio della raccolta dei dati, al più tardi però prima dell’inizio dell’analisi dei dati. In questo modo si evita che la ponderazione dei criteri venga adattata o che i punti di criterio vengano spostati successivamente, ad esempio a scopo giustificativo, sulla base della raccolta e analisi dei dati o della situazione degli interessi di determinati gruppi.
Questo momento è particolarmente rilevante quando la valutazione deve essere utilizzata per una decisione di principio o per il rendiconto. In entrambi i casi, la valutazione deve basarsi su criteri operazionalizzati e dotati di valori soglia. Lo stesso vale per le valutazioni da cui derivano pretese – ad esempio quando a un livello è vincolata un’ammissione, una promozione o l’assegnazione di mezzi.
Criteri e ponderazioni non devono assolutamente essere stabiliti ad hoc, puramente intuitivamente, in modo metodologicamente incontrollato o non tracciabile. Come garanzia serve il coinvolgimento dei partecipanti e degli interessati: idealmente, la lista definitiva dei criteri in termini di portata e ponderazione nasce con il coinvolgimento dei vari partecipanti e interessati. Anche i punti di criterio dovrebbero essere stabiliti in modo tracciabile e tenendo conto del contesto e delle peculiarità dell’oggetto di valutazione.
Chiarire le aspettative invece di spiegare i voti a posteriori
La trasparenza è un compito comunicativo che inizia prima della rilevazione delle prestazioni. Secondo il concetto di valutazione e promozione per l’insegnamento orientato alle competenze (B&F), gli oggetti di apprendimento, le aspettative di competenza e i requisiti di prestazione possono essere resi trasparenti, chiariti reciprocamente e concordati. In questo modo sono fissate tre azioni: rendere pubblico, chiarire, concordare – e farlo prima che il compito venga elaborato o il progetto avviato, non al momento della restituzione.
I ruoli sono distribuiti. L’opuscolo informativo «Valutazione e pagella» del Cantone Zurigo si rivolge alle direzioni scolastiche e ai docenti e colloca le direzioni scolastiche nel loro ruolo di direzione pedagogica della scuola. Per la pratica questo significa: la direzione scolastica è responsabile delle scale, delle procedure e del trattamento paritario tra le classi; il docente le attua nei confronti degli allievi e chiarisce le aspettative nella materia concreta.
Poiché la Legge sulla trasparenza regola solo l’accesso su richiesta e non regola l’informazione d’ufficio, la pubblicazione preventiva è una decisione organizzativa. Chi rende pubblici criteri, livelli e ponderazioni solo su richiesta, produce una discussione sul voto invece che sulla prestazione. Chi li comunica all’inizio della fase di apprendimento, li rende parte integrante della consegna del compito: gli allievi sanno allora quali criteri entrano nella valutazione con quale peso.
Documentare in modo tracciabile e motivare
In un documento uniforme vanno annotati: i criteri operazionalizzati, i loro valori soglia, i livelli di scala utilizzati con forma di rappresentazione e legenda, nonché le ponderazioni con il momento della loro definizione. Il valore soglia va formulato in modo motivato, affinché terzi possano riconoscere perché un determinato risultato riceve un determinato livello.
La documentazione non è solo buona prassi, ma presupposto per l’utilizzo. Basare le valutazioni su criteri operazionalizzati e dotati di valori soglia è essenziale quando è previsto l’uso per decisioni di principio e per il rendiconto. Se manca la base scritta, non si può dimostrare né che la ponderazione fosse stabilita prima dell’analisi, né che non sia stata adattata successivamente.
Secondo il principio di trasparenza, la trasparenza e la tracciabilità dell’attività amministrativa devono essere promosse; i documenti ufficiali devono essere resi accessibili su richiesta senza dimostrazione di interesse. La Controllo finanziario federale ha ad esempio effettuato, nell’ambito del suo programma annuale, una verifica annunciata presso la Segreteria di Stato per la formazione, la ricerca e l’innovazione.
Base erano gli articoli 6 e 8 della Legge federale sul Controllo finanziario federale; è stato valutato il concetto di vigilanza nel settore dei sussidi per la formazione professionale. Nelle valutazioni personali va osservato il rispetto delle prescrizioni della Legge sulla protezione dei dati; principio di trasparenza e protezione dei dati non sono in contraddizione tra loro secondo l’Incaricato federale della protezione dei dati e della trasparenza.
Lista di controllo per la pratica
- Operazionalizzare i criteriper ogni quesito di valutazione almeno un criterio reso misurabile, verificare le fonti tramite quadro di riferimento, discorso sociale, modello logico e letteratura sulla valutazione. 2) Descrivere i valori soglia: annotare il punto di svolta per ogni criterio.
- Definire scala e rappresentazioneadattare i livelli ai requisiti dell’organizzazione, scegliere la forma di rappresentazione (barre, croci, cerchi, testi, simboli) e allegare la legenda. 4) Fissare le ponderazioni: prima dell’inizio della raccolta dei dati, al più tardi prima dell’inizio dell’analisi dei dati, per escludere adattamenti successivi a scopo giustificativo.
- Coinvolgere i partecipantielaborare la lista definitiva dei criteri in portata e ponderazione con i partecipanti e gli interessati e stabilire i punti di criterio in base al contesto. 6) Documentare e comunicare: motivare per iscritto criteri, valori soglia, livelli e ponderazioni e renderli pubblici preventivamente nei confronti degli interessati – non ad hoc, non puramente intuitivo, non metodologicamente incontrollato.
Lista di controllo per la pratica: garantire processi di valutazione trasparenti
- 1) Operazionalizzare i criteriPer ogni quesito di valutazione almeno un criterio reso misurabile; verificare le fonti tramite quadro di riferimento, discorso sociale, modello logico e letteratura sulla valutazione.
- 2) Descrivere i valori sogliaAnnotare il punto di svolta per ogni criterio – definito come valore soglia che fa passare la valutazione da positiva a negativa o da buona a molto buona.
- 3) Definire scala e rappresentazioneAdattare i livelli ai requisiti dell’organizzazione; scegliere la forma di rappresentazione (barre, croci, cerchi, testi, simboli) e allegare la legenda.
- 4) Fissare le ponderazioniStabilire prima dell’inizio della raccolta dei dati, al più tardi prima dell’inizio dell’analisi dei dati, per escludere adattamenti successivi a scopo giustificativo.
- 5) Coinvolgere i partecipantiElaborare la lista definitiva dei criteri in portata e ponderazione con partecipanti e interessati; stabilire i punti di criterio in base al contesto.
- 6) Documentare e comunicareMotivare per iscritto criteri, valori soglia, livelli e ponderazioni e renderli pubblici preventivamente nei confronti degli interessati – non ad hoc, non puramente intuitivo, non metodologicamente incontrollato.
