da EWOUT TER HAAR & ELENA OTAVIANO*
Un semplice esame standardizzato come Enade non è adatto a valutare un sistema di istruzione superiore innovativo e diversificato, motivo per cui nessun paese al mondo utilizza una metodologia simile
All'ordine del giorno, come già accaduto poche volte negli ultimi vent'anni, la partecipazione dell'USP all'Enade (National Student Performance Exam), a partire dai corsi universitari. Il monitoraggio e la valutazione sistematici dei corsi universitari sono azioni gradite e necessarie. Certamente, l’USP deve assumersi la responsabilità e creare meccanismi per questo compito. Tuttavia, l'eventuale adesione dell'USP ad Enade va trattata con molta cautela, per tre ragioni principali.
Inizialmente sosterremo che un semplice esame standardizzato come Enade non è adatto a valutare un sistema di istruzione superiore innovativo e diversificato, motivo per cui nessun paese al mondo utilizza una metodologia simile. Una seconda ragione è che, partecipando a Enade, l’USP sottoporrebbe inutilmente i suoi programmi universitari a una regolamentazione omogeneizzante, pensata per altri tipi di istituti, con il rischio di restringere i loro curricula. Infine, per i corsi USP, Enade genererebbe numeri altamente instabili, inadeguati a sostenere buone politiche educative.
È necessario sapere quali sono gli obiettivi di una valutazione
È ampiamente riconosciuto nella comunità degli specialisti della valutazione educativa che la validità di un test richiede prove riguardanti l'uso e l'interpretazione dei suoi risultati. Il valore e la validità di Enade devono sempre essere giudicati in relazione a come l'USP utilizzerà e interpreterà i suoi risultati. Infatti, qualsiasi processo di valutazione deve essere preceduto da un lavoro che definisca lo scopo di ciò che si sta valutando.
Un’università, ad esempio, ha molteplici funzioni, come formare personale professionale, promuovere lo sviluppo sociale e culturale, contribuire al progresso dei processi produttivi, produrre e appropriarsi della conoscenza scientifica, tra le altre. Oltre a questo scopo multiplo, è necessario sapere qual è l’obiettivo di ciascuno di essi e fino a che punto si vuole arrivare. Una risposta semplicistica sarebbe dire che un’università ha tutti questi scopi e che l’obiettivo finale è il paradiso. Tuttavia, questo tipo di risposta è irresponsabile, perché se si indirizzano più sforzi verso uno scopo, meno sforzi saranno lasciati agli altri.
Pertanto, la domanda che deve anticipare ogni discussione sulla valutazione è conoscere l’obiettivo di ciò che si sta valutando. Esistono diversi esempi di casi in cui questa domanda viene posta prima della valutazione. Forse le discussioni riguardanti le grandi università dello stato della California, negli Stati Uniti, possono aiutare a comprendere il processo. Un esempio ben noto e sorprendente era la pianificazione del sistema di istruzione superiore in quello stato americano, negli anni '1960.
Attualmente, questo sistema ha tre componenti: a Scuole, con quasi due milioni di studenti, offre formazione professionale e culturale e funge da trampolino di lancio per gli studenti che desiderano proseguire gli studi superiori in un'università; la California State University, con più di 400mila studenti, il cui scopo principale è la formazione di professionisti, senza escludere, ovviamente, la produzione scientifica e culturale; e l'Università della California, con quasi 300mila studenti, i cui obiettivi principali includono la produzione di conoscenza scientifica, senza escludere la formazione di professionisti.
Evidentemente, nel caso di questo esempio, i criteri di valutazione per ciascuna parte di questo sistema di istruzione superiore non possono essere gli stessi. Enade, invece, anche nella sua nuova versione, è un esame unico, uguale per tutti i corsi di un'area, che cerca di caratterizzare con appena cento domande a risposta multipla i quattro anni di formazione dei diplomati dei corsi di alta formazione , in solo una o due dimensioni. Chiediamoci: qual è il ruolo dei corsi USP nella società? Enade aiuta l’USP a valutare se i suoi corsi contribuiranno a “formare leader professionisti e cittadini consapevoli del proprio ruolo sociale"?
Theodore Porter, nel suo libro classico sulla storia della costruzione dell'obiettività nelle politiche pubbliche, sottolinea i vantaggi politici derivanti dalla creazione di parametri apparentemente oggettivi per i manager (“sono l’algoritmo e il parametro che decidono”). In società come il Brasile, dove è diffusa la sensazione che il giudizio e competenza Le risorse umane sono particolarmente sospette e soggette a corruzione, l'utilizzo di prove oggettive e di test nei processi di valutazione come concorsi o appalti è ritenuto indispensabile. Da un lato, nell’istruzione, la cultura della valutazione esterna e della comparabilità attraverso test standardizzati ha portato a importanti progressi, come il censimento scolastico, Saeb e gli indicatori gestionali da essi derivati, come Ideb, che accompagnano l’istruzione di base in tutto il Brasile. Ma è importante riconoscere i limiti di validità degli esami standardizzati come Enade.
L'inadeguatezza degli esami standardizzati per valutare l'istruzione superiore
Il Brasile è l'unico paese al mondo che utilizza un test oggettivo con il duplice scopo di valutare e regolamentare il proprio sistema di istruzione superiore. Quasi nessun altro paese cerca di monitorare la qualità del proprio sistema di istruzione terziaria attraverso un esame standardizzato somministrato ai laureati al termine dei loro corsi. Le ragioni di ciò sono esposte in forma cristallina in un rapporto dell’OCSE, che su richiesta del governo brasiliano ha indagato sul suo sistema di “garanzia di qualità” dei corsi. Il rapporto, nonostante sia redatto da un'organizzazione nota per il suo impegno nella gestione dei sistemi educativi attraverso l'evidenza quantitativa, è molto critico nei confronti del sistema attuale e mostra che gli obiettivi di Enade, misurare l'apprendimento dei diplomati dei corsi di istruzione superiore, sono del tutto irraggiungibili, per tre ragioni principali.
Innanzitutto, a differenza della valutazione al termine dell’istruzione primaria, non è chiaro cosa misurare. Non esiste, e non dovrebbe esistere, come nel caso dell’istruzione di base, un insieme di competenze e abilità comuni che tutti devono acquisire. Una caratteristica dell’istruzione superiore è che la diversità dei programmi e degli obiettivi di apprendimento è molto ampia. Un Enade che valuta solo le competenze più generiche svaluta quei corsi capaci di lavorare proprio su quelle competenze più specialistiche che ci si aspetta da un percorso di alta formazione. Ma qualsiasi valutazione di competenze più specifiche seguirebbe necessariamente una visione singolare degli obiettivi di un corso, a scapito della pluralità di visioni valorizzate nelle fasi più avanzate del sistema educativo.
Una seconda sfida è tecnica: come creare un esame relativamente breve che sia in grado di valutare in modo affidabile i contenuti e le competenze acquisite durante quattro anni di formazione? Ai fini normativi, la nuova Enade (per ora, per i corsi triennali) propone di utilizzare la Item Response Theory (IRT), creando un esame con 45 domande a risposta multipla per la dimensione Formazione Generale e 60 per una dimensione specifica per ciascuna area. Anche ammettendo che la competenza didattica sia un costrutto catturabile su una scala numerica a una o due dimensioni – una preposizione altamente problematica per le ragioni sopra esposte – è ancora più dubbio che cento domande a scelta multipla siano in grado di valutare equamente quattro anni di formazione.
In terzo luogo, stabilendo un esame standardizzato, che per ragioni pratiche è necessariamente breve e focalizzato su un insieme molto limitato di competenze, esiste il rischio enorme che i corsi formino gli studenti solo su quelle competenze. Questo restringimento del curriculum nuocerebbe alla possibilità di innovazione e alla capacità dei corsi di adattarsi ai cambiamenti e alle circostanze locali.
Tutte queste ragioni addotte dagli esperti dell’OCSE limitano fortemente le deduzioni giustificate che si possono trarre dai test standardizzati nell’istruzione superiore. È per questi motivi che non esistono altri paesi al mondo che valutano i propri percorsi di istruzione superiore attraverso questo tipo di processo. Un progetto pilota promosso dall’OCSE nel 2013, l’iniziativa AHELO, è stato abbandonato perché ritenuto irrealizzabile. In Europa e negli Stati Uniti, anziché fare affidamento su un’unica forma di valutazione, i sistemi di istruzione superiore vengono valutati attraverso agenzie di accreditamento che impiegano forme di valutazione ampie e olistiche.
Il nuovo Enade aumenterà il numero di domande e utilizzerà l'IRT per avere comparabilità tra anni di applicazione e migliorare la precisione. Come ogni esame standardizzato, il nuovo Enade ha il potenziale per fornire prove preziose che possono aiutare a migliorare la direzione dei corsi o delle politiche pubbliche. Ma esperti di valutazione educativa avvisare che un test non misura necessariamente ciò che dice il titolo e che un po' di magia di equalizzazione non lascia necessariamente due test equivalenti. La letteratura sulla valutazione mette in guardia soprattutto su la quasi impossibilità di utilizzare un singolo test per scopi diagnostici e regolatori.
Occorre studiare il funzionamento, la validità, l'affidabilità e l'interpretazione del nuovo Enade, prima di utilizzare i numeri da esso generati per scopi normativi e altri scopi di alto valore. È molto preoccupante che l’Inep, l’ente responsabile dell’Enade, tra il 2014 e il 2021 abbia calcolato erroneamente l’indicatore più importante ricavato dall’Enade, per cui assegnavano numeri essenzialmente casuali ai corsi. L’errore è stato finalmente corretto nel 2024, ma il fatto che nessuno degli interessati al processo di valutazione si sia accorto della sua esistenza in tutti questi anni mette in dubbio il reale ruolo normativo degli indicatori dell’Inep, nonché la sua capacità di controllare la qualità dei propri indicatori.
Motivi specifici per cui l'USP non utilizza Enade
Oltre alle difficoltà generali evidenziate dall'OCSE e dagli esperti di valutazione, nel caso dell'USP ci sono altri motivi per essere scettici riguardo alla partecipazione ad Enade.
Innanzitutto, una questione tecnica. Nell'attuale Enade, escludendo l'effetto dell'Enem per le matricole, la varianza nei voti dei corsi è piccola: solo circa il 10% della varianza nei voti degli studenti. In altre parole, la variazione del voto Enade tra gli studenti di un dato corso è molto maggiore della variazione tra le medie dei corsi, e questo continuerà ad essere vero per il nuovo Enade. Ciò significa che qualsiasi indicatore del corso derivato dal punteggio Enade degli studenti deve essere calcolato con molti studenti partecipanti per avere affidabilità statistica.
Risulta che, secondo il censimento dell'istruzione superiore, solo cinque dei 34 corsi di laurea dell'USP hanno più di 50 laureati (media degli ultimi cinque anni). Per la maggior parte dei corsi universitari dell'USP (e anche per altri corsi), qualsiasi media o altro indicatore derivato da Enade sarà piuttosto instabile e sarebbe un errore adottare politiche basate su di essi.
In secondo luogo, in linea di principio l’esame potrebbe fornire prove interessanti sui corsi USP, se i risultati fossero utilizzati per scopi diagnostici. Ma una tesi che circola è che la partecipazione di Enade potrebbe esentare i corsi dalla necessità di rinnovare il riconoscimento da parte del Consiglio statale per l'istruzione, mostrando chiaramente il desiderio che i loro risultati siano utilizzati a fini regolamentari.
In questo caso, ci sarà quasi inevitabile pressione affinché i corsi siano guidati dalla ristretta matrice di Enade invece che dalle Linee guida nazionali dei corsi, che, volutamente, lasciano libertà ai corsi di progettare i loro programmi in base alle realtà locali. Allo stesso modo, l'adesione a Enade indebolirà gli sforzi dell'USP per implementare un programma di valutazione più ampio per i suoi corsi, più appropriato al proprio contesto.
Conclusione
È improbabile che l'USP approfitti della partecipazione di Enade; al contrario, la sottomissione dell'USP al sistema normativo federale, così come è attuato oggi, comporta grandi rischi per la qualità dei nostri corsi. Ci sarà il rischio di restringere i programmi di studio a causa di effetti secondari (insegnando alla prova) da valutare con un esame troppo semplice, inadeguato alla diversità dei corsi dell'USP.
Inoltre, aderendo a una forma di regolamentazione superficiale, utilizzando indicatori instabili e di scarsa validità, l'USP perde la possibilità di progettare valutazioni proprie, ricche e sfaccettate dei suoi corsi. E per la maggior parte dei corsi dell’USP, con meno di 50 diplomati all’anno, i numeri generati da Enade porteranno a indicatori quasi casuali, troppo instabili per supportare le politiche educative.
L'USP deve sforzarsi di implementare un proprio sistema di valutazione dei propri corsi e di utilizzarlo competenza esercitare pressioni sugli organismi di controllo della qualità dell'istruzione superiore affinché utilizzino metodi più validi a fini normativi. Un esame tipo Enade, per essere utile, funzionerebbe solo in funzione diagnostica, per unità di analisi più grandi dei corsi e su base campionaria, per evitare gli effetti collaterali della valutazione che abbiamo evidenziato.
*Ewout ter Haar è professore presso il Physics Institute dell'USP.
*Otaviano Elena è un professore senior presso l'USP Physics Institute.
Originariamente pubblicato su Journal da USP.
la terra è rotonda c'è grazie ai nostri lettori e sostenitori.
Aiutaci a portare avanti questa idea.
CONTRIBUIRE
