Accountability

Per gestire organizzazioni e strutture complesse, operanti nei settori dei servizi di pubblica utilità rivolti alla persona (quali sanità, assistenza, istruzione, ecc...), si vanno sempre più affermando criteri e metodi di valutazione in grado di garantire la qualità dei processi, dei servizi e dei prodotti. L’impostazione, che storicamente nasce in ambienti di tipo aziendalistico, è ormai prassi consolidata nei maggiori paesi industrializzati e richiede che alla tradizionale valutazione ex-ante delle risorse disponibili (umane, strutturali, logistiche, finanziarie....), venga affiancata una valutazione ex-post dei risultati conseguiti, fondata su idonei indicatori di tipo statistico. Tale tipo di valutazione, oltre a verificare se le organizzazioni sono in possesso dei requisiti necessari, determinati a priori in funzione della tipologia del servizio offerto, accerta l’esistenza e il rispetto di procedure predeterminate e ne valuta gli esiti finali.
Si intende così fare in modo che le organizzazioni che erogano servizi di pubblico interesse, come gestori di risorse collettive, si assumano la responsabilità e rendano conto dell’uso delle risorse loro assegnate e dei risultati raggiunti alle autorità pubbliche che garantiscono il finanziamento, alla collettività, ai portatori di interesse e agli utenti; si tratta di un concetto che viene sintetizzato frequentemente con il termine accountability. Poiché anche i processi formativi sviluppati nelle università sono servizi di pubblica utilità resi alla persona è questo in ultima analisi il significato della valutazione della didattica universitaria.

Valutare ex post

Per quanto detto, per assicurare la qualità della formazione superiore è necessario procedere secondo modelli che prevedono una valutazione ex post condotta da un ente terzo, indipendente sia dall’università sia dal ministero, dai cui esiti devono derivare azioni correttive ed anche conseguenze premiali o sanzionatorie. Si tratta perciò di avviare processi di valutazione articolati, certamente onerosi, che prevedano l’auto-valutazione interna e la valutazione esterna, secondo modalità conformi a consolidati modelli internazionali di Assicurazione della Qualità (Quality Assurance). Peraltro tale era l’impegno che l’Italia aveva assunto a conclusione dalla Conferenza dei ministri europei responsabili per la formazione superiore, tenuta a Berlino nel 2003.

Dall’azienda all’università

Applicare alla didattica universitaria criteri e metodi di valutazione mutuati direttamente da quelli messi a punto per applicazioni aziendali non è banale e per molti aspetti non è neppure possibile, perché valutare processi di pubblica utilità rivolti alla persona, come sono i processi formativi e i risultati di apprendimento, è ben diverso e più complesso che valutare processi e prodotti industriali. Per erogare la propria didattica gli atenei, come ogni struttura produttiva, utilizzano determinate risorse; tra esse rientrano il personale docente e tecnico amministrativo, i beni strutturali, come le aule e i laboratori, le attrezzature e le risorse finanziarie. Il processo produttivo della didattica universitaria consiste nel tradurre le risorse disponibili in lezioni, esercitazioni, ore di laboratorio, esami, tesi di laurea, servizi amministrativi e tecnici legati all’insegnamento e laureati che, nel loro complesso, costituiscono il risultato di tipo “aziendale”. I risultati derivanti dall’impiego delle risorse possono essere misurati in termini di ore di lezione, di laboratorio, numero dei laureati, etc. e da tali misure si possono costruire indici riferiti a processi, strutture, risultati, per misurare la produttività degli atenei, estrapolando tecniche aziendalistiche tipiche dei processi industriali.
Tuttavia per la valutazione della didattica non basta considerare le risorse impiegate e i risultati in termini aziendali. Se infatti il numero e la qualificazione dei docenti e del personale coinvolto, la qualità e la quantità delle aule, dei laboratori e delle attrezzature sono condizioni necessarie per la qualità della didattica universitaria, vi possono essere università molto ricche di risorse, ma meno capaci di insegnare rispetto ad altre meno dotate di risorse ma più efficaci nella didattica. Si può inoltre osservare che un maggiore numero di lezioni, esercitazioni, esami, tesi di laurea non significa necessariamente maggior apprendimento dello studente. Se una tale metodologia è dunque sufficiente per descrivere l’università come azienda, essa non è in grado di cogliere la specificità e la ricchezza stessa degli obiettivi della didattica universitaria, che ha lo scopo di garantire al laureato la capacità di inserimento nel mercato del lavoro ma ha anche quello di aumentare il grado di conoscenze dello studente a scopi di crescita personale e per il suo contributo allo sviluppo culturale, umano ed economico della società. Occorre quindi costruire indicatori specifici, non tanto correlati agli atenei ma piuttosto capaci di osservare il risultato a livello di singolo studente, che rappresenta il fine ultimo della didattica universitaria, valutandolo in termini di apprendimento, di capacità d’inserimento nel mondo del lavoro, di crescita del capitale umano e del grado di soddisfazione dello studente o del laureato (customer satisfaction), quale percezione soggettiva dell’efficacia degli studi.

Valutare i soggetti

Ma la valutazione della didattica è un processo ancora più complesso perché riguarda non oggetti passivi, come avviene in un processo industriale, ma soggetti che sono parte attiva del processo d’apprendimento e che con il loro comportamento ne determinano gli esiti; vanno perciò attentamente considerati i molteplici altri aspetti che condizionano i risultati, tra i quali la preparazione iniziale dei singoli studenti, la loro soddisfazione e il grado di effettiva disponibilità, derivante ad esempio dal fatto che si tratti di studenti lavoratori o da altri fattori quali il pendolarismo o l’interruzione temporanea degli studi per motivi vari, inclusi quelli parentali. Per quanto detto, oltre a considerare l’entità delle risorse impiegate dai singoli atenei, occorre quantificare il risultato della didattica in termini di valore aggiunto a livello del singolo studente, a partire dalla preparazione iniziale e tenendo conto delle caratteristiche individuali.

Aspetti interni della valutazione

Per una esaustiva valutazione della didattica universitaria è necessario tenere conto sia dei processi messi in atto sia dei risultati del processo formativo, valutabili in termini di raggiungimento degli obiettivi e di congruità delle risorse impiegate per raggiungerli. È pertanto necessario tenere conto di una molteplicità di aspetti, alcuni dei quali sono interni al sistema universitario e altri esterni ad esso.
Gli “aspetti interni” riguardano tutte le azioni correlate all’orientamento in ingresso, alla progettazione dei corsi, alle modalità con le quali la didattica viene impartita, ai metodi adottati per garantire e verificare l’apprendimento, alle risorse dedicate alla didattica e al grado di soddisfazione degli studenti. Tra gli aspetti interni vanno considerate le azioni previste:

• -  dall’art. 6 del DM 270/04 in relazione all’orientamento in ingresso, alla definizione e alla verifica delle conoscenze richieste per l’accesso, all’adeguatezza della preparazione iniziale, all’assegnazione di specifici obblighi formativi aggiuntivi e alla predisposizione di attività formative propedeutiche.
  
  
• -  dall’art. 11 del DM 270 e dai decreti collegati relative alla progettazione dei corsi; in particolare vanno valutate le modalità di consultazione con le organizzazioni rappresentative nel mondo del lavoro, la definizione dei risultati di apprendimento attesi esplicitati mediante descrittori europei (Descrittori di Dublino), la flessibilità dei processi formativi a garanzia della mobilità degli studenti, la trasparenza delle informazioni, le modalità con le quali i corsi sono sottoposti a periodica valutazione collegiale con riferimento alla programmazione, al coordinamento e alla verifica dei risultati delle attività formative.
  
  
• -   dall’art. 1 della Legge 370/99, ove si stabilisce che le università «acquisiscono periodicamente, mantenendone l’anonimato, le opinioni degli studenti frequentanti sulle attività didattiche», relative all’acquisizione del grado di «soddisfazione degli studenti» e al loro utilizzo per il miglioramento della didattica.

    Tali aspetti costituiscono una diretta e immediata responsabilità dell’ateneo che vi può intervenire in modo tempestivo ed efficace.

Aspetti esterni della valutazione

Gli aspetti esterni riguardano invece l’impatto del laureato nella società; tra essi vanno perciò considerati l’accoglimento del laureato da parte del mondo del lavoro e dei portatori d’interesse come riscontro di occupabilità, la capacita di aggiornamento delle conoscenze da parte del laureato a riprova della solidità della formazione metodologica, l’effetto dell’ateneo o del corso di laurea sulla capacità lavorativa del laureato (soddisfazione del laureato rispetto alla condizione lavorativa), l’effetto dell’ateneo o del corso di laurea sul ritorno dell’investimento in termini di capitale umano dell’individuo (soddisfazione del laureato rispetto alla condizione economica).
Tali aspetti costituiscono una responsabilità indiretta dell’ateneo, dato che essi dipendono anche da una molteplicità di fattori esterni non direttamente controllabili, legati al territorio, agli sbocchi occupazionali disponibili e alla capacità di assorbimento del mercato, alla contingenza economica, alla struttura delle aziende e alla loro propensione ad investire in personale qualificato. Di tali aspetti è necessario tenere conto in sede di valutazione della didattica.

Efficienza ed efficacia della didattica universitaria

Recenti normative italiane richiamano frequentemente l’esigenza di incrementare l’efficienza e l’efficacia nell'utilizzo delle risorse del sistema universitario nazionale.
L’efficienza è definita come il rapporto tra i risultati ottenuti e la quantità e qualità delle risorse impiegate per ottenerli; migliorare l’efficienza di un processo significa perciò ottenere migliori risultati a parità di risorse impiegate, ovvero ottenere gli stessi risultati con minori risorse. L’efficacia è definita invece come il rapporto tra i risultati ottenuti e quelli attesi in termini assoluti, senza particolare riferimento alle risorse impiegate per ottenerli. È necessario chiarire che gli obiettivi di efficienza e di efficacia non sono necessariamente tra loro direttamente correlati; può ad esempio accadere che un ateneo, pur estremamente efficiente, non sia efficace nel raggiungere gli obiettivi per l’inadeguatezza delle risorse disponibili o che viceversa un alto ateneo sia efficace nel raggiungere gli obiettivi pur non facendo un uso efficiente delle risorse.
Con riferimento alla valutazione della didattica universitaria i concetti di efficienza e di efficacia possono venire applicati tanto agli aspetti interni quanto a quelli esterni:

-    l’efficienza interna all’università considera la regolarità dei processi formativi e il numero di laureati rispetto agli immatricolati (abbandoni, inattività, anni per conseguimento del titolo) rapportati alle risorse impegnate (docenti per studente, laboratori, posti studio per studente, ecc.).

-   L’efficienza esterna all’università considera il reddito dei laureati rapportato all’investimento per il conseguimento del titolo.

-  L’efficacia interna all’università considera la soddisfazione degli studenti per la qualità dei singoli insegnamenti o per l’intero corso di studi, nonché le votazioni come misura dell’apprendimento.

-  L’efficacia esterna all’università considera la soddisfazione dei laureati per la condizione lavorativa,      ovvero per le competenze acquisite e le conseguenti possibilità di lavoro, il loro tasso di occupabilità e la soddisfazione della società e dai datori di lavoro per il valore restituito dai laureati.

In generale il progressivo valore aggiunto accumulato in termini di capacità intellettuali può essere valutato sia all’interno del sistema universitario durante il percorso universitario o alla laurea, come grado aggiuntivo di conoscenza acquisita (valutazione interna) o, più coerentemente in termini di risultati di apprendimento (learning outcomes) dopo la laurea, sulla base dell’aumento delle opportunità nel mercato del lavoro (valutazione esterna). Vale la pena sottolineare infine che nella valutazione della didattica è necessario tenere presente che non tutti i corsi hanno le stesse finalità e diverse sono le attese e le aspettative in essi riposte da parte degli studenti e dal mondo del lavoro. Ad esempio le lauree e le lauree magistrali, essendo segmenti formativi che rispondono a esigenze differenti, vanno valutate con criteri diversi; ancora diverse sono le motivazioni, le aspettative e le attese riposte nei corsi universitari di perfezionamento e aggiornamento professionale ai quali accedono, di norma totalmente a proprie spese, soggetti molto determinati nel fare un investimento in conoscenza dal quale si attendono un adeguato ritorno.

Valutazione e premialità

Il Fondo di Finanziamento Ordinario (FFO) degli atenei prevede da qualche tempo una quota premiale legata alla loro efficienza ed efficacia. Il proposito di legare parte del finanziamento alla qualità dell’offerta formativa e ai risultati dei processi formativi va vista certamente in maniera favorevole e va incoraggiato; tuttavia l’applicazione che se ne è data sinora, e da ultimo con il DM 21 dicembre 2010 n. 655 per ripartire il FFO 2010, appare assai limitativa e deludente. Dei quattro indicatori previsti due sono stati “sospesi” e i due utilizzati riguardano la regolarità degli studi, monitorata mediante l’acquisizione di CFU da parte degli studenti; di fatto si è fatto ricorso esclusivamente a indicatori di efficienza didattica interna e a nessun indicatore che riguardi gli aspetti esterni. È evidente che una valutazione tanto riduttiva di un processo così complesso come è quello della formazione superiore può indurre gli atenei a largheggiare in sede di verifica del profitto dei propri studenti per renderne più regolare la progressione negli studi.

Criticità e proposte

La Legge 30 dicembre 2010, n. 240, nota anche come Legge Gelmini, pur nel lodevole tentativo di ridisegnare in maniera più razionale la governance degli atenei, ha completamente dimenticato di affrontare in maniera organica il tema della didattica; una vera e propria amnesia legislativa. È stata cancellata la facoltà, che da sempre ha costituito la struttura portante della funzione didattica; è stata creata un’ambigua struttura di coordinamento della didattica, neppure obbligatoria e in ogni caso priva di ogni sostanziale potere; è stata attribuita la responsabilità della funzione didattica ai dipartimenti, totalmente eterogenei tra loro su base nazionale; è stata perfino cancellata ogni valutazione sulla competenza didattica nel reclutamento dei docenti e dei ricercatori. Davvero non si comprende chi e in che modo potrà farsi carico, con la necessaria competenza, dei complessi aspetti relativi alla didattica; e non c’è dubbio che tra i più urgenti nodi da affrontare vi sia quello di avviare una seria e generalizzata valutazione della didattica universitaria.
In assenza di un’agenzia indipendente di valutazione, che operi secondo il modello sopra descritto è nata l’illusione che il sistema possa essere governato stabilendo criteri autorizzativi ex ante, in alternativa a processi valutativi ex post. Si è perseguita l’idea che la valutazione di processi complessi, come sono quelli collegati all’offerta formativa degli atenei, possa essere ricondotta a semplici indicatori numerici, che divengono così strumenti di controllo molto rassicuranti (perché ad esso viene attribuito il carattere di oggettività e imparzialità) e poco onerosi. Ma una scelta che pretende di fondare la valutazione sui numeri è in realtà illusoria e costituisce un processo involutivo che ci porta fuori rotta rispetto agli impegni assunti in Europa.
Peraltro gli interventi indicati sono del tutto inefficaci a garantirne la qualità dei corsi di studio, tanto che alcuni di essi sono stati forzatamente disattivati per motivi meramente numerici, malgrado la loro rilevanza e qualità. L’esperienza degli ultimi anni ha evidenziato anzi che cercare di indirizzare il comportamento degli atenei con interventi di contenimento dell’offerta formativa fondati su parametri puramente numerici, avulsi da una valutazione di merito, non solo non garantisce la qualità ma anzi induce gli atenei a comportamenti e scelte che, pur nel rispetto formale delle regole, hanno generato offerte formative poco trasparenti e prodotto effetti negativi opposti a quelli che i provvedimenti si proponevano.
Appare perciò urgente un cambio radicale d’impostazione, affinché si passi da un approccio esclusivamente quantitativo ad uno che metta la qualità in primo piano, avviando al più presto un processo di rigorosa valutazione e accreditamento dei singoli corsi di studio, con modalità conformi a consolidati modelli di assicurazione della qualità.

Allegati:

Quale valutazione per la didattica universitaria?

[ ]

646 Kb