martedì 10 luglio 2018

La fabbrica dei certificati falsi


Come l'Invalsi, tradendo il suo atto costitutivo, abbia causato l'invalsite, che è una vera e propria malattia della valutazione scolastica, lo abbiamo già visto qui. Sappiamo anche che, nonostante le promesse di abrogazione della Buona Scuola compiute dal nuovo governo, la malattia non regredisce e anzi si sta aggravando. Infatti, a partire dal 2 luglio 2018, a conclusione degli esami di stato del primo ciclo (una volta li chiamavamo esami di licenza media, e forse era meglio), sono in distribuzione nella nostra e in altre scuole, insieme agli attestati, le certificazioni delle competenze, comprensive di prove nazionali Invalsi, con indicazione dei livelli raggiunti in italiano, matematica e inglese.
Questa gigantesca e costosa operazione di eteronomia scolastica, che all'azione delle scuole autonome sovrappone l'intervento di un ente valutatore esterno, tralasciando la ricerca valutativa a vantaggio di una valutazione centralizzata che non serve a nulla (se non a farci pendere tempo ed energie impiegando inutilmente il personale), è destinata a fallire e a essere accantonata insieme alle altre pseudo-riforme mancate, a cui ormai siamo abituati. Ma prima di fallire farà in tempo a riempire l'Italia di certificazioni arbitrarie e inattendibili, dunque false.
In attesa che anche il Miur si accorga di quanto sta avvenendo, descrivo un semplice esperimento, che ciascuno potrà facilmente riprodurre nella propria scuola, senza incontrare particolari difficoltà o spese, in quanto a essere coinvolto è solo un campione ristretto di docenti, per un breve periodo. L'esperimento mostra quanto le certificazioni di italiano e di matematica prodotte dall'Invalsi siano false, mentre per l'inglese, che si richiama a una specifica metodologia e a un'altra struttura di test, il discorso sarebbe un po' diverso (l'inattendibilità è meno grave e manifesta), e pertanto, per evitare possibili confusioni, in questa sede preferisco tralasciarlo.

Per verificare l'attendibilità dei "livelli" di italiano e matematica rilevati attraverso le prove nazionali Invalsi (fine primo ciclo) ho convocato in presidenza tre docenti di italiano (A, B e C) e tre di matematica (D, E e F), in momenti separati, perché non potessero influenzarsi. I docenti non erano scelti a caso ma in base ad alcuni prerequisiti: possesso di conoscenze (acquisite in corsi di formazione) e/o di esperienze dirette circa le tecniche che si occupano dello studio dei sistemi di valutazione (docimologia), oppure, in subordine, partecipazione ai dipartimenti disciplinari della scuola incaricati di definire le prove comuni di istituto. Si tratta di insegnanti che nel corso dell'anno scolastico hanno assegnato agli allievi un'ampia, analitica gamma di prove, da quelle più tradizionali (ad esempio testi argomentativi o descrittivi analizzati attraverso rubriche valutative) ad altre più strutturate, mirate a rilevare separatamente aspetti specifici degli apprendimenti (competenze ortografiche, ampiezza lessicale, conoscenze grammaticali, comprensione di testi per gradi di difficoltà, attraverso l'ascolto e la lettura). A ciascuno di questi docenti ho chiesto di descrivere cinque propri allievi, sulla base delle verifiche e delle osservazioni operate in corso d'anno, prima di prendere visione dei profili già inviati dall'Invalsi e utilizzando autonomamente i descrittori di italiano e quelli di matematica, come già pubblicati sul sito dell'ente il 30/5/18. Non ho scelto i cinque allievi a caso, ma ho fatto in modo che ciascuno di essi provenisse da un diverso livello. Pertanto: cinque allievi per docente, in rappresentanza dei cinque livelli Invalsi previsti (1. elementare; 2. basso; 3. intermedio; 4. medio-alto; 5. alto).

Questa è la tabella su cui i docenti di italiano hanno lavorato, che ho costruito riportando i descrittori Invalsi della prova nazionale 2018, ordinati per criteri e per fasce di livello:

A scopo esemplificativo fornisco una sintesi delle valutazioni del docente A, compiute (lo ripeto) non in modo impressionistico, a partire da semplici percezioni o da ricordi, ma sulla base di un'ampia rosa di prove mirate, specifiche e documentate, riferite ai criteri richiamati dagli indicatori Invalsi:
  • Allievo/a A1 (livello certificato Invalsi "1 - elementare"): comprensione di base bassa; riconoscimento di elementi testuali basso; analisi del testo elementare; competenza lessicale bassa; analisi grammaticale elementare.
  • Allievo/a A2 (livello certificato Invalsi "2 - basso"): comprensione di base media; riconoscimento di elementi testuali basso; analisi del testo elementare; competenza lessicale elementare; analisi grammaticale bassa.
  • Allievo/a A3 (livello certificato Invalsi "3 - intermedio"): comprensione di base medio-alta; riconoscimento di elementi testuali medio; analisi del testo bassa; competenza lessicale media; analisi grammaticale bassa.
  • Allievo/a A4 (livello certificato Invalsi "4 - medio-alto"): comprensione di base alta; riconoscimento di elementi testuali medio-alto; analisi del testo media; competenza lessicale media; analisi grammaticale medio-alta.
  • Allievo/a A5 (livello certificato Invalsi "5 - alto"): comprensione di base alta; riconoscimento di elementi testuali medio-alto; analisi del testo alta; competenza lessicale medio-alta; analisi grammaticale alta.
Come si nota facilmente gli allievi non tendono a occupare lo stesso livello in tutti gli ambiti (o criteri) considerati, ma assumono profili variabili caratterizzati da punti di forza o di debolezza. La stessa tendenza emerge anche dalle rilevazioni operate dai docenti B e C. Il quadro complessivo degli allievi presi in esame (totale 15) è riportato nella successiva tabella:
Accade invece il contrario nella tabella seguente, relativa ai livelli attribuiti dalle prove nazionali Invalsi, dove gli allievi sono stati sempre descritti e certificati con indicatori collocati sulla medesima fascia per tutti gli ambiti considerati, prevedendo pertanto solo cinque profili, cinque linee continue su cinque diversi piani, a cui per scelta di metodo vengono ricondotte tutte le situazioni osservate:
Al termine della rilevazione ho riconvocato i tre docenti di lettere (questa volta tutti insieme) per discutere le due tabelle, interpretare l'accaduto e trarne le opportune conseguenze sul piano valutativo. Dalla riflessione comune è emerso quanto segue:
  • La valutazione operata con una pluralità di strumenti ha condotto gli insegnanti a raffigurare gli allievi attraverso profili non omogenei, rappresentabili con linee spezzate, che si muovono su diverse fasce di livello a seconda degli ambiti di volta in volta considerati e dei criteri adottati.
  • Al contrario il test Invalsi appiattisce gli allievi su cinque fisionomie standard, rappresentate da linee continue tracciate su un solo piano: chi è basso è sempre in basso, i medi sono invariabilmente medi, gli alti sono alti in tutto.
  • La certificazione prodotta dall'Invalsi non si lega pertanto alla concreta e vivente esperienza dell'insegnamento e dell'apprendimento, dove spesso si incontrano allievi abili nella comprensione e nell'elaborazione dei testi ma non altrettanto nella riflessione sulla lingua (vedi ad esempio profilo A3 nella tabella predisposta dai docenti di italiano), oppure, al contrario, allievi che superano le prove di grammatica ma non quelle di comprensione e di analisi testuale (vedi B2 nella stessa tabella). Il test nazionale, per scelta di metodo, nega l'esistenza di questi casi (il cui riconoscimento costituisce invece il prerequisito della competenza didattica), riconducendo le disomogeneità, interne all'apprendere, a tipologie standard comunque omogenee.
  • Nella prova nazionale la varietà dei quadri personali, e dunque degli stili cognitivi, viene artificiosamente fatta coincidere, a seconda del punteggio ottenuto, con i cinque tipi ideali (livelli) supposti ab origine dal test, ma non presenti nelle situazioni osservabili nelle classi reali, qualora un docente opportunamente attrezzato utilizzi una gamma di strumenti valutativi sufficientemente ampia e sensibile.
  • I profili tracciati dai docenti valutatori, diretti a evidenziare le discontinuità (e i punti di forza e di debolezza in un medesimo caso), sono finalizzati alla ricerca di criteri per orientare l'insegnamento e non pretendono di riprodurre fedelmente la realtà dell'allievo, peraltro sempre raffigurata in divenire. Si tratta di giudizi validi all'interno del rapporto didattico che instaurano (valutazione formativa), senza la pretesa di valere in astratto (e meno che mai per l'intero sistema nazionale). Bastano tuttavia a dimostrare sul campo, sperimentalmente, che le certificazioni Invalsi non trovano riscontri nell'attività scolastica, non riproducono fatti esistenti, non fotografano alcunché, se non i pregiudizi di metodo posti alla base della loro formulazione.
  • Tali profili, o livelli, o standard, non sono di conseguenza attendibili, né rispondono alle esigenze interne al rapporto didattico. Non hanno validità, né sul piano descrittivo, come fotografie di un soggetto riconoscibile, né tanto meno sul piano formativo o storico, come contributo alla crescita di una persona. Ci troviamo dunque di fronte a certificazioni false, in un esperimento di distorsione valutativa di massa.
  • Occorre inoltre aggiungere che proprio per evitare distorsioni simili a quella appena descritta è nata la docimologia, come tecnica pedagogica sperimentale che si propone di tenere sotto controllo i sistemi valutativi, finalizzandoli alla formazione degli studenti e non alla riproduzione di pregiudizi e alla loro diffusione su scala di massa. Da questo punto di vista i test nazionali Invalsi non tarderanno ad essere riconosciuti come prove anti-docimologiche per eccellenza. 
Resta ora da comprendere in base a quale disturbo collettivo della percezione un ente nazionale, nato per diffondere nel sistema  la cultura della valutazione formativa, abbia ritenuto sensato suddividere la popolazione scolastica in cinque tipi ideali non riscontrabili nella realtà, addirittura certificando questa inattendibile classificazione e mobilitando a tal fine risorse ed energie in tutte le scuole. Perché questa sconcertante operazione?
Per rispondere all'interrogativo dobbiamo cercare aiuto nel materiale informativo diffuso dallo stesso Invalsi (esempi di domande e note esplicative sulla descrizione dei livelli di competenza).
Il funzionamento del meccanismo del test di italiano, che sulla base di quel che si è detto fin qui dovrebbe essere stato chiarito, trova una conferma nel Quadro di Riferimento della prova di Italiano (Invalsi, 2013). Qui si asserisce che le prove di italiano, anche per un motivo di ordine pratico, tecnico e organizzativo, "sono circoscritte alla valutazione della competenza di lettura (intesa come comprensione, interpretazione, riflessione su e valutazione del testo scritto, avente a oggetto un’ampia gamma di testi, letterari e non letterari) e delle conoscenze e competenze grammaticali, il cui apprendimento è previsto nelle indicazioni curricolari". Si tratta delle articolazioni schematizzate nella tabella che ho ricostruito all'inizio dell'esperimento. Su tali articolazioni vertono le domande del test, che attribuiscono punti la cui somma costituisce il punteggio finale dell'allievo. Se le sue prestazioni sono definibili per alcuni ambiti con descrittori sopra la media e per altri al di sotto della media, determineranno con tutta probabilità, sommandosi, un punteggio medio. Il punteggio medio farà sì che l'allievo venga certificato con i cinque descrittori della fascia media, nessuno dei quali però corrisponde a quanto osservabile  sulla base di una considerazione analitica della sua prova.
Sembra ben strano che nell'illustrazione del quadro di riferimento Invalsi, poste certe premesse, non ci si renda conto della conseguente ed inevitabile distorsione della valutazione. Uno sforzo teorico per giustificare un simile procedimento è comunque presente. A pag. 5 dello stesso documento si legge infatti che "la competenza di lettura si evolve attraverso vari stadi, sviluppandosi progressivamente fino alle soglie dell’età adulta (e anche oltre). In questo percorso sono individuabili tre fasi fondamentali... Nella fase iniziale di apprendimento della lettura l’alunno è soprattutto impegnato a padroneggiare le operazioni di decodifica dei segni grafici... In una seconda fase l’alunno matura le abilità cognitive e metacognitive sottese alla piena comprensione di un testo nel suo significato letterale, fino a divenire capace di leggere per interesse personale... Nella terza fase, infine, l’alunno impara a 'prendere le distanze' dal testo per considerarlo criticamente: è in questa fase che lo studente diviene capace di differenziare il proprio punto di vista rispetto a quello dell’autore e di confrontare tra loro punti di vista diversi, di analizzare consapevolmente il testo e di valutarlo nei suoi contenuti e nella sua forma."
Queste affermazioni sottolineano che le competenze di lettura si sviluppano progressivamente, dal semplice al complesso, dall'inconsapevolezza alla coscienza educata.  Si tratta di ovvietà che il senso comune accetta e che possiamo senz'altro far nostre. Ma, come per tante altre cose ovvie, tutto dipende dall'uso che se ne fa, dalle conseguenze che se ne traggono.
La morale che l'Invalsi sembra trarne, nel documento significativamente intitolato Riflessione sulla lingua - Nota esplicativa relativa alla descrizione dei livelli Invalsi (prove Invalsi 2018), è ingenuamente unilaterale. Vi si legge infatti: "Mentre la competenza grammaticale implicita è acquisita in modo inconsapevole durante l’infanzia da tutti i parlanti di una lingua, la conoscenza esplicita si consegue grazie all'insegnamento formale, vale a dire una riflessione sulla lingua guidata dall'insegnante. Il compito della scuola è dunque fare in modo che gli studenti acquistino consapevolezza dell’immenso sapere linguistico immagazzinato nella loro testa."
Ciò è in parte vero. La riflessione grammaticale illumina aspetti importanti della lingua e in alcune attività può anche risultare utile. D'altra parte, però, il suo esercizio, e il conseguente apprendimento formale che ne deriva, non rappresenta che un piccolo frammento all'interno del più ampio orizzonte dell'esperienza linguistica, di cui la grammatica, comunque la si intenda e la si pratichi, non sarà mai il pieno rispecchiamento, e meno che mai il coronamento, e certamente non la "presa di coscienza" completa ed esauriente.
Se dunque la scuola, comunemente, come l'Invalsi dice, fa in modo che gli studenti acquisiscano consapevolezza grammaticale (perché ciò conviene all'interno di determinate situazioni, ad esempio quando si studia il latino, che è ancora bello studiare), un suo compito ben più importante sarà condurli a comprendere che il sapere così immagazzinato nella loro testa è tutt'altro che immenso, e rappresenta invece solo una piccola stella tra molte nell'universo della comunicazione linguistica, che non può essere fotografata e chiarita da un'attività di livello superiore, ma solo esplorata attraverso il concreto e molteplice esercizio del linguaggio e l'ampliamento delle relazioni interpersonali che lo alimentano.
La prospettiva che ne deriva è un po' diversa rispetto a quella raccomandata dalle note esplicative Invalsi.
Purtroppo, ritenendo (idealisticamente) che il passaggio dall'inconsapevolezza alla coscienza sia il motore dell'apprendimento linguistico, e  scorgendo nella riflessione grammaticale, sulla base di una lunga tradizione che ritengo perfino superfluo richiamare, il terreno privilegiato su cui si realizza questo salto di qualità, l'Invalsi ha immaginato alcuni stadi ideali di sviluppo, seguendo una logica che rispecchia un secolare pregiudizio non sottoposto a critica.
Non ci troviamo infatti di fronte a profili relativi a ciascun allievo, assunto nella sua personalità, nel suo stile cognitivo e nella variabilità dei livelli che di volta in volta raggiunge in ambiti di esperienza non legati da un rapporto gerarchico. Al contrario. Ciascun allievo, sulla base del punteggio, viene associato a uno stadio, rigidamente descritto, che si caratterizza per il raggiungimento di un certo livello di coscienza razionale (o consapevolezza grammaticale). Quel che l'Invalsi certifica, o meglio pretende di certificare, è pertanto l'appartenenza a una delle fasi di sviluppo vagheggiate, in una scala dove ciascun gradino è propedeutico all'altro. Ciascuna fase, come avviene nei sistemi dell'idealismo ottocentesco, sembra  interamente  superare (e contenere) la precedente, ed essere interamente superata (e contenuta) dalla successiva. Il quadro teorico, invece che a una griglia di descrittori nati dall'esperienza, e destinati a sollecitarla nella pratica didattica, fa pensare piuttosto a una matrioska o a un kit di scatole cinesi, diretto a stabilire gerarchie in obbedienza a una latente ideologia.
Tale ideologia, nonostante le citazioni che cercano di dissimularla, e una spruzzatina di linguistica strutturale qua e là, ricorda certe anacronistiche forme di razionalismo idealistico che mi è capitato di incontrare in alcuni professori di liceo, refrattari a qualsiasi esperienza di formazione in servizio e malgrado ciò (anzi perciò) orgogliosamente convinti di essere nel giusto e propensi a firmare, sulla scorta di tanta ostinazione, appelli per l'italiano, petizioni per la matematica, interpellanze al ministro.
Per rispondere a simili sollecitazioni, senza urtare la sensibilità degli "innovatori" che temono un ritorno al nozionismo (e non sia mai, perché, come assicura la nota esplicativa, "sono evitate le domande che richiedono una classificazione fine a sé stessa di classi e sotto-classi di elementi grammaticali, mandate a memoria e richiamate nel momento della prova"), ma soprattutto per conformarsi all'utilitarismo economicista e liberista, che deve misurare e pesare, non importa come, i prodotti di scuole da equiparare alle aziende, l'Invalsi ha ceduto alle pressioni e ha subito una mutazione che non può definirsi altrimenti che reazionaria, trasformandosi così in una costosa macchina per la fabbricazione di certificati falsi.

L'effetto matrioska, o scatole cinesi, che pretende di classificare gli allievi in base all'appartenenza a stadi di sviluppo gerarchicamente ordinati secondo un pregiudizio idealistico, risalta ancor meglio nella prova di matematica.
Questa è la tabella su cui hanno lavorato i docenti D, E e F (matematica), che riporta tutti i descrittori Invalsi della prova nazionale 2018 per fasce di livello:
Questa è la tabella del risultato della prova nazionale di matematica, come certificato dall'Invalsi, per i 15 allievi campione, da me scelti con i medesimi criteri già utilizzati per l'italiano:

Questa è invece la tabella derivante dalle valutazioni dei tre docenti di matematica, operata a partire dalle prove analitiche assegnate in corso d'anno:

Valgono considerazioni analoghe a quelle già svolte per la prova di italiano.
Da notare che le presunte fasi di sviluppo della competenza matematica non prevedono, anzi escludono a priori, che un allievo in possesso di conoscenze elementari "prevalentemente acquisite nella scuola primaria" (vedi livello 1 della tabella dei descrittori) possa risolvere "problemi semplici di tipo conosciuto" e nemmeno rispondere a domande "in cui il collegamento tra la situazione proposta e la domanda è diretto e il risultato è immediatamente interpretabile e riconoscibile nel contesto" (vedi livello 2). Analogamente lo scolaro che ha raggiunto questo livello basilare, ma ancora non "riconosce rappresentazioni diverse di uno stesso oggetto matematico" non potrà mai, di conseguenza (ma si tratta di una conseguenza presente solo negli schemi concettuali e nell'idea della mente Invalsi), descrivere "il proprio ragionamento per giungere a una soluzione" e neppure riconoscere "tra diverse argomentazioni per sostenere una tesi, quella corretta".
E perché mai, viene da chiedersi? Chi lo ha detto? Da quale corso accelerato di psicologia dello sviluppo e dell'apprendimento sono supportate simili convinzioni, e le gerarchie che implicitamente ne derivano?
La tabella Invalsi sembra fatta apposta per escludere la situazione problematica in cui un allievo in possesso di conoscenze scarse riesce a risolvere un problema complesso, dandone una sorprendente spiegazione. E a priori esclude anche che un diverso allievo, che "illustra e schematizza procedimenti e strategie risolutive" e si esprime di regola "con un linguaggio adeguato al grado scolastico, anche utilizzando simboli", possa poi improvvisamente fallire di fronte a difficoltà estremamente semplici, perfino "in contesti abituali o che presentano alcuni elementi di novità". Eppure eventi simili si verificano a scuola quotidianamente. Anzi rappresentano il grado di difficoltà specifico in cui si sviluppa la professionalità docente.
Non a caso gli insegnanti  di matematica contrassegnati con le lettere D, E e F, di cui al precedente quadro, sulla base dell'esperienza diretta e dell'osservazione analitica del campione considerato, escono dalle previsioni Invalsi e ne respingono implicitamente l'impianto teorico. In particolare il docente F, tracciando profili che toccano tutti gli ambiti considerati per tutti i casi presi in esame, perviene a un risultato che costituisce, nel medesimo tempo, una valutazione dei propri allievi e una demolizione dei pregiudizi presenti nel test nazionale.

Che dire?
Ma soprattutto: che fare?
Direi di non perdere tempo in appelli per l'italiano, petizioni per la matematica e interpellanze al ministro.
Le scuole, dal 2 luglio 2018, sono costrette, in ottemperanza a un decreto ministeriale, a distribuire certificazioni farlocche. Ma nonostante ciò non hanno ancora perduto la loro autonomia. Possono dunque spiegare con chiarezza quello che sta accadendo, informare le famiglie e predisporre gli adeguati strumenti valutativi, a integrazione e smentita della fabbrica dei certificati falsi. Potrebbe essere una buona occasione per rilanciare i metodi della valutazione formativa, producendo localmente, in opposizione alla politica Invalsi, profili degli studenti in uscita che servano da stimolo all'apprendimento e alla crescita professionale dei docenti.

2 commenti:

  1. Carissimo Preside da Orizzonte Scuola di oggi:
    https://www.orizzontescuola.it/invalsi-la-fabbrica-dei-certificati-falsi-un-esperimento/

    RispondiElimina
    Risposte
    1. Si tratta di una sintesi di questo post. Ovviamente non si potevano pubblicare tutte le tabelle. Anche la parte relativa alla matematica è stata tagliata. Comunque rende l'idea... Il prossimo anno miglioreremo l'esperimento.

      Elimina