home chi siamo redazione newsletter links contattaci  

 
 

Intervista a Roberto Ricci*

 
 

Indagine PISA : utile a tutti gli attori della Scuola

 

Il disegno dell’ indagine Pisa rappresenta sotto il profilo statistico e misuratorio, il livello più avanzato che, allo stato delle cos,e ci fornisce il mondo della ricerca. Fornisce utili informazioni per tutti gli attori interessati al mondo della Scuola, quindi sia a chi la fa quotidianamente sia chi ad essa si rivolge come ricercatore. Naturalmente, è perfettibile, soprattutto sul piano  dell’approfondimento diacronico, poiché  ci fornisce un quadro riferito ad un preciso istante, ma poco ci dice sugli aspetti evolutivi ad esso legati.

 

A cura di Renza Bertuzzi

 
 

Dottor Ricci,  da alcune parti, anche autorevoli, si afferma che i test –soprattutto il PISA- non sono strumenti attendibili poiché è sufficiente modificare anche un elemento minimo per cambiare completamente i risultati. E’ così?

 

No, le cose non stanno in questi termini. Temo che chi sostiene posizioni come queste abbia una conoscenza incompleta e superficiale dell’impianto metodologico della ricerca OCSE-PISA. Naturalmente, tutto è perfettibile e migliorabile, ma il disegno dell’indagine PISA rappresenta, sotto il profilo statistico e misuratorio, il livello più avanzato che, allo stato delle cose, ci fornisce il mondo della ricerca. E’ importante sapere, inoltre, che l’OCSE si è affidato ai centri di ricerca più importanti e riconosciuti a livello internazionale nel campo dell’Educational Measurement, come l’ACER australiano, l’ETS degli USA e il CITO dei Paesi Bassi ed altri ancora . E’ sufficiente leggere con attenzione l’ampia letteratura disponibile in rete (www.pisa.oecd.org) per comprendere la ricchezza dell’impianto della ricerca. Mi preme in questa sede aggiungere un altro elemento importante su questo punto. Il consorzio che realizza la ricerca OCSE-PISA ha reso pubblico in maniera trasparente le modalità seguite nella realizzazione del progetto, evidenziando anche i punti deboli e le soluzioni adottate nel corso delle diverse edizioni per cercare di superarli. A mio parere la trasparenza sugli aspetti metodologici, sovente migliorabile in altri contesti, è indice di qualità e di affidabilità.

 

A parte l’ enfasi giornalistica  (e le accuse alla nostra Scuola da parte dei Politici), come possono essere utilmente usati i risultati PISA dalla Scuola e dalla ricerca?

 

A mio giudizio i risultati PISA forniscono utili informazioni per tutti gli attori interessati al mondo della Scuola, quindi sia a chi la fa quotidianamente sia chi ad essa si rivolge come ricercatore. In particolare, trovo che i docenti e i dirigenti dovrebbero in primo luogo appropriarsi dei quadri di riferimento di PISA per comprendere bene ciò che l’indagine realmente valuta e, soprattutto, riflettere in modo approfondito e critico sul concetto di competenza che è alla base dell’intera ricerca. Ma lo stesso vale per i quadri di riferimento di altre due importanti ricerche internazionali come TIMSS (Trends in International Mathematics and Science Study) e PIRLS (Progress in International Reading Literacy Study) reperibili anch’essi sul sito dell’INVALSI.

Sono poco importanti le classifiche generali, aspetto che fa notizia ma che, come sottolinea nelle prime pagine del rapporto internazionale lo stesso consorzio che ha condotto la ricerca, poco interessa per comprendere le complesse dinamiche che determinano gli esiti della ricerca stessa. Sul sito dell’INVALSI è possibile scaricare gratuitamente il quadro di riferimento del PISA (http://www.invalsi.it/ric-int/Pisa2006/sito/docs/Quadro_riferimento_PISA2006.pdf) la cui lettura ritengo sia veramente importante per gli insegnanti della nostra Scuola per approfondire la conoscenza del dibattito internazionale sulle competenze di base e sul ruolo che la Scuola può avere per favorire la loro acquisizione. In alcune regioni, come ad esempio in Emilia-Romagna, si stanno realizzando azioni d’intervento sulla formazione degli insegnanti utilizzando anche i quadri di riferimento del PISA, specie negli ambiti matematico-scientifici che rappresentano un punto di attenzione delicato e strategico.

I dati PISA sono inoltre molto importanti per il mondo della ricerca. Questa indagine rende disponibili tantissimi dati che permettono di fornire un quadro molto articolato della Scuola, delle dinamiche che la governano e che non sempre sono immediatamente comprensibili ed evidenti. Poter contare su un’ampia base d’informazioni consente di studiare le variabili che si associano a diversi livelli di risultati, raggiungendo anche in molti casi un livello di dettaglio regionale che, fino ad ora, non era stato possibile. Inoltre alcune analisi di secondo livello consentono di effettuare delle interessanti ed utili valutazioni sulle modalità effettive con cui il sistema scolastico si articola e si organizza, rendendo, almeno in parte, esplicito ciò che invece formalmente non lo è.

 

Ritiene che vi sia qualche elemento del PISA che andrebbe rivisto o perfezionato?

 

Naturalmente sì. In alcuni casi, specie quando la ricerca PISA non è adeguatamente conosciuta, si riscontrano atteggiamenti estremi che si concretizzano nel rifiuto delle ricerca stessa o nella sua sopravvalutazione. A mio parere l’indagine PISA manca dell’approfondimento diacronico e ci fornisce quindi un quadro riferito ad un preciso istante, ma poco ci dice sugli aspetti evolutivi ad esso legati. Un ulteriore aspetto che andrebbe perfezionato è l’impianto dei questionari (studenti, scuola, genitori) che, allo stato attuale, non consentono di giungere ad un adeguato livello di approfondimento dello studio dell’effetto delle variabili che maggiormente incidono sui livelli di risultati conseguiti dai quindicenni.

 

Che rapporto c’ è tra una indagine come questa e la valutazione dei docenti nei confronti dei propri alunni?

 

Questo è un punto molto importante e sul quale, a volte, si riscontra qualche elemento di confusione. Il legame tra un’indagine come PISA e la valutazione quotidiana dei docenti è solo indiretto e legato ad aspetti di fondo, ma i due momenti afferiscono a procedure e finalità differenti. La letteratura internazionale e nazionale su PISA chiarisce con precisione questa differenza. Lo scopo principale della ricerca PISA è quello di fornire ai diversi portatori d’interesse (Scuola, famiglie, decisori politici, ecc.) un quadro il più preciso possibile sul sistema scolastico, considerato nel suo complesso, mentre la valutazione del docente è rivolta al singolo studente prendendo in esame aspetti che non possono certo essere oggetto di misurazione a livello di sistema. Sovente e non solo nel nostro Paese si riscontra poca chiarezza su questo aspetto. C’è certamente bisogno di fare informazione rivolta principalmente agli insegnanti, come quella realizzata, ad esempio, dall’INVALSI in collaborazione con il M.I.U.R., in alcune regioni del Sud dell’obiettivo convergenza (PON).

 

Come valuta le differenze di risultato tra i test Invalsi e quelli PISA?

 

Anche questo è un punto molto importante e delicato del quale è molto utile parlare. Le ricerche INVALSI e quelle PISA sono ovviamente differenti ed hanno anche finalità diverse. Le prime, infatti, hanno un carattere nazionale e approfondiscono aspetti che maggiormente riguardano il nostro sistema scolastico che difficilmente possono essere indagati da una ricerca che coinvolge quasi 60 Paesi molto diversi tra di loro. E’ però fuor di dubbio che la ricerca PISA, ma anche TIMMS e PIRLS, costituiscono un punto di riferimento metodologico molto importante e ineludibile.

Non voglio comunque sottrarmi all’evidenza che i risultati emersi in passato dalle ricerche INVALSI fossero, almeno in parte, di segno diverso rispetto a quelli delle rilevazioni internazionali, specie disaggregando i dati rispetto alle diverse aree geografiche del Paese. Se da un lato queste differenze hanno segnato l’opportunità di approfondire e corroborare l’impianto metodologico delle ricerche nazionali, d’altro canto hanno messo in luce in maniera inequivocabile quanto strada ci sia ancora da percorrere per consolidare e migliorare la cultura della valutazione in Italia. Anche in questo senso credo che le ricerche internazionali dell’OCSE e della IEA (TIMMS, PIRLS, ecc.) segnino la strada maestra. La trasparenza nelle modalità di realizzazione della ricerca, la chiarezza degli obiettivi e l’efficacia nella comunicazione possono fugare molti timori o resistenze. Ovviamente, esiste anche un piano politico su questi ultimi aspetti, ma da tecnico non mi addentro in un campo che non è il mio.

 

 

*Roberto Ricci, esperto di Statistica, è ricercatore dell’Invalsi, dove si occupa della valutazione degli apprendimenti.  I suoi campi ricerca sono l’InvalsiItem Response Theory, l’ analisi quantitativa delle competenze, le ricerche nazionali ed internazionali sulla valutazione del sistema educativo, la Didattica della statistica,  temi su cui ha pubblicato numerosi scritti.