Dottor Ricci, da alcune parti,
anche autorevoli, si afferma che i test –soprattutto il PISA- non sono strumenti
attendibili poiché è sufficiente modificare anche un elemento minimo per
cambiare completamente i risultati. E’ così?
No, le cose non stanno in
questi termini. Temo che chi sostiene posizioni come queste abbia una conoscenza
incompleta e superficiale dell’impianto
metodologico della ricerca OCSE-PISA. Naturalmente, tutto è perfettibile
e migliorabile, ma il disegno dell’indagine PISA rappresenta, sotto il
profilo statistico e misuratorio, il livello più avanzato che, allo stato delle
cose, ci fornisce il mondo della ricerca. E’ importante sapere, inoltre, che
l’OCSE si è affidato ai centri di ricerca più importanti e riconosciuti a
livello internazionale nel campo dell’Educational Measurement, come l’ACER
australiano, l’ETS degli USA e il CITO dei Paesi Bassi ed altri ancora . E’
sufficiente leggere con attenzione l’ampia letteratura disponibile in rete
(www.pisa.oecd.org) per comprendere la ricchezza dell’impianto della ricerca.
Mi preme in questa sede aggiungere un altro elemento importante su questo punto.
Il consorzio che realizza la ricerca OCSE-PISA ha reso pubblico in maniera
trasparente le modalità seguite nella realizzazione del progetto,
evidenziando anche i punti deboli e le soluzioni adottate nel corso delle
diverse edizioni per cercare di superarli. A mio parere la trasparenza sugli
aspetti metodologici, sovente migliorabile in altri contesti, è indice di
qualità e di affidabilità.
A parte l’ enfasi giornalistica
(e le accuse alla nostra Scuola da parte dei Politici), come possono essere
utilmente usati i risultati PISA dalla Scuola e dalla ricerca?
A mio giudizio i risultati
PISA forniscono utili informazioni per tutti gli attori interessati al mondo
della Scuola, quindi sia a chi la fa quotidianamente sia chi ad essa si rivolge
come ricercatore.
In particolare, trovo che i docenti e i dirigenti dovrebbero in primo luogo
appropriarsi dei quadri di riferimento di PISA per comprendere bene ciò che
l’indagine realmente valuta e, soprattutto, riflettere in modo approfondito e
critico sul concetto di competenza che è alla base dell’intera ricerca. Ma lo
stesso vale per i quadri di riferimento di altre due importanti ricerche
internazionali come TIMSS (Trends in International Mathematics and Science Study)
e PIRLS (Progress in International Reading Literacy Study) reperibili anch’essi
sul sito dell’INVALSI.
Sono poco importanti le
classifiche generali, aspetto che fa notizia ma che, come sottolinea nelle prime
pagine del rapporto internazionale lo stesso consorzio che ha condotto la
ricerca, poco interessa per comprendere le complesse dinamiche che determinano
gli esiti della ricerca stessa. Sul sito dell’INVALSI è possibile scaricare
gratuitamente il quadro di riferimento del PISA
(http://www.invalsi.it/ric-int/Pisa2006/sito/docs/Quadro_riferimento_PISA2006.pdf)
la cui lettura ritengo sia veramente importante per gli insegnanti della nostra
Scuola per approfondire la conoscenza del dibattito internazionale sulle
competenze di base e sul ruolo che la Scuola può avere per favorire la loro
acquisizione. In alcune regioni, come ad esempio in Emilia-Romagna, si stanno
realizzando azioni d’intervento sulla formazione degli insegnanti utilizzando
anche i quadri di riferimento del PISA, specie negli ambiti
matematico-scientifici che rappresentano un punto di attenzione delicato e
strategico.
I dati PISA sono inoltre
molto importanti per il mondo della ricerca.
Questa indagine rende disponibili tantissimi dati che permettono di fornire un
quadro molto articolato della Scuola, delle dinamiche che la governano e che non
sempre sono immediatamente comprensibili ed evidenti. Poter contare su un’ampia
base d’informazioni consente di studiare le variabili che si associano a diversi
livelli di risultati, raggiungendo anche in molti casi un livello di dettaglio
regionale che, fino ad ora, non era stato possibile. Inoltre alcune analisi di
secondo livello consentono di effettuare delle interessanti ed utili valutazioni
sulle modalità effettive con cui il sistema scolastico si articola e si
organizza, rendendo, almeno in parte, esplicito ciò che invece formalmente non
lo è.
Ritiene che vi sia qualche
elemento del PISA che andrebbe rivisto o perfezionato?
Naturalmente sì. In alcuni
casi, specie quando la ricerca PISA non è adeguatamente conosciuta, si
riscontrano atteggiamenti estremi che si concretizzano nel rifiuto delle ricerca
stessa o nella sua sopravvalutazione. A mio parere
l’indagine PISA manca dell’approfondimento diacronico e ci fornisce quindi un
quadro riferito ad un preciso istante, ma poco ci dice sugli aspetti evolutivi
ad esso legati. Un ulteriore aspetto che andrebbe perfezionato è l’impianto dei
questionari (studenti, scuola, genitori) che, allo stato attuale, non consentono
di giungere ad un adeguato livello di approfondimento dello studio dell’effetto
delle variabili che maggiormente incidono sui livelli di risultati conseguiti
dai quindicenni.
Che rapporto c’ è tra una
indagine come questa e la valutazione dei docenti nei confronti dei propri
alunni?
Questo è un punto molto
importante e sul quale, a volte, si riscontra qualche elemento di confusione. Il
legame tra un’indagine come PISA e la valutazione quotidiana dei docenti è solo
indiretto e legato ad aspetti di fondo, ma i due momenti afferiscono a procedure
e finalità differenti. La letteratura internazionale e nazionale su PISA
chiarisce con precisione questa differenza. Lo scopo principale della ricerca
PISA è quello di fornire ai diversi portatori d’interesse (Scuola, famiglie,
decisori politici, ecc.) un quadro il più preciso possibile sul sistema
scolastico, considerato nel suo complesso, mentre la valutazione del docente
è rivolta al singolo studente prendendo in esame aspetti che non possono certo
essere
oggetto di misurazione a livello di sistema. Sovente e non
solo nel nostro Paese si riscontra poca chiarezza su questo aspetto. C’è
certamente bisogno di fare informazione rivolta principalmente agli insegnanti,
come quella realizzata, ad esempio, dall’INVALSI in collaborazione con il
M.I.U.R., in alcune regioni del Sud dell’obiettivo convergenza (PON).
Come valuta le differenze di
risultato tra i test Invalsi e quelli PISA?
Anche questo è un punto molto
importante e delicato del quale è molto utile parlare. Le ricerche INVALSI e
quelle PISA sono ovviamente differenti ed hanno anche finalità diverse. Le
prime, infatti, hanno un carattere nazionale e approfondiscono aspetti che
maggiormente riguardano il nostro sistema scolastico che difficilmente possono
essere indagati da una ricerca che coinvolge quasi 60 Paesi molto diversi tra di
loro. E’ però fuor di dubbio che la ricerca PISA, ma anche TIMMS e PIRLS,
costituiscono un punto di riferimento metodologico molto importante e
ineludibile.
Non voglio comunque
sottrarmi all’evidenza che i risultati emersi in passato dalle ricerche INVALSI
fossero, almeno in parte, di segno diverso rispetto a quelli delle rilevazioni
internazionali, specie disaggregando i dati rispetto alle diverse aree
geografiche del Paese. Se da un lato queste differenze hanno segnato
l’opportunità di approfondire e corroborare l’impianto metodologico delle
ricerche nazionali, d’altro canto hanno messo in luce in maniera inequivocabile
quanto strada ci sia ancora da percorrere per consolidare e migliorare la
cultura della valutazione in Italia.
Anche in questo senso credo che
le ricerche internazionali dell’OCSE e della IEA (TIMMS, PIRLS, ecc.) segnino la
strada maestra. La trasparenza nelle modalità di realizzazione della ricerca, la
chiarezza degli obiettivi e l’efficacia nella comunicazione possono fugare molti
timori o resistenze. Ovviamente, esiste anche un piano politico su questi ultimi
aspetti, ma da tecnico non mi addentro in un campo che non è il mio.
*Roberto
Ricci, esperto di Statistica, è
ricercatore dell’Invalsi, dove si occupa della valutazione degli apprendimenti.
I suoi campi ricerca sono l’InvalsiItem Response Theory, l’ analisi quantitativa
delle competenze, le ricerche nazionali ed internazionali sulla valutazione del
sistema educativo, la Didattica della statistica, temi su cui ha pubblicato
numerosi scritti.
|