Pearson

Imparare sempre

benchmark_apertura

magazine # /

PISA. Radiografia dell’istruzione nel mondo

di Stefano Glenzer

18 marzo 2012

Che cos'è davvero, come funziona, quali problemi incontra il test per la valutazione dei sistemi scolastici nato nel 2000.

Gli studenti sapranno affrontare le sfide della vita una volta usciti dalla scuola? Il sistema scolastico nazionale fornisce loro i mezzi per riuscire a risolvere i problemi che incontreranno? Durante il loro periodo sui banchi vengono affinate le giuste competenze?

Da queste domande è partito nel 2000 il progetto PISA, il Programma per la valutazione internazionale dell’allievo. È stato istituito dall’OCSE, l’Organizzazione per la cooperazione e lo sviluppo economico, per valutare ogni tre anni il livello di competenza degli studenti di 15 anni e quindi il funzionamento dei loro sistemi scolastici. Gli esperti che hanno strutturato la prova hanno scelto questa fascia d’età perché a 15 anni, nella maggior parte dei Paesi analizzati, finisce la scuola dell’obbligo. In dodici anni i Paesi partecipanti sono più che raddoppiati.

Alla sua nascita hanno aderito al PISA in 32 e per la quinta edizione, prevista nel 2012, saranno oltre 60. Il test dura due ore e i quesiti possono essere a risposta chiusa multipla, aperta semplice o aperta complessa. La prova è divisa in tre macro aree: lettura, matematica, scienze. Ogni edizione, pur comprendendole tutte e tre, si focalizza su un’area particolare. Nel 2000 si trattava della lettura e gli studenti hanno dovuto dimostrare le proprie capacità di comprensione di testi scritti, in alcuni casi accompagnati da grafici.

Nel 2003 il focus si era concentrato sulla matematica, proponendo ai ragazzi di risolvere problemi spaziali e numerici. Nel 2006 è toccato alle scienze giocare il ruolo di protagoniste e dal 2009 si è chiuso il giro tornando a lettura e alfabetizzazione. Per risolvere ogni tipo di prova non basta né è necessario leggere e conoscere regole e teoremi ma ragionare correttamente e trarre le giuste conclusioni dai dati e dai testi proposti.

A partire dal prossimo report, i ragazzi dovranno confrontarsi con due nuove sfide: dimostrare agli esaminatori le proprie competenze economico-finanziare e informatiche. Basta test con carta e penna. «Tutto ciò viene fatto per aumentare il valore che lo studio PISA può avere non solo dal punto di vista didattico, ma per essere più esauriente come indagine», spiega Francesca Borgonovi, analista del PISA dal 2008. «Il grosso dello sforzo è stato fatto per valutare come gli studenti utilizzano ciò che imparano a lezione. I ragazzi non vanno a scuola solo per studiare ma anche per cooperare, crescere, affrontare altre realtà e culture. È altrettanto importante quanto l’individuo si sviluppa su più livelli. Al momento la questione non è ancora stata affrontata dall’OCSE, ma è possibile che in futuro sarà possibile trattare col rigore necessario questi temi».

“Attraverso il confronto con gli altri Paesi  ogni nazione può capire i difetti del  proprio sistema scolastico e trovare la strada per migliorarlo. Ma è importante  anche che i risultati siano omogenei  tra aree geografiche e classi sociali.”

L’obiettivo dell’OCSE è fornire a ogni Paese il risultato medio delle competenze dei propri studenti e confrontarlo con quello degli altri Stati. In questo modo ogni nazione può comprendere quali sono i limiti del proprio sistema scolastico e provvedere a migliorarlo. Per avere un buon voto finale dagli esaminatori non basta che il risultato medio degli studenti sia alto, deve anche essere omogeneo: non solo i ragazzi provenienti da famiglie ricche o culturalmente avvantaggiate, ma anche chi proviene da situazioni povere o disagiate deve fare bene.

Vengono poi analizzate altre caratteristiche del sistema scolastico come l’ampiezza delle classi o il grado di autonomia dei docenti nello scegliere ciò che vogliono insegnare. L’analisi del PISA nasce dal lavoro di più parti. Da un lato c’è l’OCSE, l’organismo patrocinante, che decide le linee generali della prova. Per fare ciò si confronta con il PISA Governing Board (Pgb), che raggruppa i Paesi partecipanti, durante due meeting che si svolgono ogni anno. I contenuti delle indagini, i metodi di svolgimento del test, gli indicatori e gli standard minimi da raggiungere vengono decisi qui dopo che gli esperti del PISA hanno analizzato le prove preliminari fatte su un campione ristretto di ragazzi.

Queste prove servono per capire se i quesiti sono troppo facili o troppo difficili, quali tipi di domande privilegiare, come strutturare il test ufficiale. Successivamente ogni centro nazionale nomina un National Project Manager, il quale si confronta con alcune agenzie internazionali che coordinano la realizzazione del progetto. Il lavoro di questo Manager è particolarmente delicato: deve controllare che il proprio Paese utilizzi le tecniche e le procedure amministrative raccomandate dall’OCSE.

Il suo ruolo è quello di accertare la qualità dell’indagine svolta e garantire che il modo in cui sono stati ottenuti i dati che verranno inviati al PISA sia uniforme a quello degli altri Stati. L’OCSE, come detto, stabilisce le linee insieme ai Paesi coinvolti e in seguito il Consorzio internazionale nominato a capo del progetto e i singoli Stati partecipanti realizzano l’indagine. Questo Consorzio viene coordinato da un singolo gruppo scelto dall’OCSE. Per le prime tre edizioni si è trattato dell’Acer, l’Australian Council for Educational Research, che si è occupato di pianificare il lavoro ed elaborare i dati. Nel suo operato era affiancato da altri consorzi americani, giapponesi, tedeschi.

“Ogni edizione nasce da un lungo lavoro  preparazione, che parte dalla definizione  delle linee generali e arriva alla scelta  dei contenuti, alla messa a punto dei quesiti e alla loro verifica con gruppi  ristretti di studenti.”

Nel 2009 il lavoro è stato invece diviso tra due consorzi: L’Istituto nazionale della misurazione dell’educazione in Olanda (Cito) ha preparato, sviluppato e adattato alle esigenze dei vari Paesi i questionari. Il secondo, guidato ancora dall’Acer, ha affrontato i temi più operativi come la somministrazione del test agli studenti.

Una volta raccolti, i dati vengono elaborati un lavoro lungo che richiede molti mesi. Attualmente nell’ufficio operativo del PISA lavorano dodici esperti tra analisti, assistenti alla comunicazione e coordinatori agli ordini di Andreas Schleicher, capo della divisione analisi. La finalità di questo sforzo congiunto è avere le migliori competenze per ottenere uno studio preciso e approfondito.

Le domande vengono preparate da esperti, così come altri esperti si occupano di migliorare la metodologia del campiona mento dei ragazzi. Nell’ultima edizione hanno preso parte al PISA 470 mila studenti per rappresentare circa 26 milioni di ragazzi di tutto il mondo. In un secondo turno, nel 2010, sono stati analizzati 50 mila studenti di altri nove Paesi. Le scuole sono campionate con estrazione casuale dal Consorzio internazionale a partire da un database contenente tutti gli istituti che ospitano quindicenni.

Successivamente, in ciascuna scuola campionata il Centro nazionale (nel caso dell’Italia si tratta dell’Invalsi) estrae casualmente 35 studenti di 15 anni. Se il numero totale di quindicenni di un istituto è inferiore a 35, allora vengono presi tutti. Al test del PISA del 2009 hanno partecipato 30.905 studenti italiani. Si tratta di un numero molto superiore allo standard, che è di circa 5000 studenti. Questo perché l’Italia ha deciso di avere un campione che fosse stratificato a livello regionale e non solo nazionale, come hanno fatto anche Belgio, Spagna e Messico.

Risultati PISA 2009. La classifica dei primi venti Paesi per ciascuna area dell'indagine e il punteggio ottenuto. Sotto il risultato dell'Italia.

Risultati PISA 2009. La classifica dei primi venti Paesi per ciascuna area dell’indagine e il punteggio ottenuto. Sotto il risultato dell’Italia.

La cosa complicata da ottenere è che le domande vengano percepite nello stesso modo da ragazzi culturalmente e linguisticamente molto distanti tra loro. Con la traduzione in varie lingue si possono perdere delle componenti del quesito, ma anche che le stesse parole o gli stessi concetti possano essere percepiti in maniera differente da diverse lingue. Il vantaggio in certe questioni può essere forte in alcune culture. La traduzione aggiunge ovviamente non pochi problemi a chi organizza il test, ma la sfida più complessa da vincere è definire quesiti le cui risposte non dipendano da fattori culturali. Se gli esaminatori si accorgono che è presente questo problema la domanda viene eliminata.

Un altro grande sforzo che il PISA si propone è paragonare sistemi scolastici di nazioni diverse. «I sistemi scolastici possono differire molto, però le competenze che forniscono agli studenti sono analoghe» osserva Borgonovi. «Quindi è vero che possono essere organizzati secondo linee diverse ma possiamo valutarli in base a quanto fanno bene a seconda del contesto culturale, ambientale, istituzionale». Forse il più importante parametro che il PISA dovrebbe centrare è l’obiettività, ma questo non può ancora dirsi raggiunto. «Per capire i fattori che portano ai risultati del PISA occorre riferirsi a molti aspetti del sistema come docenti, organizzazione, dirigenti scolastici» conclude Laura Palmerio, National Project Manager dell’Italia per l’edizione 2009. «Il PISA raccoglie già parte di queste informazioni, quelle mancanti dovrebbero essere raccolte dai singoli Paesi». Insomma, la via percorsa dal PISA è solo una delle tante possibili e come tale va presa.

Approfondimenti
Teaching to the test: un bene o un male?

Occhio ai professori che fanno i furbetti. Il fenomeno è stato importato in Italia e si chiama “Teaching to the Test”, come spiega Giorgio Israel, professore di scienze matematiche, fisiche e naturali dell’Università La Sapienza di Roma: «Siccome molti insegnanti vogliono fare  bella figura e farla fare agli studenti, li addestrano per superare i test. Sono nati molti  eserciziari per avere risultati migliori nel  PISA e nell’Invalsi».

Il risultato è un cambiamento della figura dei docenti, che vengono relegati al rango di passacarte. «Si dice espressamente che  l’insegnante deve essere un “facilitatore”: riceve i test dall’esterno e li somministra agli studenti»,  continua Israel. «Così scompare la figura di chi ha studiato per avere una cultura, per trasmettere  dei modelli». E a perderci sono proprio gli  studenti, che hanno un peggioramento della  qualità dell’istruzione.  Non tutti sono però d’accordo con questa analisi.  Il National Project Manager per l’Italia del  2009, Laura Palmerio, difende il metodo del PISA: «Abituare i ragazzi a quel tipo di domande significa fare didattica. Sono convinta che un  teaching to the test con le prove  PISA farebbe  bene, dimostrerebbe ai ragazzi quanto e perché è importante ciò che studiano». Della stessa idea è Maria Teresa Siniscalco, National Project Manager per l’Italia del 2003: «Il  PISA ha  modificato il tipo di istruzione imposta ai  ragazzi. Si è passati da un apprendimento  fortemente mnemonico, basato sulla riproduzione  di contenuti, a uno con più spazio per il  ragionamento e la creatività».

E l’Invalsi fotografa l’Italia

A partire dall’anno scolastico 2007-2008, quando  fu somministrato per la prima volta a scopo  statistico, è presente in Italia il test Invalsi.  Viene realizzato dall’Istituto Nazionale per la Valutazione del Sistema dell’Istruzione  (da cui il nome del test) e si suddivide in una  prova di italiano e una di matematica.

Le prove oggettive standardizzate vengono  create allo scopo di misurare i livelli di  conoscenza e apprendimento degli studenti. A partire dall’anno scolastico 2009-2010 l’Invalsi viene usato per l’esame di Stato delle scuole secondarie di primo grado. Nell’anno scolastico 2010-2011 sono state coinvolte 5.969 scuole, 27.646 classi e 586.790 studenti.  Nello scorso anno scolastico il test Invalsi è stato somministrato anche agli studenti della prima  media e, per la prima volta, agli studenti della  seconda superiore. In questo caso le prove sono  uniche per tutti i tipi di istituti perché tendono a  misurare aspetti comuni a tutti i corsi di studio.

Nel complesso il campionamento, effettuato su base regionale, ha coinvolto 3.851 scuole, 7.810 classi e 166.199 studenti. L’obiettivo dell’Invalsi è fornire alla politica e alle istituzioni le analisi necessarie per  migliorare la qualità del sistema dell’istruzione e della formazione. Nello stesso tempo informa i singoli istituti: ciascuna scuola riceve i risultati  dei propri alunni con i dati disaggregati a livello di singole classi e, all’interno di queste,  con la distribuzione delle risposte domanda  per domanda.

Gli esperti dell’Invalsi impiegano 15-18 mesi per completare una prova  standardizzata. Per ogni livello scolastico solo  il rapporto tra domande preparate e domande effettivamente somministrate agli allievi è di uno a quattro: viene preparato un numero elevato di domande per poter scegliere solo le migliori e le più adeguate. Per far questo l’Invalsi collabora  con oltre 200 esperti del mondo della scuola  e dell’università.

Così si costruisce l'eccellenza

In un servizio realizzato dalla Pearson Foundation e dall’OCSE, sei esempi virtuosi di Paesi che grazie ai suggerimenti dello studio PISA hanno capito come investire nella scuola e nel futuro. Leggi l’articolo.

 

L'esperienza di Pearson per il futuro del PISA

Nel 2015 il test misurerà anche la capacità di problem solving degli studenti di tutto il mondo e in alcuni Paesi i ragazzi svolgeranno le prove con il computer. Pearson è stata scelta dall’OCSE come partner per la progettazione del futuro del PISA. Scopri cosa cambierà nell’articolo: L’esperienza di Pearson per il futuro del PISA.