Modelli di valutazione per stimare

1
Modelli di valutazione per stimare gli effetti
dei progetti nazionali sugli apprendimenti degli
studenti
Vidoni Daniele, INVALSI, daniele.vidoni_at_invalsi.it
Project funded by Programmazione dei Fondi
Strutturali Europei 2007-2013 Programma
Operativo Nazionale Competenze per lo sviluppo
FSE -2007-IT 05 1 PO 007
2
La domanda a cui rispondere
Qual è lefficacia degli interventi
implementati? Ovvero Gli interventi sono in
grado di produrre gli effetti desiderati ex ante?
Rispondere a questa domanda richiede una accurata
misurazione degli effetti dellintervento ex post
(cioè dopo la messa in atto) e implica la volontà
di associare limplementazione di un intervento
pubblico alla valutazione dei suoi effetti.
3
Il problema sotteso
LATTRIBUZIONE CAUSALE
definizione controfattuale di effetto leffetto
di un intervento è la differenza tra quanto si
osserva in presenza dellintervento e quanto si
sarebbe osservato in sua assenza.
4
Trappole concettuali
Attribuire alla politica il merito del
cambiamento osservato nel fenomeno tra prima e
dopo la sua implementazione. Attenzione! Non
tutto ciò che accade dopo qualcosa accade a causa
di quel qualcosa, poiché il fenomeno di interesse
può avere una sua dinamica spontanea.
Attribuire alla politica differenze osservate
nel fenomeno di interesse tra esposti e non
esposti. Attenzione! Questo ci espone al
problema di possibili differenze nella
composizione dei due gruppi, che avrebbero potuto
causare differenze nei risultati anche in assenza
della politica.
5
Possibili strade da seguire
Esperimenti randomizzati
Soluzioni non sperimentali

• Garantisce lequivalenza tra i due gruppi ma
  difficile da applicare per
• problemi etici o resistenze culturali
• concreta gestione degli esclusi (che devono
  rimanere tali serve collaborazione da parte di
  chi eroga il trattamento)
• vincoli legali
• prassi amministrative consolidate.

• Permettono di ricostruire ex post lequivalenza
  tra i due gruppi.
• Problemi
• Effettiva disponibilità delle necessarie
  informazioni per matching in termini di
  apprendimenti, caratteristiche demografiche,
  altre caratteristiche.

6
Cosa fa INVALSI in questo senso
Esperimenti randomizzati
Soluzioni non sperimentali

• Valutazione.M_at_t.abel

• Valutazione PQM
• Valutazione effetto fondi PON

7
Valutazione.M_at_t.abel
7
M_at_t.abel Matematica. Apprendimenti di Base con
e-learning
Formazione nazionale potenziata e rivolta in
questa versione agli insegnanti delle Regioni PON
(Calabria, Campania, Puglia, Sicilia).

UNIONE EUROPEA MINISTERO DELLISTRUZIONE, DELLUNIVERSITA E DELLA RICERCA INVALSI PON
8
Il caso di PON M_at_t.abel la logica
dellintervento
Scarso rendimento in matematica degli studenti
(PISA)
8
Nuova didattica in classe da parte degli
insegnanti
Formazione degli insegnanti
Problema risolvibile con nuove modalità di
insegnamento centrate sullapplicazione delle
nozioni a casi concreti
Miglior atteggiamento e rendimento degli studenti
in matematica
9
La logica dellesperimento in cosa consiste
Vogliamo vedere se una data politica è pubblica è
in grado di modificare una grandezza di
interesse confrontiamo due gruppi identici, uno
che ha ricevuto la politica e uno che non lha
ricevuta.
INTERVENTO
RANDOMIZZAZIONE
Mandati al trattamento
Confrontiamo quindi sulla grandezza di interesse
i trattati e i non trattati la differenza è
leffetto della politica
Potenziali beneficiari
Gruppo di controllo
10
Il caso di PON M_at_t.abel lintervento
La formazione è blended e strutturata in quattro
fasi 1. incontri introduttivi in presenza con il
tutor 2. incontri on line sulla piattaforma e
scelta delle unità didattiche 3. sperimentazione
in classe con assistenza on line del tutor 4.
incontro finale e consegna del diario di bordo da
parte degli insegnanti.
10
Cè una piattaforma con 28 unità didattiche
rivolte alla scuola secondaria di primo grado
(una sorta di sceneggiatura con forte enfasi
sugli aspetti applicativi della matematica e
materiali di supporto). Gli insegnanti devono
testare in classe 4 unità didattiche, redigendo
un diario di bordo e discutendo on line della
sperimentazione con il tutor e con gli altri
insegnanti della stasse classe virtuale di
formazione.
11
Il caso di PON M_at_t.abel il disegno di
valutazione dellintervento

• Randomizzazione delle scuole iscritte con
  dilazione del trattamento per il gruppo di
  controllo.

• Y abilità in matematica degli studenti
• (test modello SNV).

Potenziali beneficiari
RANDOMIZZAZIONE
12
Effetto medio sulle conoscenze matematiche
ciascun livello
6th grade 7th grade
8th grade
13
Differenze tra atteggiamenti e approccio
didattico degli insegnanti (gruppo trattato e
gruppo di controllo)
Note (a) the null hypothesis is difference in
means negative in all other cases the null
hypothesis is difference is equal to zero. The
symbols , , indicate that differences in
means are statistically significant at the 1, 5,
and 10 percent level.
14
Risposte preliminari

• I risultati preliminari suggeriscono che,
  nellanno in cui la formazione viene seguita, il
  programma M_at_t.abel non sortisce effetti
  statisticamente significativi.
• Si tratta di un risultato coerente con la
  letteratura in quanto un cambiamento
  dellapproccio didattico del docente richiede
  tempo
• Per questo, al fine di testare effetti di medio
  periodo, il progetto ha durata triennale.
• Vi sono alcune differenze nellapproccio
  didattico degli insegnanti e queste differenze
  potrebbero condurre a differenze negli
  apprendimenti negli anni successivi.

15
e nuove domande da esplorare

• Qualè leffetto di M_at_t.abel sullattitudine
  degli studenti verso la matematica?
• Cè un problema di self-selection nelle scuole
  che non hanno collaborato del tutto alla raccolta
  dati?
• Se così fosse, gli effetti di M_at_t.abel sono
  stati diluiti e quindi potrebbe essere utile
  modificare lintevento per migliorare la
  partecipazione di coloro che si iscriveranno in
  futuro?
• Chi dovrebbero essere i beneficiari
  dellintervento?
• Visto che letà è un fattore rilevante per la
  partecipazione, il fatto che il programma si
  rivolga a docenti di ruolo quindi di norma più
  anziani potrebbe essere messo in discussione.
  Allo stesso modo, se luso del computer è
  abbastanza collegato alletà, potrebbe esser
  utile assicurarsi che i partecipanti abbiano
  sufficienti conoscenze informatiche prima di
  iscriverli a questi programmi.

16
Soluzioni non sperimentali

• Valutazione PQM
• Valutazione effetto fondi PON

17
Disegno di valutazione PQM
La policy Formazione disciplinare in matematica
e promozione dellutilizzo di informazioni
standardizzate a fini diagnostici.

• Proposta valutativa
• Per tutte le classi (PQM e non) di tutte le
  scuole esiste una misura dingresso (Test SNV
  2009-10)
• In ogni scuola identificherà come classi di
  controllo le classi che hanno il profilo più
  simile alle classi PQM in termini di
• Tempo medio delle lezioni
• Regolarità
• Livello medio degli apprendimenti degli studenti
  come rilevato dal SNV 2009-10
• Livello medio di status socioculturale familiare
  (SCS) degli studenti per classe
• Sesso ( femmine)
• Origine ( nati in Italia).
• Ognuna delle classi individuate sosterrà la prova
  INVALSI PQM 2010-11 oggi!

Con i necessari caveat, il confronto del livello
medio dei risultati degli studenti delle classi
PQM rispetto ai risultati degli studenti delle
classi di controllo potrà fornire una prima
approssimazione relativamente alleffetto del
progetto PQM
18
Disegni di valutazione per la stima delleffetto
dei fondi PON - 1
Scuole simili (per contesto e tipo di popolazione
studentesca)
NO Fondi PON
Fondi PON
Quasi esperimenti Stime locali
19
Disegni di valutazione per la stima delleffetto
dei fondi PON - 2
Trend 2003-2009 Matematica - Italia
Risultati in crescita nelle regioni PON
Fonte INVALSI (2009), Rapporto Nazionale Pisa
2009 - http//www.invalsi.it/invalsi/ri/pisa2009.p
hp?pagepisa2009_it_09
20
Disegni di valutazione per la stima delleffetto
dei fondi PON - 2

• Analisi secondarie con metodologie di matching
• Quante delle scuole del campione PISA fruiscono
  di fondi strutturali?
• Coeteris paribus, ci sono differenze tra scuole
  PISA PON e NON PON?
• Come si comportano a 2 anni di distanza in base a
  prove SNV II SSSG a.s. 2010-11?

Fonte INVALSI (2009), Rapporto Nazionale Pisa
2009 - http//www.invalsi.it/invalsi/ri/pisa2009.p
hp?pagepisa2009_it_09
21
GRAZIE