Diapositiva 1

1
Il nuovo strumento indicazioni metodologiche
Patrizia Falzetti Ricercatore, Responsabile
Servizio statistico INVALSI Antonella
Mastrogiovanni Ricercatore - INVALSI
Roma, 7 luglio 2010
2
La costruzione degli strumenti
Gli strumenti costruiti hanno lo scopo di far
emergere abilità e lacune, punti di forza e punti
di debolezza per orientare i rispondenti nella
costruzione del proprio percorso di
istruzione/formazione.
Le tappe per la realizzazione degli strumenti

• Costruzione del questionario
• Costruzione del fascicolo di prove cognitive
• Costruzione dei materiali di supporto
  allutilizzo
• Costruzione dello strumento per la condivisione
  dellazione valutativa e lorientamento

3
Costruzione del questionario
Sulla base delle indicazioni raccolte durante i
seminari di diffusione sono state apportate
modifiche al questionario di raccolta dati di
tipo socio demografico.
-miglioramento dellediting per facilitare la
lettura da parte del docente/tutor alla persona
intervistata -riformulazione di alcune domande
che dalle indicazioni sembravano poter generare
ambiguità nellinterpretazione -approfondimenti
relativi alla sezione tempo libero sullutilizzo
della televisione
Quali indicazioni?
4
Costruzione del fascicolo di prove cognitive
Individuazione di un gruppo di esperti (uno per
ogni ambito) per la produzione di nuove prove
(stimolo più domande a esso riferite) di
competenza funzionale.
Le prove costruite dovevano essere accompagnate
dalla descrizione dei box di approfondimento
tipologia di prova, abilità rilevate, descrizione
dello stimolo e delle modalità per rispondere
alle domande.
Prose e document literacy
10 prove
Quadro di riferimento lindagine internazionale
di ALL
Numeracy
10 prove
Problem solving
4 prove
5
Costruzione del fascicolo di prove cognitive

• Indicazioni fornite
• Quantità di prove da realizzare
• Struttura delle prove (numero di item per
  stimolo, per uno stesso stimolo produzione di
  item che rilevino competenze differenti)
• Progettazione degli item secondo diversi livelli
  di difficoltà

Correzione dei materiali prodotti
FASE 1 Correzione a distanza dei primi materiali
prodotti al fine di aggiustare il tiro.
FASE 2 Correzione in presenza con tutto il gruppo
di lavoro
6
Costruzione del fascicolo di prove cognitive

• Fascicoli simili nella struttura
• -stesso numero di prove
• stessa articolazione delle prove relativamente
  agli ambiti di competenza

Composizione di due fascicoli

• Somministrazioni nei CTP e corsi serali (4 CTP e
  3 scuole serali)
• 210 rispondenti in totale

Somministrazione pilota
Predisposizione di 2 dataset elaborati con la
tecnica di Rasch
7
La Rasch Analysis (RA)
La principale caratteristica della RA è quella di
ottenere sulla stessa scala la stima della
difficoltà di ciascuna domanda e la misura del
livello di prestazione del rispondente (abilità
del rispondente).

• Gli strumenti sono
• valutazione del potere informativo della prova
• stima della difficoltà delle domande
• placement relativo delle domande rispetto al
  punteggio di Rasch assegnato a ciascun
  rispondente.

8
Alpha di Cronbach
E un indice che assume come valore minimo 0 e
tanto più si avvicina ad 1 tanto maggiore è la
coerenza complessiva della prova oggetto di
interesse. La letteratura psicometrica fornisce
alcuni valori di riferimento per la lettura
dellalpha sulla coerenza generale di una
prova. Valori di alpha Attendibilità della
prova 0,80 o superiore Molto buona Da 0,70 a
0,80 Buona Da 0,50 a 0,70 Modesta Inferiore a
0,50 Inadeguata
Laffidabilità che lo strumento sia in grado di
produrre gli stessi risultati in misurazioni
differenti
9
Fascicolo 1 Coefficient Alpha 0,88 Fascicolo
2 Coefficient Alpha 0,91
10
Test information function
E la funzione di informazione del test che
consente di comprendere se, nel loro insieme, i
quesiti proposti sono in grado di fornire una
buona valutazione del livello di competenza e
abilità conseguito dai rispondenti. Lasse
orizzontale rappresenta il livello della
variabile latente oggetto di studio (il livello
di abilità dei rispondenti) mentre lasse
verticale (informazione) indica il contributo
informativo che la prova nel suo complesso è in
grado di fornire in corrispondenza di un
determinato livello di abilità.
11
Fascicolo 1
I valori del tratto orizzontale tra i quali tale
funzione assume valori elevati si concentrano tra
-2,5 e 4
La prova, nel suo complesso è in grado di stimare
con maggiore accuratezza i livelli di competenze
dei rispondenti allinterno di questo intervallo,
ovvero tra -2,5 e 4. Quindi rispondenti con
abilità alte.
-2,5
4,0
Livello di abilità dei rispondenti
12
Fascicolo 2
I valori del tratto orizzontale tra i quali tale
funzione assume valori elevati si concentrano tra
-3,5 e 3
La prova è più equilibrata della precedente anche
se lievemente a favore di rispondenti con basse
abilità.
-3,5
3,0
Livello di abilità dei rispondenti
13
Stime della difficoltà delle domande
La tavola seguente riporta le stime del parametro
di difficoltà degli item, del relativo errore di
stima, oltre ad un indice che indica
ladattamento al modello teorico (Fit). Indici
di difficoltà inferiori allo zero indicano in
generale item non particolarmente difficili, al
contrario indici di difficoltà superiori allo
zero indicano item più difficili.
14
N. Item Indice di difficoltà ERROR MNSQ
2 F1ps2_a_acq. 2,916 0,355 1,03
1 F1ps1_seque. 2,577 0,32 1,06
20 F1d16_bolle. 2,383 0,304 0,9
5 F1d1_check-. 2,123 0,285 1,04
14 F1d10_parco. 1,549 0,254 1,08
26 F1d22_ridsu. 1,549 0,254 0,93
15 F1d11_parco. 1,125 0,239 1,22
3 F1ps2_b_acc. 1,068 0,238 1,21
6 F1d2_check-. 0,956 0,235 1,09
------- ------- ------- ------- -------
27 F1d23_gita_. 0,956 0,235 0,93
21 F1d17_bolle. 0,901 0,234 0,89
4 F1ps3_spedi. 0,219 0,227 1,21
16 F1d12_marem. 0,219 0,227 0,91
8 F1d4_tappet. 0,116 0,227 1,2
18 F1d14_parac. -0,351 0,23 0,82
9 F1d5_tappet. -0,404 0,231 0,95
12 F1d8_cinema. -0,404 0,231 1,19
7 F1d3_check-. -0,458 0,232 1,02
13 F1d9_parco_. -0,791 0,239 1,09
10 F1d6_tappet. -1,78 0,281 0,71
Item più difficili
(Sono indicati con i valori positivi)
Fascicolo 1
In questo fascicolo solo pochi (6) item sono
facili.
Item più facili
(Sono indicati con i valori negativi)
15
N. Item Indice di difficoltà ERROR MNSQ
2 F2ps2_a_sce. 2,875 0,356 1,08
1 F2ps1_seque. 2,147 0,296 1,19
10 F2d6_frutti. 1,601 0,266 1,02
3 F2ps2_b_ora. 0,897 0,243 0,83
25 F2d21_memor. 0,665 0,239 0,86
23 F2d19_gelat. 0,551 0,237 0,93
20 F2d16_cup_3 0,384 0,236 1,07
15 F2d11_popol. 0,273 0,235 1
14 F2d10_popol. 0,053 0,235 1,24
------- ------- ------- ------- -------
22 F2d18_gelat. -0,795 0,244 0,78
9 F2d5_frutti. -0,995 0,25 0,88
5 F2d1_compra. -1,037 0,249 1,09
18 F2d14_cup_1 -1,037 0,249 0,68
17 F2d13_energ. -1,427 0,261 0,97
24 F2d20_memor. -1,427 0,261 0,84
12 F2d8_gara_n. -1,638 0,269 1,16
4 F2ps3_perco. -1,712 0,272 1,02
7 F2d3_compra. -1,863 0,279 1,05
21 F2d17_gelat. -1,942 0,283 0,76
16 F2d12_popol. -2,373 0,306 0,96
Item più difficili
Sono pochi (3) gli item particolarmente difficili
(Sono indicati con i valori positivi)
Fascicolo 2
Item più facili
(Sono indicati con i valori negativi)
16
Item map
Lanalisi delle stima della difficoltà degli item
rimanda, a completamento dellanalisi, alla stima
delle abilità dei rispondenti. Interessante a tal
fine è la valutazione del placement relativo tra
le domande e i punteggi complessivi assegnati a
ciascuno studente in base al modello
teorico. Litem map è la rappresentazione sulla
medesima scala sia dei rispondenti distribuiti
secondo la stima della loro abilità sia della
distribuzione degli item secondo la stima della
loro difficoltà.
17
Distribuzione degli item in funzione della loro
difficoltà
Gli item difficili coprono le abilità dei
rispondenti
Distribuzione delle stime delle abilità dei
rispondenti
Gli item con un livello di difficoltà basso si
posizionano allestremo inferiore della scala,
mentre quelli più difficili allestremo
superiore.
Fascicolo 1
Non ci sono item facili
18
Ci sono zone non coperte da item
Gli item sono ben distribuiti anche se molti
rispondenti agli estremi non hanno item adatti a
rilevare la loro abilità
Fascicolo 2
19
Analisi degli item
Lanalisi si è infine soffermata su ciascun item
singolarmente al fine di scegliere quelli
migliori per la composizione dello strumento
finale. In particolare per ciascun item si è
osservata una tabella come quella di seguito
indicata ottenendo le informazioni salienti ai
fini della scelta.
20
Indice di discriminazione
Item 4 ------ item4 (F1ps3_spedizione_bici)

Cases for this item 105 Discrimination
0.41 Item Threshold(s) 0.22 Weighted MNSQ
1.21 Item Delta(s) 0.22 ---------------
--------------------------------------------------
------------- Label Score Count of
tot Pt Bis t (p) PV1Avg1 PV1 SD1
-------------------------------------------------
----------------------------- 0 0.00
17 16.19 -0.32 -3.45(.001) -0.82
1.05 1 1.00 50 47.62
0.41 4.53(.000) 0.47 1.11 2
0.00 38 36.19 -0.18 -1.83(.070)
-0.15 1.30

Fit
Statistica T
Risposta corretta
Correlazione punto biseriale
Percentuale di risposte corrette o indice di
difficoltà
21
Indice di discriminazione/correlazione punto
biseriale indica quanto litem riesce a
discriminare tra rispondenti con alte abilità
rispetto a quelli con basse abilità. Nello
specifico rappresenta la correlazione tra la
probabilità di scegliere una data opzione e
labilità complessiva del rispondente. Tale
legame deve essere negativo per le opzioni di
risposta non corrette e positivo solo per quella
esatta. Una domanda è ben formulata se, in media,
coloro che rispondono correttamente a quella
domanda lo fanno anche a buona parte delle
altre. Si considerano funzionanti gli item con un
valore gt 0,35. N.B. Valori negativi di tale
indice denotano che litem non funziona in quanto
paradossalmente i meno bravi rispondono bene ed i
più bravi rispondono male.
22
La percentuale di risposte corrette o indice di
difficoltà, deve essere compresa tra 25 e 75.
Un item con un indice di difficoltà gt75 è da
considerarsi molto facile, con un indice di
difficoltàlt25 è da considerarsi molto
difficile. Il Fit deve essere approssimativamente
1 (va verificato che leventuale differenza da 1
sia statisticamente significativa e lo si fa
controllando la statistica T).
23
Il nuovo fascicolo di prove cognitive
Scelta operata
Partire dal fascicolo 2 per la ricomposizione del
fascicolo unico definitivo
Eliminare nel fascicolo 2 gli item che non
funzionavano bene
Sostituire gli item eliminati con quelli della
stessa tipologia più efficaci presenti fascicolo 1