III CONAVE

1
III CONAVE Congresso Nacional de Avaliação em
Educação
Produção de Medidas de Desempenho Educacional
pela Teoria da Resposta ao Item e sua
utilização para a melhoria da qualidade de ensino
CME COORDENAÇÃO DE MEDIDAS EDUCACIONAIS CAEd/UFJ
F (32)4009-2071 Wellington_at_caed.ufjf.br
2
CONTEÚDO

• 1 conceitos básicos
• 2 - Modelos matemáticos da TRI
• 3 Interpretação de Resultados
• 4 Tendências das avaliações no Brasil

3
1 - CONCEITOS BÁSICOS
1 - CONCEITOS BÁSICOS UTILIZADOS NA TRI
4
Fundamentos da TRI
1 - CONCEITOS BÁSICOS

• O que são itens?
• São os elementos que compõem os testes ou
• questionários
• O que é proficiência?
• É a medida que representa um determinado traço
• latente (aptidão)
• Teoria da Resposta ao Item (TRI)
• Grupo de modelos matemáticos e estatísticos que
• descrevem a associação entre a aptidão de um
  indivíduo
• e a probabilidade de uma resposta a um item

5
PRINCIPAIS PRODUTOS DA TRI
1 - CONCEITOS BÁSICOS
- Interpretação pedagógica da escala -
Comparabilidade de resultados - Entre
diferentes avaliações em um mesmo período
de tempo - Entre diferentes avaliações em
diferentes períodos de tempo
6
Como se calcula a proficiência de um aluno?
1 - CONCEITOS BÁSICOS

• I - AVALIAÇÃO EM LARGA ESCALA
• II TEORIA DA RESPOSTA AO ITEM - TRI
• III INDICADORES DE DESEMPENHO

7
I AVALIAÇÃO EM LARGA ESCALA
1 - CONCEITOS BÁSICOS
8
Como construir uma escala
1 - CONCEITOS BÁSICOS
9
Escala altura de uma pessoa
1 - CONCEITOS BÁSICOS

• Item 1
• Você consegue guardar as malas no bagageiro
• interno de um ônibus?
• Item 2
• Você consegue subir ou descer dois degraus de
  cada
• vez em uma escada?
• Item 3
• Para conversar com as pessoas, você precisa
  olhar para
• baixo?

10
Respostas do Questionário
1 - CONCEITOS BÁSICOS
Nome Item 1 Item 2 Item 3
Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim
11
Escala item x medida
1 - CONCEITOS BÁSICOS
Nome Item 1 Item 2 Item 3
Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim
12
Questionário de altura
1 - CONCEITOS BÁSICOS
13
3 estimação dos parâmetros dos itens
1 - CONCEITOS BÁSICOS
14
Posição dos itens na escala
1 - CONCEITOS BÁSICOS
15
Posição dos itens e pessoas na escala
1 - CONCEITOS BÁSICOS
16
II TEORIA DA RESPOSTA AO ITEM - TRI
1 - CONCEITOS BÁSICOS

• HISTÓRICO TRI
• FUNDAMENTOS TRI
• MEDIDAS E ESCALAS

17
Avaliações em larga escala com a TRI
1 - CONCEITOS BÁSICOS

• Análise segundo a TRI Lord (1952)
• Probabilidade de acerto ao item em função da
• habilidade
• Posicionamento dos itens em função da dificuldade
  
• na mesma escala da proficiência
• Década de 1970
• Desenvolvimento de testes adaptativos
• Década de 1980
• Desenvolvimento de softwares específicos para TRI
• Década de 1990
• Desenvolvimento de testes informatizados (CBTs)
• e testes adaptativos informatizados (CATs)

18
Características das avaliações em larga escala no
Brasil
1 - CONCEITOS BÁSICOS

• Até 1993 TCT
• A partir de 1995 TRI
• INEP
• Avaliações estaduais e municipais
• MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.

19
Características das avaliações em larga escala no
Brasil
1 - CONCEITOS BÁSICOS
1 Momento
2 Momento
3 Momento
20
BIB- SAEB ATÉ 2005
1 - CONCEITOS BÁSICOS
21
BIB- A PARTIR DE 2005
1 - CONCEITOS BÁSICOS
22
MEDIDAS E ESCALAS

1 - CONCEITOS BÁSICOS

• A ESCALA SAEB
• CONTRUÇÃO DE TESTES

23
ESCALA SAEB
1 - CONCEITOS BÁSICOS

• Matriz de referência
• Design do teste

24
ESCALAS DE PROFICIÊNCIACurva normal
1 - CONCEITOS BÁSICOS
25
ESCALA SAEB
1 - CONCEITOS BÁSICOS
26
ESCALA SAEB
1 - CONCEITOS BÁSICOS
27
ESCALA SAEB
1 - CONCEITOS BÁSICOS
250
270
190
28
2 MODELOS MATEMÁTICOS
2 MODELOS MATEMÁTICOS DA TRI CME
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS CAEd/UFJF
(32)4009-2071 Wellington_at_caed.ufjf.br
29
2 MODELOS MATEMÁTICOS DA TRI
1 PL
Dicotômico
2 PL
3 PL
UIRT
Modelo de crédito parcial
Politômico
Modelo de crédito parcial generalizado
Modelo
Modelo de resposta ponderada
Modelo de resposta nominal
Dicotômico
MIRT
Politômico
MODELOS MATEMÁTICOS
30
FUNDAMENTOS DA TRI
2 MODELOS MATEMÁTICOS DA TRI
Testes Unidimensionais compostos por
itens dicotômicos
31
Relação não-linear
2 MODELOS MATEMÁTICOS DA TRI
32
2 MODELOS MATEMÁTICOS DA TRI
33
MODELOS DA TRI 3PL
2 MODELOS MATEMÁTICOS DA TRI
ITEM PARÂMETROS PARÂMETROS PARÂMETROS
ITEM A B C
1 0,010 250 0,30
1
Probabilidade de Acerto
0,65
0,5
0,3
250
Proficiência
34
MODELOS DA TRI 3PL
2 MODELOS MATEMÁTICOS DA TRI
ITEM PARÂMETROS PARÂMETROS PARÂMETROS
ITEM A B C
1 0,010 250 0,30
2 0,020 250 0,30
Proficiência
35
MODELOS DA TRI 3PL
2 MODELOS MATEMÁTICOS DA TRI
ITEM PARÂMETROS PARÂMETROS PARÂMETROS
ITEM A B C
1 0,010 250 0,30
2 0,020 250 0,30
3 0,020 350 0,30
Proficiência
36
MODELOS DA TRI 3PL
2 MODELOS MATEMÁTICOS DA TRI
ITEM PARÂMETROS PARÂMETROS PARÂMETROS
ITEM A B C
1 0,010 250 0,30
2 0,020 250 0,30
3 0,020 350 0,30
4 0,020 350 0,20
Proficiência
37
ITENS DE UM TESTE
2 MODELOS MATEMÁTICOS DA TRI
38
EXEMPLOS DE ITENS discriminação boa
2 MODELOS MATEMÁTICOS DA TRI
39
EXEMPLOS DE ITENS discriminação ruim
2 MODELOS MATEMÁTICOS DA TRI
40
FUNDAMENTOS DA TRI
2 MODELOS MATEMÁTICOS DA TRI
Testes Unidimensionais compostos por
itens dicotômicos
41
Métodos de Estimação
2 MODELOS MATEMÁTICOS DA TRI

• Verossimilhança

42
Métodos de Estimação
2 MODELOS MATEMÁTICOS DA TRI

• Máxima Verossimilhança - ML

Métodos interativos

• Máxima Verossimilhança Marginal MML
• Máxima Verossimilhança Conjunta

43
Métodos de Estimação
2 MODELOS MATEMÁTICOS DA TRI

• Métodos Bayesianos

• - Distribuições utilizadas nas prioris
• População normal
• Parâmetros dos itens
• a log-normal
• b normal
• c beta

• Máxima Distribuição Marginal à Posteriori MMAP
• Máxima à Posteriori MAP
• Esperado à Posteriori - EAP

44
FUNDAMENTOS DA TRI
2 MODELOS MATEMÁTICOS DA TRI
Testes Unidimensionais compostos por
itens dicotômicos
45
MÉTODOS DE LINKAGEM
2 MODELOS MATEMÁTICOS

• Cultura de uma escala única nacional SAEB
• Características da avaliação em larga escala de
  1995
• a 2007

46
Equalização Vertical
2 MODELOS MATEMÁTICOS

• Avaliações do SAEB
• Testes com conteúdos diferentes
• Testes com descritores diferentes
• Populações não equivalentes

47
Designs ou Delineamentos para coleta de dados
2 MODELOS MATEMÁTICOS

• Design para grupos não equivalentes através de
  itens comuns

48
LINKAGEM
2 MODELOS MATEMÁTICOS

• Processo para colocar diferentes testes em uma
  mesma
• escala (equalização vertical)
• Método adotado Vertical equating

ITENS COMUNS ENTRE GRUPOS
49
TRI padrão SAEB
2 MODELOS MATEMÁTICOS
Testes Unidimensionais compostos por
itens dicotômicos
50
3 Interpretação de resultados

• Precisão do teste
• Ajuste do teste à população
• Interpretação de escala
• Indicadores de desempenho

51
PRECISÃO DO TESTE
3 Interpretação de resultados
52
AJUSTE DO TESTE COM A POPULAÇÃOTESTE BEM
AJUSTADO
3 Interpretação de resultados
53
AJUSTE DO TESTE COM A POPULAÇÃOTESTE DESAJUSTADO
3 Interpretação de resultados
54
INTERPRETÇÃO DA ESCALA
3 Interpretação de resultados
55
Ancoragem dos itens na escala
3 Interpretação de resultados

• Estatística
• PONTO DE ANCORAGEM DO ITEM
• Proficiência que corresponde a uma
  probabilidade de acerto de 65
• Especialistas pedagógicos
• Alocação dos itens na escala por descritor e
  ponto de ancoragem

56
INDICADORES DE DESEMPENHO
3 interpretação de resultados

• Interpretação de medidas de desempenho
• Série histórica SAEB
• IDEB

57
Interpretação de medidas de desempenho educacional
3 Interpretação de resultados
Posição média Variação percentuais por padrão
de desempenho
58
Interpretação de medidas de desempenho educacional
3 Interpretação de resultados
Posição média Variação percentuais por padrão
de desempenho
59
Interpretação de medidas de desempenho
educacional
3 Interpretação de resultados
Posição média Variação percentuais por padrão
de desempenho
60
Interpretação de medidas de desempenho educacional
3 Interpretação de resultados
61
3 Interpretação de resultados

• Série histórica SAEB Rede pública LÍNGUA
  PORTUGUESA

62
Série histórica SAEB Rede pública MATEMÁTICA
3 Interpretação de resultados
63
IDEB
3 Interpretação de resultados

• Forma geral do Ideb IDEB N . P
• N média da proficiência em Língua Portuguesa e
• Matemática, padronizada para um indicador entre
• 0 e 10, no exame realizado ao final da etapa de
  ensino
• P indicador de rendimento baseado na taxa de
• aprovação da etapa de ensino

64
3 Interpretação de resultados
65
Evolução do Ideb - Brasil
3 Interpretação de resultados

• Rede Pública Anos Iniciais Ens. Fundamental

66
Evolução do Ideb - Brasil
3 Interpretação de resultados

• Rede Pública Anos Finais Ens. Fundamental

67
Evolução do Ideb - Brasil
3 Interpretação de resultados

• Rede Pública Ensino Médio

68
Evolução do Ideb - Estados
3 Interpretação de resultados

• Rede Pública Anos Iniciais Ens. Fundamental

69
4 - Tendências

• Utilização de itens politômicos
• Subescalas
• Criticidade de corretores
• CAT

70
4 - Tendências

• Utilização de itens politômicos
• - Testes de escrita para alfabetização
• - Redação

71
4 - Tendências

• Subescala
• Leitura/escrita - Alfabetização
• Física/Química/Biologia e História/Geografia
• Ensino médio padrão ENEM

72
4 - Tendências

• Criticidade de corretores
• - 3 facetas
• - consistência e coincidência
• - BIB de corretores