Teoria Clássica e Teoria da Resposta ao Item: introdução

1. Teoria Clássica e Teoria da Resposta ao Item: introdução Silvana Ligia Vincenzi Bortolotti Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática e Estatística – UFSC

2. Introdução Teoria Clássica de Medidas • Escores brutos ou padronizados (total de pontos do teste) • Os Resultados do teste dependem do conjunto de itens que compõem o instrumento de medida • Não permite a comparação entre indivíduos que não foram submetidos “aos mesmos instrumentos de medida”

3. Modelo

4. Utiliza: • estatísticas descritivas; • Coeficientes de correlação e proporções, para medir a qualidade dos itens, e quase nenhuma estatística inferencial; • Fórmula de Sperman-Brow e a fórmula–20 de Kuder-Richardson, ambas utilizadas para calcular a fidedignidade de um teste (fidedignidade refere-se à estabilidade dos seus resultados, se um teste é aplicado inúmeras vezes ao mesmo grupo de indivíduos espera-se que os resultados sejam os mesmos).

5. Limitações: • todas as suas medidas são dependentes das características dos examinados que se submetem ao teste ou ao questionário; • a dificuldade do item (proporção de indivíduos que acertam ao item) e a discriminação do item, que são usados para caracterizar a qualidade dos itens de um teste dependem do grupo de indivíduos do qual elas foram obtidas e, portanto, tem seu uso restringido se os examinados no pré-teste não são representativos da população. • Os escores, o observado e o verdadeiro aumentam e diminuem dependendo da dificuldade do teste; • Testes diferentes, com dificuldades e discriminação diferentes, produzem estimativas das habilidades diferentes.

6. Buscaram outras teorias alternativas para obter um modelo que atendesse aos seguintes quesitos: • estatísticas de itens não dependentes do grupo; • escores que não dependessem da dificuldade do teste para descrever as habilidades dos indivíduos; • modelos que não requeiram testes estritamente paralelos para avaliar a confiança ou fidedignidade dos indivíduos; • modelos que expressem antes o nível do item do que o nível do teste.

7. Esses e outros anseios foram resolvidos por uma outra estrutura de teoria de medida, conhecida como Teoria de Resposta ao Item, TRI

8. Introdução TRI • A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item • Traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, etc. • Item: questão (prova), pergunta (questionário sobre qualidade de vida),...

9. A partir de um conjunto de itens (questionário, prova, ...) deseja-se : • estimar os parâmetros dos itens (calibração) • “estimar” a habilidade, proficiência, grau de satisfação, grau de maturidade, ... • Exemplos: prova de matemática para alunos de uma determinada série, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico, ..)

10. Modelos • Depende do tipo de item • Item de múltipla escolha (corrigido como certo/errado) • Logístico (unidimensional) com 1, 2 ou 3 parâmetros • ( p/ itens corrigidos como certo/errado)

11. Modelo Logístico de 3 parâmetros a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: acerto casual (probabilidade)

12. Modelo Nominal(considera todas as categorias de resposta)

14. 1.Exemplo: Considere o seguinte item, extraído da Costa (2001) “O cardápio é bem organizado e de fácil compreensão”, com resposta dicotômica (concordo e discordo).

16. De acordo com este modelo observa-se de que consumidores com maior grau de satisfação pelo serviço prestado correlação ao cardápio têm maior probabilidade de concordar com o item que está sendo observado, nota-se que esta relação não é linear.

17. 2. Exemplo: “A pena de morte é errada, porém é necessária em nossa civilização imperfeita” (com as seguintes categorias de repostas: fortemente discordo, discordo, concordo e fortemente concordo).

18. Neste item as pessoas que tem sentimentos fortes contra pena de morte, escolheriam a categoria de resposta fortemente discordo. Pessoas que tem sentimentos de meio nível tenderiam a concordar com este item, entretanto pessoas que apóiam fortemente este item tenderiam a discordar fortemente porque eles não concordam com parte do item “pena de morte é errada”

19. Observe que neste item os níveis altos de concordância ou discordância não implicam em categorias de respostas mais altos, como ocorre com os modelos cumulativos. Neste caso o modelo cumulativo não seria adequado para a estimação do traço latente. O modelo de desdobramento seria o mais indicado

20. Todavia no item: “A pena de morte é necessária em nossa sociedade”... O modelo cumulativo seria mais apropriado, pois a probabilidade de concordância aumentaria com o aumento do apoio do respondente quanto a pena de morte.

21. Referências iniciais • Gulliksen, H. (1950). Theory of Mental Tests. New York: John Wiley and Sons. • Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley. • Vianna, H.M. (1987). Testes em Educação. São Paulo: Ibrasa.

22. Referências • Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley • Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates • Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of Item Response Theory. Newburry Park: Sage Publications. • Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.