Teoria de Resposta ao Item aplicada à prova do ENADE 2014 para Engenharia da Computação

Débora Spenassato, Rafael Tezza

Resumo


Esse estudo visa apresentar as vantagens da utilização da Teoria de Resposta ao Item (TRI), em conjunto com a análise das questões objetivas do ENADE 2014 e do desempenho dos estudantes de Engenharia da Computação, comparando esses resultados com aqueles divulgados pelo INEP. Para isso, 26 itens foram analisados, sendo oito do componente formação geral (FG) e 18 de conhecimento específico (CE), respondidos por 2.424 estudantes do Brasil. O modelo logístico de três parâmetros foi utilizado, que envolve a dificuldade, a discriminação e a probabilidade de acerto ao acaso dos itens. Após análise pela TRI, seis itens foram eliminados e os níveis de dificuldade dos itens obtiveram ordens semelhantes às encontradas pelos índices de facilidade. Sugere-se adicionar itens mais difíceis para FG e itens mais fáceis para CE. Obteve-se uma correlação positiva e forte entre os escores das metodologias comparadas. Para FG, a maioria apresentou desempenho superior à média dos estudantes, já em CE, a maioria apresentou desempenho inferior à média. Por fim, do ponto de vista estatístico, nota-se que é preciso tomar mais cuidado com a elaboração da prova, pois restaram 20 itens na prova dentre os 35 itens respondidos pelos estudantes.


Texto completo:

PDF

Referências


ANDRADE, D.F.; TAVARES, H.R.; VALLE, R.C. Teoria de Resposta ao Item: conceitos e aplicações. São Paulo: ABE, 2000.

BAKER, F.B. The basics of item response theory. Washington, DC: ERIC Clearinghouse on Assessment and Evaluation, 2001.

BIRNBAUM, A. Some Latent Trait Models and Their Use in Infering an Examinee’s Ability. In LORD, F.M.; NOVICK, M.R. Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley, 395-479, 1968.

CAMARGO, R. V. W.; CAMARGO, R. C. C.P.; ANDRADE, D. F.; BORNIA, A. C. Desempenho dos alunos de ciências contábeis na prova ENADE/2012: uma aplicação da Teoria da Resposta ao Item. REPeC, v. 10, n. 3, p. 332-355, 2016.

EMBRETSON, S.; REISE, S. P. Item Response Theory for Psychologists. New Jersey: Lawrence Erlbaum Associates, Inc., Publishers, 2000.

HAMBLETON, R.K.; SWAMINATHAN, H.; ROGERS, J. Fundamentals of Item Response Theory. Measurement Methods for the Social Science. Newbury Park: SAGE Publications, Inc., 1991.

INEP. ENADE 2014 – Exame Nacional de Desempenho dos Estudantes. Relatório de área. Engenharia de Computação, Versão: 07/04/2016. (2016). SINAES, 364p. Disponível em: http://download.inep.gov.br/ educacao_superior/enade/relatorio_sintese/2014/2014_rel_engenharia_de_computacao.pdf. Acesso: ago. 2018.

INEP. Censo da Educação Superior 2016. (2017). Disponível em: http://portal.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/ content/mec-e-inep-divulgam-dados-do-censo-da-educacao-superior-2016/21206. Acesso em: ago. 2018.

KLEIN, R. Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Basica (SAEB). Revista Meta: Avaliação, [S.l.], v. 1, n. 2, p. 125-140, sep. 2009.

LOPES, F. L.; VENDRAMINI, C. M. M. Propriedades psicométricas das provas de pedagogia do ENADE via TRI. Avaliação, v. 20, n. 1, p. 27-47, 2015.

NOGUEIRA, S. O. ENADE: Analise de itens de formação geral e de estatística pela TRI. Dissertação de Mestrado, Programa de Pós-Graduação em Psicologia, Universidade São Francisco, Itatiba, 2008.

PRIMI, R.; HUTZ, C. S.; SILVA, M. C. R. A prova do ENADE de psicologia 2006: concepção, construção e análise psicométrica da prova. Avaliação Psicológica, v. 10, n. 3, p. 271-294, 2011.

R Core Team (2018). R: A language and environment for statistical computing. R Foundation for Statistical Computing,Austria. https://www.R-project.org

SOARES, T. M. Utilização da teoria da resposta ao item na produção de indicadores sócio-econômicos. Pesquisa Operacional, v. 25, n. 1, p. 83-112, 2005.

SCHER, V. T. et al. Uma aplicação da teoria da resposta ao item na avaliação do ENADE do curso de Administração. XIV Colóquio Internacional de Gestão Universitária, Florianópolis-SC, 3 a 5 de dezembro de 2014, 2014.

SPENASSATO, D.; TEZZA, R. Aplicação da Teoria da Resposta ao Item na análise da prova do ENADE 2014 - Engenharia da Computação. In: 8º MCSul/VIII SEMENGO, 2018, Rio Grande - RS. Anais do 8º MCSul / VIII SEMENGO, 2018. p. 610-624.

ZIMOWSKI, M., MURAKI, E., MISLEVY, R., BOCK, D. Software BILOG-MG V3.0. Scientific Software International, Inc., 2003.




DOI: https://doi.org/10.13037/ria.vol15n1.6984

Revista de Informática Aplicada - USCS/UFABC

 

Indexadores que a RIA faz parte: