Teoria de Resposta ao Item aplicada à prova do ENADE 2014 para Engenharia da Computação
DOI:
https://doi.org/10.13037/ria.vol15n1.6984Abstract
Esse estudo visa apresentar as vantagens da utilização da Teoria de Resposta ao Item (TRI), em conjunto com a análise das questões objetivas do ENADE 2014 e do desempenho dos estudantes de Engenharia da Computação, comparando esses resultados com aqueles divulgados pelo INEP. Para isso, 26 itens foram analisados, sendo oito do componente formação geral (FG) e 18 de conhecimento específico (CE), respondidos por 2.424 estudantes do Brasil. O modelo logístico de três parâmetros foi utilizado, que envolve a dificuldade, a discriminação e a probabilidade de acerto ao acaso dos itens. Após análise pela TRI, seis itens foram eliminados e os níveis de dificuldade dos itens obtiveram ordens semelhantes às encontradas pelos índices de facilidade. Sugere-se adicionar itens mais difíceis para FG e itens mais fáceis para CE. Obteve-se uma correlação positiva e forte entre os escores das metodologias comparadas. Para FG, a maioria apresentou desempenho superior à média dos estudantes, já em CE, a maioria apresentou desempenho inferior à média. Por fim, do ponto de vista estatístico, nota-se que é preciso tomar mais cuidado com a elaboração da prova, pois restaram 20 itens na prova dentre os 35 itens respondidos pelos estudantes.
Downloads
References
ANDRADE, D.F.; TAVARES, H.R.; VALLE, R.C. Teoria de Resposta ao Item: conceitos e aplicações. São Paulo: ABE, 2000.
BAKER, F.B. The basics of item response theory. Washington, DC: ERIC Clearinghouse on Assessment and Evaluation, 2001.
BIRNBAUM, A. Some Latent Trait Models and Their Use in Infering an Examinee’s Ability. In LORD, F.M.; NOVICK, M.R. Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley, 395-479, 1968.
CAMARGO, R. V. W.; CAMARGO, R. C. C.P.; ANDRADE, D. F.; BORNIA, A. C. Desempenho dos alunos de ciências contábeis na prova ENADE/2012: uma aplicação da Teoria da Resposta ao Item. REPeC, v. 10, n. 3, p. 332-355, 2016.
EMBRETSON, S.; REISE, S. P. Item Response Theory for Psychologists. New Jersey: Lawrence Erlbaum Associates, Inc., Publishers, 2000.
HAMBLETON, R.K.; SWAMINATHAN, H.; ROGERS, J. Fundamentals of Item Response Theory. Measurement Methods for the Social Science. Newbury Park: SAGE Publications, Inc., 1991.
INEP. ENADE 2014 – Exame Nacional de Desempenho dos Estudantes. Relatório de área. Engenharia de Computação, Versão: 07/04/2016. (2016). SINAES, 364p. Disponível em: http://download.inep.gov.br/ educacao_superior/enade/relatorio_sintese/2014/2014_rel_engenharia_de_computacao.pdf. Acesso: ago. 2018.
INEP. Censo da Educação Superior 2016. (2017). Disponível em: http://portal.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/ content/mec-e-inep-divulgam-dados-do-censo-da-educacao-superior-2016/21206. Acesso em: ago. 2018.
KLEIN, R. Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Basica (SAEB). Revista Meta: Avaliação, [S.l.], v. 1, n. 2, p. 125-140, sep. 2009.
LOPES, F. L.; VENDRAMINI, C. M. M. Propriedades psicométricas das provas de pedagogia do ENADE via TRI. Avaliação, v. 20, n. 1, p. 27-47, 2015.
NOGUEIRA, S. O. ENADE: Analise de itens de formação geral e de estatística pela TRI. Dissertação de Mestrado, Programa de Pós-Graduação em Psicologia, Universidade São Francisco, Itatiba, 2008.
PRIMI, R.; HUTZ, C. S.; SILVA, M. C. R. A prova do ENADE de psicologia 2006: concepção, construção e análise psicométrica da prova. Avaliação Psicológica, v. 10, n. 3, p. 271-294, 2011.
R Core Team (2018). R: A language and environment for statistical computing. R Foundation for Statistical Computing,Austria. https://www.R-project.org
SOARES, T. M. Utilização da teoria da resposta ao item na produção de indicadores sócio-econômicos. Pesquisa Operacional, v. 25, n. 1, p. 83-112, 2005.
SCHER, V. T. et al. Uma aplicação da teoria da resposta ao item na avaliação do ENADE do curso de Administração. XIV Colóquio Internacional de Gestão Universitária, Florianópolis-SC, 3 a 5 de dezembro de 2014, 2014.
SPENASSATO, D.; TEZZA, R. Aplicação da Teoria da Resposta ao Item na análise da prova do ENADE 2014 - Engenharia da Computação. In: 8º MCSul/VIII SEMENGO, 2018, Rio Grande - RS. Anais do 8º MCSul / VIII SEMENGO, 2018. p. 610-624.
ZIMOWSKI, M., MURAKI, E., MISLEVY, R., BOCK, D. Software BILOG-MG V3.0. Scientific Software International, Inc., 2003.
Downloads
Published
Issue
Section
License
Os autores que publicam trabalhos na RIA estão de acordo com os seguintes termos:
- Autores mantêm seus direitos autorais e concedem à RIA o direito à primeira publicação. Admite-se o compartilhamento do referido trabalho, desde que seja reconhecida sua autoria e publicação inicial nesta revista.
- Autores podem fechar contratos adicionais separadamente, para distribuição não exclusiva da versão do trabalho publicado na RIA, com reconhecimento de sua autoria e publicação inicial nesta revista.
- Autores podem publicar e distribuir seu trabalho online, antes ou durante o processo editorial.