Teoria da resposta ao item : desafios e perspectivas em exames multidisciplinares

Abstract

Resumo: A utilização da Teoria da Resposta ao Item (TRI) na avaliação educacional tem fornecido dados sobre às habilidades necessárias e competências dos educandos, visando mensurar seus conhecimentos não no teste como um todo, mas em cada item individualmente, apresentando-se como uma alternativa viável agregada à realidade do crescimento de métodos para avaliar alunos. Esta pesquisa fornece uma visão geral dos modelos da TRI e as implicações concretas em exames multidisciplinares, compostos por três conjunto de dados. O primeiro conjunto tem 94 alunos da graduação do curso de engenharia; o segundo com 189 alunos da graduação de administração da Pontifícia Universidade Católica do Paraná e o último conjunto com 436 alunos concluíntes da graduação de Estatística do Exame Nacional de Avaliação de Desempenho de Estudantes (Enade) no ano de 2009. Nos dois primeiros conjuntos de dados, o conhecimento e a preparação para o Enade foram considerados como avaliação interna da instituição, pois avaliam o desempenho. Para o terceiro conjunto de dados, foram consideradas somente as provas objetivas. A flexibilidade dos benefícios da TRI e as implicações do uso de modelos em processos educacionais são discutidas e abordadas a partir dos modelos encaixados: unidimensional (TRIU) e multidimensional (TRIM). Assim, para avaliar tanto a estimação dos parâmetros dos itens e os traços latentes dos respondentes, foi necessário que esses representassem a realidade observada e como são avaliados por tais modelos. Logo, o tema central desta pesquisa é mostrar a importância de um modelo da TRI multidimensional, capaz de levar em consideração uma prova que seja composta e, consequentemente, respondida por múltiplas habilidades latentes, para os testes realizados na avaliação. Os estudos descritos neste trabalho mostraram que cada modelo proposto da TRI tem suas particularidades. Foram aplicados critérios estatísticos, os quais permitiram que se fizessem críticas, escolhas e avaliações dos modelos para justificar metodológica e computacionalmente um modelo mais complexo. A interpretação dos resultados da escolha do modelo pode levar a conclusões precipitadas da TRI, principalmente em exames multidisciplinares, cuja dimensionalidade depende dos itens, os quais expressam as habilidades avaliadas. Os escores obtidos possibilitaram comparações convenientes da teoria clássica com a TRI na proposta da escala padronizada entre 0 e 1. O trabalho proporciona também análises para as habilidades dos alunos e métodos computacionais ainda não utilizados nas avaliações multidisciplinares. Os conjuntos de dados, foram sugeridos e aceitáveis por análises de diagnóstico estatístico, conforme o modelo, por representarem práticas em estudo, com ajustes e estimativas de parâmetros precisos e adequados. Palavras-chave: Avaliação. Habilidades. Modelos-TRI.

Abstract: The Item Response Theory (IRT) application on the educational evaluation has been providing data related to the to student’s required skills and their acquired competences, aiming to quantitate their knowledge on each item of the entire process, not only on the tests individualy. Therefore, it is seen as a viable alternative to be associated with the current increase of student’s evaluation methods. This research allows a wide view of the IRT models and their real implications on the educational evaluations, composed by three sets of data. The first one has 94 undergraduate Engineering student’s from Pontifícia Universidade Católica do (PUC) Paraná. The second group is composed by 189 undergraduate students from the Business Administration Course from PUC - Paraná and the last one had 436 undergraduate students of Statistics Course from the National Examination of Students Performance (ENADE) in 2009. In the first two data sets, both knowledge and preparation for Enade were considered an internal evaluation of the institution, since they assess the student’s performance. For the third data set, only the objective evaluations were considered. The TRI flexibility benefits and the implications of applying the models in educational processes are discussed and addressed from the following models: unidimensional (UIRT) and multidimensional (MIRT). Hence, in order to assess both estimation of the parameters and the latent traits of the respondents, it was necessary that they did represent the observed reality and how they are evaluated by such models. Therefore, the main objective of this research is to show the importance of an IRT multidimensional model, which is able to take into account that a test is formed and consequently answered by multiple latent skills, for the tests performed in the evaluation. The performed studies during this study have shown that each model proposed by IRT has its peculiarities. The applied statistical criteria allowed the use of critics, choices and evaluations of the model to justify both computational and methodologically a more complex model. The results interpretation concerning the model of choice can lead to IRT early conclusions, mainly in multidisciplinary tests, which dimensionality depends on the items, which express the assessed skills. The obtained scores allowed convenient comparisons of classical theory with the TRI based on the propose of the standardized scale between 0 and 1. This work also provides analyses concerning the students’ abilities and computational methods which have not yet been used in these assessments. However, the data sets were suggested and accepted by consistent statistical analyses according to the model since they represent the ongoing reality, with adjustments and estimates of accurate and appropriate parameters. Key-word: Evaluation. Abilities. IRT Models.