The effect of test method on reading strategies : an analysis of multiple-choice and cloze tests

Abstract

Abstract : The aim of this research was to make an inventory of strategies used by ESL testtakers in order to correctly answer multiple-choice and cloze tests of reading. All informants had the University of Cambridge Certificate of Proficiency in English and therefore were considered to be proficient readers. This research involved a study in which the informants were asked to take Cambridge Proficiency multiple-choice as well as cloze tests and also answer a questionnaire in which they wrote how they got to the correct answers, i.e. what the mental process they went through in order to answer each test item. After classifying the data, two flow-charts of strategies used in both tests were constructed. We then compared these strategies to check if there were similarities and differences in each type of test, and came to the conclusion that test-takers use different strategies to answer multiple-choice and cloze tests. We have included in this research not only a review of the literature on testing, but also a review of current theories of reading widely accepted by theoreticians. We did so in order to verify similarities and differences between the reading process and test-taking process and came to the conclusion that even though test-takers adopt reading strategies, they also make use of strategies developed specifically to answer the multiple-choice and cloze tests successfully. We also perceived that multiple-choice and cloze tests, when used to measure reading comprehension, have low construct validity, because the examinees' performance is also affected by factors other than the ability of reading comprehension.

Resumo : O objetivo desta pesquisa foi fazer um levantamento de estratégias usadas por examinandos de uma segunda língua para chegar a respostas corretas nos testes de leitura de múltipla-escolha e cloze. Todos os informantes possuíam o 'Certificate of Proficiency in English' da Universidade de Cambridge o que comprova que eram leitores proficientes. Para a coleta de dados os informantes foram submetidos a um teste 'cloze' e a três testes de múltipla-escolha. Todos os testes usados foram extraídos dos exames do 'Cambridge Proficiency'. Os informantes também responderam a um questionário para especificar como chegaram às respostas corretas, isto é, qual foi o processo mental utilizado para solucionar as questões dos testes. Depois de classificar os dados, dois fluxogramas de estratégias usadas em ambos os testes foram elaborados. Em seguida, tais estratégias foram comparadas para verificar similaridades e diferenças entre os dois testes em pauta. Chegamos à conclusão de que os examinandos utilizam diferentes estratégias para responderem as questões dos testes de múltipla-escolha e 'cloze'. Também incluímos, nesta pesquisa, além de uma revisão de literatura a respeito cie testes, também uma outra revisão sobre teorias de processos de leitura amplamente aceitas pelos teóricos da atualidade. Na comparação das teorias de processos de leitura com as estratégias usadas pelos informantes nos testes de múltipla-escolha e cloze chegamos à conclusão de que os mesmos, ao fazerem um teste de múltipla-escolha ou cloze não somente utilizam estratégias de leitura descritos na literatura especializada, mas também estratégias exigidas especificamente por cada teste. Pudemos também perceber que tanto o teste de múltipla-escolha como o 'cloze', usados como instrumentos para a mensuração de compreensão de leitura, possuem baixa validade de conceito (construct validity), visto que o desempenho do examinado é afetado também por outros fatores, além da habilidade de compreensão de leitura.