LEEM : um modelo de avaliação da experiência do aprendiz com o uso de TDICS

Abstract

Resumo: A Learner eXperience (LX) pode ser definida como percepções e desempenhos dos aprendizes interagindo com ambientes de aprendizagem, produtos educacionais e recursos. A LX com Tecnologias Digitais de Comunicação e Informação (TDICs) pode ser projetada, aprimorada e avaliada por meio de diferentes elementos. Os elementos de LX dizem respeito aos componentes que norteiam o processo de avaliação de LX, permitindo verificar várias características da experiência, incluindo sentimentos e emoções na aprendizagem. Assim, sentiu-se a necessidade de investigar os aspectos da experiência dos aprendizes no uso de TDICs e quais são os impactos em sua aprendizagem. Por intermédio da literatura, percebeu-se que há diferentes formas de avaliar a LX e diferentes elementos de LX. A consideração de vários elementos de LX pode contribuir para a melhoria da experiência do aprendiz no uso de TDICs. Assim, a metodologia utilizada neste trabalho é a Design Science Research (DSR). A metodologia DSR foi selecionada por permitir a realização de pesquisas científicas atreladas ao desenvolvimento de artefatos inovadores. Nesta pesquisa de mestrado foi construído um corpo de conhecimento por meio do Mapeamento Sistemático da Literatura (MSL), em que foi investigado iniciativas que avaliam a LX e que apoiem o processo de aprendizagem dos aprendizes com o uso de TDICs. A partir das lacunas identificadas no MSL, foi proposto um modelo de avaliação com diferentes formas de avaliação que possibilita integrar a maioria dos elementos de LX. O modelo de avaliação de LX (LEEM - Learner Experience Evaluation Model) é composto por três etapas, sendo: pré-avaliação, durante a avaliação (professor e estudante) e pós-avaliação com o propósito de possibilitar acompanhamento contínuo e registro do progresso das experiências de aprendizagem dos aprendizes. Para o LEEM foi desenvolvido checklists e um conjunto de perguntas para cada etapa, em que busca-se tornar o aprendiz protagonista de sua aprendizagem por meio de autoavaliações. O LEEM é um modelo de avaliação que pode ser aplicado em diferentes níveis de ensino, com diferentes TDICs e em diferentes disciplinas. Realizou-se dois estudos, sendo um estudo de viabilidade e um estudo de caso. O primeiro estudo foi realizado com professores de diferentes níveis de ensino para avaliar o LEEM e criar um corpo de conhecimento acerca deste modelo. E, o segundo estudo foi realizado com uma professora e uma turma de aprendizes para avaliar a LX em um contexto real, permitindo evoluir e melhorar o modelo LEEM. Por meio desta pesquisa, espera-se que o LEEM permita ao professor identificar o perfil dos aprendizes (checklist pré-avaliação) e as experiências vivenciadas por eles (checklist pós-avaliação). Além disso, foi possível comparar a avaliação do professor com a autoavaliação do aprendiz por intermédio dos checklists utilizados na avaliação durante as atividades educacionais usando TDICs. Em suma, espera-se que o LEEM auxilie os professores a repensarem suas estratégias de ensino quando notarem que os aprendizes relataram dificuldades com os recursos adotados. Espera-se também que os professores observem se os aprendizes se mantiveram motivados na atividade educacional e o que poderia ser melhorado.

Abstract: Learner eXperience (LX) can be defined as the perceptions and performance of students interacting with learning environments, educational products, and resources. LX with Digital Information and Communication Technologies (DICTs) can be designed, improved, and evaluated through its elements. The LX elements refer to the components that guide the LX evaluation process, allowing the verification of various characteristics of the experience, including feelings and emotions in learning. Therefore, there was a need to investigate aspects of the learners' experience in using DICTs and what the impacts are on their learning. Through the literature, it was noticed that there are different ways of evaluating LX and different elements of LX. The consideration of several elements of the LX can contribute to the improvement of the experience in the use of DICTs. Thus, the methodology used in this work is Design Science Research (DSR). The DSR methodology was selected because it allows scientific research to be carried out linked to the development of innovative artifacts. In this master's research, a body of knowledge was built through the Systematic Mapping Study (SMS), in which initiatives that evaluate the LX and that support the students' learning process using DICTs were investigated. Based on the gaps identified in the SMS, an evaluation model was proposed with different forms of evaluation that make it possible to integrate most of the elements of the LX. The Learner Experience Evaluation Model (LEEM) is composed of three stages, namely: pre-evaluation, during evaluation (teacher and student), and post-evaluation to enable continuous monitoring and recording of the progress of students' experiences. For LEEM, checklists and a set of questions were developed for each stage, which seeks to make the learner the protagonist of their learning through self-assessments. LEEM is an assessment model that can be applied at different levels of education, with different DICTs, and in different subjects. Two studies were carried out, one being a feasibility study and one case study. The first study was carried out with teachers from different education levels to evaluate LEEM and create a body of knowledge about this model. And, the second study was carried out with a teacher and a class of apprentices to evaluate LX in a real context, allowing the LEEM model to evolve and improve. Through this research, it is expected that LEEM will allow the teacher to identify the profile of learners (checklist pre-assessment) and the experiences they have (checklist post-assessment). Furthermore, it was possible to compare the teacher's assessment with the learner's self-assessment through the checklists used in the assessment during educational activities using DICTs. In short, LEEM is expected to help teachers rethink their teaching strategies when they notice that learners report difficulties with the resources adopted. Teachers are also expected to observe whether learners remained motivated in the educational activity and what could be improved.