Um estudo no uso de feedbacks para mudanças de estados afetivos do estudante usando eletroencefalograma e expressões faciais
Resumo
Resumo: O estado afetivo e um dos fatores mais importantes quando se trata de motivacao do estudante. Estudos apontam que emocoes positivos contribuem para a aprendizagem, enquanto que emocoes negativam dificultam. O papel dos feedbacks e importante, principalmente quando e direcionado e adaptado ao estudante, e podem ser feedbacks pos-processo, que sao fornecidos depois da resposta, ou feedbacks em processo, que sao apresentados antes da finalizacao da questao. Porem, no contexto educacional, o fator afetivo e pouco utilizado por diversos fatores, tais como a desproporcionalidade entre o numero de alunos e o numero de docentes, dificultando a identificacao do estado afetivo individual, ou o fato da dificuldade na adaptacao do conteudo e dos feedbacks de acordo com cada variacao de emocao individual. Uma possibilidade que pode auxiliar nessas tarefas e utilizar o contexto computacional para registrar e reconhecer os estados afetivos do estudante de acordo com suas expressoes da face e tambem da atividade neural via Eletroencefalograma (EEG) e com isso, adaptar feedbacks utilizando Sistemas Tutores Inteligentes (ITS) de acordo com estas mudancas afetivas. Este trabalho apresenta um estudo no uso de feedbacks em processo para analise de mudancas afetivas. Para isso, uma abordagem modular chamada NeurAFFeed foi elaborada, realizando a coleta, analise e armazenamento de estados afetivos do estudante, enquanto resolve questoes de linguagem de programacao em um Ambiente Virtual de Aprendizagem (AVA), atraves de dados da face usando uma webcam e dados de EEG atraves de uma interface cerebro-computador (BCI, do ingles, Brain-Computer Interface) de baixo custo chamada OpenBCI, para que um modulo afetivo para STI faca a observacao de tais estados e decida exibir ou nao feedbacks em processo, que serao apresentados ao estudante na forma de notificacoes em um AVA. O experimento utilizou a abordagem NeurAFFeed em um grupo de vinte estudantes, sendo metade o Grupo Controle (GC), sem apresentacao de feedbacks, e a outra metade o Grupo Experimental (GE), com exibicao de feedbacks. A analise dos dados demonstrou que houve uma diferenca significativa entre o GC e o GE, ocorrendo um aumento de 14,9% nas mudancas dos estados afetivos para quadrantes preferiveis nos dados de faces e um aumento de 12,5% para dados de EEG. Tambem foi evidenciado a possibilidade de elaboracao de rankings dos melhores feedbacks de acordo com os dados de face e EEG. A analise dos resultados sinaliza que a abordagem NeurAFFeed permite a realizacao de estudos que usam feedbacks em processo para verificacao de mudancas afetivas com dados de face e de EEG coletados com aparelhos nao-clinicos e de baixo custo como webcam e OpenBCI, respectivamente. Este trabalho contribui com a possibilidade da utilizacao de sua abordagem para novos estudos nas areas de STI afetivo, feedbacks em processo e analise acessivel de atividade neural. Abstract: The affective state is one of the most important factors when it comes to student motivation. Studies show that positive emotions contribute to learning, while negative emotions make it difficult. The role of feedback is important, especially when it is directed and adapted to the student, and can be post-process feedback, which is provided after the answer, or in-process feedback, which is presented before the finalization of the question. However, in the educational context, the affective factor is rarely used due to several factors, such as the disproportionality between the number of students and the number of teachers, making it difficult to identify the individual affective state, or the fact that it is difficult to adapt the content and feedbacks according to each individual emotion variation. A possibility that can help in these tasks is to use the computational context to record and recognize the student’s affective states according to their facial expressions and also the neural activity via Electroencephalogram (EEG) and with that, adapt feedbacks using Intelligent Tutoring Systems (ITS) according to these changes affective. This work presents a study on the use of process feedbacks to analyze affective changes. For this, a modular approach called NeurAFFeed was elaborated, performing the collection, analysis and storage of the student’s affective states, while solving programming language issues in a Virtual Learning Environment (VLE), through face data using a webcam and EEG data through a low-cost Brain-Computer interface (BCI) called OpenBCI, so that an affective module for ITS observes such states and decides whether or not to display feedbacks in process, which will be presented to the student in the form of notifications on a VLE. The experiment used the NeurAFFeed approach in a group of twenty students, half being the Control Group (GC), without feedback, and the other half being the Experimental Group (EG), with feedback. Data analysis showed that there was a significant difference between the CG and the EG, with an increase of 14.9% in changes from affective states to preferable quadrants in face data and an increase of 12.5% for EEG data. The possibility of developing rankings of the best feedbacks according to face and EEG data was also evidenced. The analysis of the results indicates that the NeurAFFeed approach allows the realization of studies that use in-process feedbacks to verify affective changes with face and EEG data collected with non-clinical and low-cost devices such as webcam and OpenBCI, respectively. This work contributes with the possibility of using his approach for new studies in the areas of affective ITS, in-process feedbacks and accessible analysis of neural activity.
Collections
- Teses [140]