Identificação automática por agrupamento de falsas concepções na solução de problemas algébricos

Abstract

Resumo: Os erros são uma parte importante do processo de aprendizagem de matemática porque representam uma má compreensão de um conceito, uma falsa concepção ou misconception. Por esta razão, odiagnósticodeerrospodeajudarprofessoreseambientesinteligentesdeaprendizagem a escolher o tipo de assistência mais apropriado para o aluno. Trabalhos anteriores utilizaram abordagens como sistemas especializados baseados em regras (bug library) e algoritmos de agrupamento (clustering) para identificar conceitos errados. A biblioteca de bugs exige um trabalho intensivo dos desenvolvedores para identificar previamente todos os possíveis equívocos e regras de codificação para cada um deles. Além disso, estas soluções não são capazes de detectar misconceptions para os quais as regras não foram explicitamente codificadas no sistema. As soluções baseadas em agrupamento superam estes dois inconvenientes aprendendo automaticamente a identificar misconceptions a partir dos erros mais comuns cometidos pelos estudantes. Para a correta e eficiente identificação de misconceptions, as soluções de agrupamento devem escolher uma representação adequada do problema e seus passos e utilizar algoritmos de agrupamento capazes de identificar padrões de acordo com a solução escolhida. Este trabalho propõe a comparação de diferentes algoritmos de clustering, incluindo Breathing K-Means (BKMeans) e Density-Based Spatial Clustering of Applications with Noise (DBSCAN) como novas abordagens, com o K-Modes utilizado na solução proposta em Gomes e Jaques (2020). Esta comparação visa avaliar se as novas soluções representam um avanço em relação ao método anterior. Utilizando também árvores de expressão para representar etapas da solução do problema algébrico, este estudo avalia a eficácia e eficiência dessa abordagem na identificação de misconceptions no processo e resolução de equações de primeiro grau. Os dados foram coletados de um sistema tutor inteligente para auxiliar os alunos a resolver equações de primeiro grau e compreendem 1.319 registros de passos incorretos de alunos nesse tutor. Para os testes, utilizamos árvores de expressão para representar as equações em formato padronizado e vetorizado, os algoritmos de agrupamento identificaram 51 clusters com DBSCAN, 93 com K-Modes e 94 com BKMeans. Embora o DBSCAN tenha gerado menos clusters, apresentando uma maior taxa de ruído, K-Modes e BKMeans foram mais eficazes na formação de grupos bem definidos. Em relação à avaliação da qualidade dos clusters, o Silhouette Score médio foi de 0,94 para o DBSCAN, e de 0,96 para os algoritmos K-Modes e BKMeans, indicando que, embora o DBSCAN consegue detectar clusters com boa coesão, os demais algoritmos apresentaram resultados ligeiramente superiores, com melhor separação e menor dispersão. Além da análise quantitativa, este trabalho também estabelece conexões entre os clusters identificados e as categorias teóricas de misconceptions descritas na literatura, demonstrando que os padrões descobertos pelos algoritmos correspondem a misconceptions matemáticas reconhecidas, como erros de vocabulário, erros computacionais e convicções errôneas

Abstract: Errors play a crucial role in mathematics learning, often reflecting a poor understanding of a concept or a misconception. Therefore, diagnosing errors can help educators and intelligent learning environmentschoosethemostappropriateassistanceforstudents. Previousworkhasused rule-based expert systems (bug libraries) and clustering algorithms to identify incorrect concepts. Bug libraries require extensive developer effort to pre-identify all possible misconceptions and coding rules for each one. Furthermore, these solutions are unable to detect misconceptions for which rules have not been explicitly coded into the system. Clustering-based solutions overcome these two limitations by automatically learning to identify misconceptions from the most common errors made by students. To correctly and efficiently identify misconceptions, clustering solutions must choose an appropriate representation of the problem and its steps and use clustering algorithms capable of detecting patterns based on the chosen solution. This study proposes a comparison of different clustering algorithms, including Breathing K-Means (BKMeans) and Density-Based Spatial Clustering of Applications with Noise (DBSCAN) as novel approaches, alongside K-Modes, which was used in the solution proposed by Gomes and Jaques (2020). The objective of this comparison is to assess whether these new approaches represent an improvement over the previous method. Using expression trees to represent steps in solving algebraic problems, this study evaluates the effectiveness and efficiency of this approach in identifying misconceptions in the process of solving first-degree equations. The data was collected from an intelligent tutoring system designed to assist students in solving first-degree equations and consists of 1,319 records of incorrect student steps in this tutor. For the tests, expression trees were used to represent the equations in a standardized and vectorized format. The clustering algorithms identified 51 clusters with DBSCAN, 93 with K-Modes, and 94 with BKMeans. While DBSCAN generated fewer clusters with higher noise, K-Modes, and BKMeans were more effective in forming well-defined groups. In terms of cluster quality evaluation, the average Silhouette Score was 0.94 for DBSCAN, and 0.96 for both K-Modes and BKMeans, indicating that while DBSCAN was able to detect clusters with good cohesion, the other algorithms produced slightly superior results, with better separation and less dispersion. In addition to the quantitative analysis, this study also establishes connections between the identified clusters and the theoretical categories of misconceptions described in the literature. The f indings demonstrate that the patterns detected by the algorithms correspond to well-documented mathematical misconceptions, such as vocabulary errors, computational errors, and erroneous beliefs