Avaliação e valoração automática da coesão de textos dissertativos

Abstract

Resumo: Em um texto escrito, a representação das ideias e das informações que se deseja transmitir devem estar organizadas de tal maneira que permita ao leitor receber, perceber e decodificar a informação de maneira lógica, sequencial e, em última instância, apreensível. Esta organização é responsável pelo estabelecimento, por meio do texto, de um canal de comunicação entre quem transmite e quem recebe a informação. A construção deste canal estabelecido entre escritor e leitor necessita de um suporte que é construído à medida que a leitura ocorre. Essa construção se sustenta nos mecanismos e métodos de coesão textual, que são responsáveis por aquilo que se pode qualificar como um bom texto e que dão unidade a ele, realizando a conexão de ideias de uma maneira lógica. Dado um texto escrito, avaliar a qualidade textual, legibilidade, coerência e o seu poder de transmitir a informação correta, certamente passa pela avaliação do bom uso dos mecanismos de coesão. Estes mecanismos não se constituem apenas de características gramaticais e sintáticas, pois além de atributos deste tipo, também permeiam e agregam informações e recursos semânticos e pragmáticos. Exigem assim, que métodos de avaliação de coesão textual - inclusive os automáticos - apresentem robustez suficiente para capturar informações e conexões dos diferentes aspectos da língua escrita. Os trabalhos de valoração de textos encontrados na literatura relacionada, em geral, não abordam dimensões específicas. O objetivo destes trabalhos é fornecer uma pontuação global para o texto, sem fornecer um valor para cada competência específica. Todavia, algumas propostas de análise a partir de dimensões como a coesão, coerência e adequação ao tema podem ser encontrados, mas estas propostas se utilizam do mesmo conjunto de atributos ou do mesmo modelo para avaliar aspectos diferentes do texto. Além disso, os atributos utilizados são considerados superficiais, pois não estão baseados em teorias linguísticas e também não permitem uma análise mais profunda da estruturação textual. Dessa forma, com uso das referidas propostas de avaliação não é possível prover um retorno acerca da qualidade, da relação e da interconexão de elementos estruturantes que são essenciais para um texto. Neste trabalho propõe-se um método de valoração da coesão textual baseado na Teoria da Centralidade e na Teoria do Foco que pode ser utilizado na avaliação de redações, na melhoria da escrita de alunos e no suporte de processos educacionais. Para isso, foram feitas integrações entre diferentes ferramentas de correção gramatical e ortográfica, menção de entidades, resolução de correferências e o treinamento de um modelo de vinculação de entidades, específico para o português, baseado em dados da Wikipedia. Para validar o método escolhido, construiu-se uma base de redações contendo as valorações das competências esperadas dos seus autores e desenvolveu-se um protótipo que implementa o método proposto. Aplicou-se o protótipo desenvolvido sobre um conjunto de redações e os valores obtidos relacionados à competência da coesão textual foram comparados com as notas de avaliadores humanos e com os resultados de trabalhos correlatos. Os resultados obtidos mostram o potencial desta abordagem, pois obteve-se resultados tão bons quanto os estudos considerados o estado-da-arte, porém com um ganho de tempo considerável e com um esforço muito menor de obtenção de informações e atributos do textos, sendo possível seu uso tanto na melhoria de sistemas de valoração de redações, quanto no desenvolvimento de ferramentas de apoio a processos educacionais formativos relacionados ao desenvolvimento da escrita.

Abstract: In a written text, the representation of ideas and information to be transmitted must be organized in such a way that allows the reader to receive, perceive and decode the information in a logical, sequential and, most importantly, apprehensible manner. Such organization is responsible for establishing, through the text, a communication channel between the one who transmits and the one who receives the information. The construction of this channel, established between writer and reader, needs a support that is built as the reading happens. This construction is supported by the mechanisms and methods of textual cohesion, which are responsible for what can be qualified as a good text and which give unity to it, making the connection of ideas in a logical way. Given a written text, evaluating its textual quality, its readability, its coherence and its power to communicate the correct information, certainly involves evaluating the good use of the mechanisms of cohesion. These mechanisms do not consist only of grammatical and syntactic features, because in addition to attributes of this kind, they also permeate and aggregate semantic and pragmatic information and resources. Thus, methods for evaluating textual cohesion - including automatic ones - must be robust enough to capture information and connections of the different aspects of the written language. The text evaluation papers found in the related literature generally do not address specific dimensions of texts. The goal of these works is to provide an overall score for the text, without providing a value for each specific competence. However, some proposals for analysis based on dimensions such as cohesion, coherence and adequacy to the topic can be found, but these proposals use the same set of attributes or the same model to evaluate different aspects of the text. Moreover, the attributes used are considered superficial, as they are not based on linguistic theories and also do not allow a deeper analysis of textual structuring. Thus, using these evaluation proposals it is not possible to provide feedback about the quality, the relationship and the interconnection of structuring elements that are essential to a text. In this paper, we propose a method for evaluating textual cohesion, based on the Centrality Theory and the Focus Theory, that can be used to evaluate essays, to improve students’ writing, and to support educational processes. To this end, integrations between different tools for grammar and spelling correction, entity mentioning, correference resolution, and the training of a Portuguese-specific model of entity linking based on Wikipedia data were performed. To validate the chosen method, an essay database was built containing the scores of the competencies required for dissertative essays, and a prototype was developed that implements the proposed method. The prototype was applied to these essays and the values obtained were compared to the scores of human evaluators and similar works regarding textual cohesion. The results obtained show the potential of this approach, because it obtained results as good as the studies considered state-of-the-art, but with a considerable gain in time and with much less effort to obtain information and text attributes. It is therefore possible to use it to improve writing evaluation systems, as well as to develop tools to support educational and formative processes related to the development of writing.