Gahac : uma tecnologia para avaliação de aspectos hedônicos em chatbots de texto

Abstract

Resumo: Muitos estudos apresentam e avaliam sistemas de uso diário que vão desde sistemas de informação até sistemas de conversação. Chatbots, baseados em texto ou voz, têm atraído a atenção de pesquisadores. Em particular, a Experiência do Usuário (UX) tem sido apontada como um dos principais aspectos de avaliação do chatbot envolvendo aspectos pragmáticos e hedônicos. Os aspectos pragmáticos lidam com a usabilidade e eficiência do sistema, enquanto os aspectos hedônicos consideram aspectos relacionados à originalidade, inovação, beleza do sistema e bem-estar psicológico do usuário. Mesmo com pesquisas existentes sobre avaliação de usabilidade e Interação Humano-Computador em sistemas de conversação, há uma clara escassez de estudos abordando especificamente os aspectos hedônicos da experiência do usuário em chatbots. No entanto, atráves de um Mapeamento Sistemático da Literatura (MSL) e de sua extensão, foi identificado que as tecnologias de avaliação utilizadas para avaliar aspectos hedônicos da UX em chatbots de texto são, em sua grande maioria, genéricas e poderiam ser utilizadas para avaliar qualquer tipo de software. Além disso, o MSL (parte 1 e parte 2) também identificaram que alguns pesquisadores utilizam questionários que desenvolveram para seus próprios estudos, sem passar por um processo de avaliação empírica. Adicionalmente, este trabalho realizou dois estudos empíricos: o primeiro, com especialistas, para avaliar clareza, relevância e adequação das diretrizes propostas; e o segundo, de viabilidade, para verificar a aplicação prática da GAHAC e seu potencial de uso real em avaliações. Sendo assim, o objetivo deste trabalho é propor uma tecnologia de avaliação de aspectos hedônicos da UX para chatbots em que a interação ocorre através de texto, a GAHAC - Guidelines to Assess Hedonic Aspects in Chatbot. O objetivo da GAHAC é orientar pesquisadores e desenvolvedores para identificar problemas hedônicos em chatbot de texto

Abstract: Many studies present and evaluate daily use systems ranging from information systems to conversational systems. Chatbots, whether text-based or voice-based, have attracted researchers’ attention. In particular, User Experience (UX) has been highlighted as one of the main aspects of chatbot evaluation, involving both pragmatic and hedonic aspects. Pragmatic aspects deal with the system’s usability and efficiency, while hedonic aspects consider elements related to the system’s originality, innovation, beauty, and the user’s psychological well-being. Despite existing research on usability and human-computer interaction in conversational systems, there is a clear scarcity of studies specifically addressing the hedonic aspects of user experience in chatbots. However, through a Systematic Mapping Study (SMS) and its extension, it was identified that the evaluation technologies used to assess hedonic aspects of UX in text-based chatbots are mostly generic and could be applied to evaluate any type of software. Additionally, the SMS (part 1 and part 2) also identified that some researchers use questionnaires developed for their own studies without undergoing an empirical evaluation process. Additionally, this work conducted two empirical studies: the first, with experts, to assess the clarity, relevance, and adequacy of the proposed guidelines; and the second, a feasibility study, to verify the practical application of GAHAC and its potential for real-world use in evaluations. Therefore, the aim of this work is to propose a technology for assessing hedonic aspects of UX for text-based chatbots, called GAHAC - Guidelines to Assess Hedonic Aspects in Chatbot. The goal of GAHAC is to guide researchers and developers in identifying hedonic problems in text-based chatbots