Conversational case-based reasoning for situational data management

Abstract

Resumo: Melhorar o suporte ao usuário na integração de dados exige o tratamento de informações em tempo real, um processo desafiador para sistemas de banco de dados convencionais. Muitas abordagens de integração de dados realizam a integração em tempo de consulta ("on-the-fly") para gerenciar consultas situacionais. Os métodos variam desde mashups de serviços até abordagens baseadas em cruzamento de dados. No entanto, lidar com a incerteza na descoberta automática de dados e garantir a relevância e a integralidade da informação continuam a ser desafios chaves. Uma forma de minimizar esses desafios é capturar o conhecimento do usuário para resolver ambiguidades e melhorar a recuperação de bases similares. A presente tese propõe uma arquitetura conversacional de Raciocínio Baseado em Casos (CBR), que visa melhorar o gerenciamento de dados situacionais, incorporando feedback do usuário no processo através de um agente conversacional. Para incluir um mecanismo de aprendizagem adaptável a feedbacks positivos e negativos, foi utilizada a metodologia de Raciocínio Baseado em Casos, a qual resolve problemas utilizando ou adaptando soluções passadas. A abordagem aproveita uma base de conhecimento histórica que é atualizada dinamicamente com base no feedback do usuário, permitindo um sistema mais responsivo e adaptável. Este feedback desempenha um papel crucial na recuperação, revisão e retenção de casos dentro do ciclo CBR, permitindo que o sistema evolua com base nas interações do usuário. Cada fase do CBR é retratada na presente tese e avaliada em três experimentos diferentes, focados na recuperação de fontes, reutilização de soluções multidimensionais em uma aplicação chatbot e aprendizagem baseada em conhecimento histórico, respectivamente. Neste último, foi realizado um estudo empírico para avaliar o impacto do feedback dos usuários nas recomendações do sistema, incluindo cenários de testes estáticos e dinâmicos, focando em aspectos como visibilidade, suporte e utilidade. Os resultados destacaram uma preferência por recomendações influenciadas pelas contribuições dos participantes, indicando a eficácia da incorporação do feedback humano no processo de tomada de decisão. Como contribuição adicional, esta tese também demonstra uma incompatibilidade terminológica envolvendo abordagens de integração de dados on-the-fly, propondo uma nova terminologia e taxonomia para o gerenciamento de dados situacionais. Com base na taxonomia proposta, a arquitetura baseada em CBR também é avaliada em relação a critérios como Recuperação de Dados, Integração On-the-fly e Entrega de Dados. No geral, a pesquisa realizada contribui para a gestão de dados situacionais, ilustrando como uma estrutura conversacional baseada em CBR pode melhorar processos de integração e descoberta, e evidenciando o potencial para um maior desenvolvimento na área.

Abstract: Enhancing user support in data integration demands addressing real time information, a challenging process for conventional database systems. Many data integration variants integrate data "on-the-fly" for managing situational queries, i.e., queries that cover dynamic requirements. The methods range, for example, from service mashups to traversal-based approaches; however, the uncertainty in automatic data discovery and ensuring the relevance and completeness of information remain as key challenges. One way to minimize these challenges is by capturing user feedback, since it can help solving ambiguities and improving matching tasks. This thesis introduces a conversational Case-Based Reasoning (CBR) architecture, aimed at improving situational data management by incorporating user feedback into the process. The core of the architecture is a "human-in-the-loop" approach implemented through a conversational agent, which facilitates interaction between the user and the system. For including a learning mechanism adaptable to both positive and negative feedback, the Case-Based Reasoning methodology was used, which solves problems by using or adapting solutions from previous cases. The CBR-based approach leverages a historical knowledge base that is dynamically updated based on user feedback, allowing for a more responsive and adaptive system. This feedback plays a crucial role for case retrieval, review, and retention within the CBR cycle, enabling the system to evolve based on user interactions. Each CBR phase is depicted in the present thesis and evaluated in three different experiments, focused on source retrieval, reuse of multidimensional solutions within a chatbot application, and incremental learning based on historical knowledge, respectively. In the latter, an empirical user study was conducted to assess the impact of user feedback on system recommendations, including both static and dynamic test scenarios, and focusing on aspects such as visibility, support, and usefulness. The results highlighted a general preference for recommendations that were influenced by user input, indicating the effectiveness of incorporating human feedback in the decision-making process. As an additional contribution, this thesis also demonstrate a terminology mismatch involving on-the-fly data integration variants, proposing a new terminology and taxonomy for managing situational data. On the light of the proposed taxonomy, entitled Built-up Integration, the CBR-based architecture is also evaluated regarding Data Retrieval, On-the-fly Integration, and Data Delivery features. Overall, the research conducted contributes to situational data management by illustrating how a conversational CBR framework can improve processes such as data integration and data discovery, and evidencing the potential for further development in this area.